Big Data Analytics - Phân tích dữ liệu lớn (Lecture 4)
Slide bài giảng số 4 của khóa EECS6893 Big Data Analytics, trình bày về phân tích luồng dữ liệu thời gian thực, các thách thức kỹ thuật, và kỹ thuật SVM hiệu quả.
Generating preview...
E6893 Big Data Analytics Lecture 4: Real-Time Stream Analysis Ching-Yung Lin, Ph.D. Adjunct Professor, Dept. of Electrical Engineering and Computer Science September 29, 2023 1 E6893 Big Data Analytics – Lecture 4: Real-Time Stream Analysis © 2023 CY Lin, Columbia University Stream Analyses Technical Challenges 2 E6893 Big Data Analytics – Lecture 4: Real-Time Stream Analysis © 2023 CY Lin, Columbia University Example IP Packet Stream Instantiation rtsp ftp tcp ip http udp rtp audio video ntp Inputs Dataflow Graph By IBM Dense Information Gliding Team 3 E6893 Big Data Analytics – Lecture 4: Real-Time Stream Analysis © 2023 CY Lin, Columbia University Semantic MM Filtering rtsp ftp tcp ip http udp Advanced content analysis rtp audio video sess Interest Routing Interest keywords id Filtering sess ntp 4 Dataflow Graph Packet content analysis Inputs per PE rates Interested MM streams 200-500MB/s ~100MB/s E6893 Big Data Analytics – Lecture 4: Real-Time Stream Analysis 10 MB/s © 2023 CY Lin, Columbia University Resource-Accuracy Trade-Offs R X Y(X|q) X’ Y’’(X|q,R) Configurable Parameters of Processing Elements to maximize relevant information: Y’’(X | q, R) > Y’(X | q, R), with resource constraint. Required resource-efficient algorithms for: Classification, routing and filtering of signal-oriented data: (audio, video and, possibly, sensor data) 5 Input data X – Queries q – Resource R Y(X | q): Relevant information Y’(X | q, R) ` Y(X | q): Achievable subset given R E6893 Big Data Analytics – Lecture 4: Real-Time Stream Analysis © 2023 CY Lin, Columbia University Example: Distributed Video Signal Understanding (Lin et al.) TV broadcast, VCR, DVD discs, Video File Database, Webcam (Distributed Smart Sensors) Block diagram of the smart sensors (Server) Concept Detection Processing Elements PE1: 9.2.63.66: 1220 PE4: 9.2.63.66:1235 Face MPEGCDS PE2: 9.2.63.67 Features 1/2 EncodGOP Feature Event ing Extraction Extr
… Tải file gốc để đọc toàn bộ tài liệu.
- Document name
- Big Data Analytics - Phân tích dữ liệu lớn (Lecture 4)
- School / Course
- Columbia University · Big Data
- Content
- Bài giảng này trình bày về phân tích luồng dữ liệu thời gian thực, bao gồm các thách thức, ví dụ ứng dụng và kỹ thuật tối ưu hóa hiệu suất như SVM. Tài liệu cũng đề cập đến sự đánh đổi giữa tài nguyên và độ chính xác trong xử lý dữ liệu.
- Table of contents
- E6893 Big Data Analytics Lecture 4: Real-Time Stream Analysis
- Stream Analyses Technical Challenges
- Example IP Packet Stream Instantiation
- Semantic MM Filtering
- Resource-Accuracy Trade-Offs
- Example: Distributed Video Signal Understanding (Lin et al.)
- Semantic Concept Filters
- Complexity Reduction Introduction
- SVM formulation
- Decision
- Problems
- Example
- Naïve Approach I – Feature Dimension Reduction
- Pages
- 94 pages
- Uploaded by
- Giang Le
Frequently asked questions
Tài liệu này có miễn phí không?
Có. “Big Data Analytics - Phân tích dữ liệu lớn (Lecture 4)” miễn phí — bạn chỉ cần đăng nhập rồi bấm Tải xuống để lấy file gốc.
Tài liệu dài bao nhiêu trang?
Tài liệu gồm 94 trang, thuộc môn Big Data. Bạn có thể xem trước online trước khi tải.
Tôi có thể xem trước trước khi tải không?
Có. Bạn xem trước tài liệu ngay trên trang này bằng trình đọc online, rồi quyết định tải về.
Comments (0)
No comments yet. Be the first!