Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
Bài giảng về tính toán trong bộ nhớ với Apache Spark, bao gồm khái niệm RDD, kiến trúc, quản lý job và các mô hình lập trình bậc cao. Trình bày bởi Julian M. Kunkel tại Đại học Hamburg.
Génération de l'aperçu...
f Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation with Spark Lecture BigData Analytics Julian M. Kunkel julian.kunkel@googlemail.com University of Hamburg / German Climate Computing Center (DKRZ) 2018-01-19 Disclaimer: Big Data software is constantly updated, code samples may be outdated. Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 1 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Outline 1 Concepts 2 Architecture 3 Computation 4 Managing Jobs 5 Examples 6 Higher-Level Abstractions 7 Summary Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 2 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation/Processing/Analytics [26] In-memory processing: Processing data stored in memory (database) Advantage: No slow I/O necessary ⇒ fast response times Disadvantages Data must fit in the memory of the distributed storage/database Additional persistency (with asynchronous flushing) usually required Fault-tolerance is mandatory BI-Solution: SAP Hana Big data approaches: Apache Spark, Apache Flink Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 3 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Overview to Spark [10, 12] In-memory processing (and storage) engine Load data from HDFS, Cassandra, HBase Resource management via. YARN, Mesos, Spark, Amazon EC2 ⇒ It can use Hadoop but also works standalone! Task scheduling and monitoring Rich APIs APIs for Java, Scala, Python, R Thrift JDBC/ODBC server for SQL High-level domain-specific tools/languages Advanced APIs simplify typical computation tasks Interactive shells with tight integration spark-shell: Scala (object-oriented functional language running on JVM) pyspark: Python sparkR: R (basic support) Execution in either local (
… Tải file gốc để đọc toàn bộ tài liệu.
- Nom du document
- Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
- École / Cours
- University of Hamburg · Big Data
- Contenu
- Bài giảng giới thiệu Apache Spark như một công cụ xử lý dữ liệu trong bộ nhớ, tập trung vào kiến trúc, mô hình dữ liệu RDD, cách thức hoạt động và các API hỗ trợ. Tài liệu nhấn mạnh lợi ích về tốc độ và khả năng chịu lỗi của Spark.
- Table des matières
- Concepts
- Architecture
- Computation
- Managing Jobs
- Examples
- Higher-Level Abstractions
- Summary
- Doc.pages
- 55 pages
- Téléversé par
- Giang Le
Foire aux questions
Tài liệu này có miễn phí không?
Có. “Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel” miễn phí — bạn chỉ cần đăng nhập rồi bấm Tải xuống để lấy file gốc.
Tài liệu dài bao nhiêu trang?
Tài liệu gồm 55 trang, thuộc môn Big Data. Bạn có thể xem trước online trước khi tải.
Tôi có thể xem trước trước khi tải không?
Có. Bạn xem trước tài liệu ngay trên trang này bằng trình đọc online, rồi quyết định tải về.
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !