Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
Génération de l'aperçu...
Bài giảng về tính toán trong bộ nhớ với Apache Spark, bao gồm khái niệm RDD, kiến trúc, quản lý job và các mô hình lập trình bậc cao. Trình bày bởi Julian M. Kunkel tại Đại học Hamburg.
Description
f Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation with Spark Lecture BigData Analytics Julian M. Kunkel julian.kunkel@googlemail.com University of Hamburg / German Climate Computing Center (DKRZ) 2018-01-19 Disclaimer: Big Data software is constantly updated, code samples may be outdated. Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 1 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Outline 1 Concepts 2 Architecture 3 Computation 4 Managing Jobs 5 Examples 6 Higher-Level Abstractions 7 Summary Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 2 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation/Processing/Analytics [26] In-memory processing: Processing data stored in memory (database) Advantage: No slow I/O necessary ⇒ fast response times Disadvantages Data must fit in the memory of the distributed storage/database Additional persistency (with asynchronous flushing) usually required Fault-tolerance is mandatory BI-Solution: SAP Hana Big data approaches: Apache Spark, Apache Flink Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 3 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Overview to Spark [10, 12] In-memory processing (and storage) engine Load data from HDFS, Cassandra, HBase Resource management via. YARN, Mesos, Spark, Amazon EC2 ⇒ It can use Hadoop but also works standalone! Task scheduling and monitoring Rich APIs APIs for Java, Scala, Python, R Thrift JDBC/ODBC server for SQL High-level domain-specific tools/languages Advanced APIs simplify typical computation tasks Interactive shells with tight integration spark-shell: Scala (object-oriented functional language running on JVM) pyspark: Python sparkR: R (basic support) Execution in either local (
Résumé IA
- Nom du document
- Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
- École / Cours
- University of Hamburg · Big Data
- Contenu
- Bài giảng giới thiệu Apache Spark như một công cụ xử lý dữ liệu trong bộ nhớ, tập trung vào kiến trúc, mô hình dữ liệu RDD, cách thức hoạt động và các API hỗ trợ. Tài liệu nhấn mạnh lợi ích về tốc độ và khả năng chịu lỗi của Spark.
- Table des matières
- Concepts
- Architecture
- Computation
- Managing Jobs
- Examples
- Higher-Level Abstractions
- Summary
- Pages
- 55 pages
- Téléversé par
- Uni24h
Foire aux questions
Ce document est-il gratuit ?
Oui. « Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel » est gratuit — il suffit de vous connecter et de cliquer sur Télécharger pour obtenir le fichier original.
Combien de pages compte ce document ?
Le document contient 55 pages, pour le cours Big Data. Vous pouvez le prévisualiser en ligne avant de le télécharger.
Puis-je prévisualiser avant de télécharger ?
Oui. Vous pouvez prévisualiser ce document directement sur cette page avec le lecteur en ligne, puis décider de le télécharger ou non.
Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
Génération de l'aperçu...
f Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation with Spark Lecture BigData Analytics Julian M. Kunkel julian.kunkel@googlemail.com University of Hamburg / German Climate Computing Center (DKRZ) 2018-01-19 Disclaimer: Big Data software is constantly updated, code samples may be outdated. Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 1 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Outline 1 Concepts 2 Architecture 3 Computation 4 Managing Jobs 5 Examples 6 Higher-Level Abstractions 7 Summary Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 2 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary In-Memory Computation/Processing/Analytics [26] In-memory processing: Processing data stored in memory (database) Advantage: No slow I/O necessary ⇒ fast response times Disadvantages Data must fit in the memory of the distributed storage/database Additional persistency (with asynchronous flushing) usually required Fault-tolerance is mandatory BI-Solution: SAP Hana Big data approaches: Apache Spark, Apache Flink Julian M. Kunkel Lecture BigData Analytics, WiSe 17/18 3 / 54 Concepts Architecture Computation Managing Jobs Examples Higher-Level Abstractions Summary Overview to Spark [10, 12] In-memory processing (and storage) engine Load data from HDFS, Cassandra, HBase Resource management via. YARN, Mesos, Spark, Amazon EC2 ⇒ It can use Hadoop but also works standalone! Task scheduling and monitoring Rich APIs APIs for Java, Scala, Python, R Thrift JDBC/ODBC server for SQL High-level domain-specific tools/languages Advanced APIs simplify typical computation tasks Interactive shells with tight integration spark-shell: Scala (object-oriented functional language running on JVM) pyspark: Python sparkR: R (basic support) Execution in either local (
Lire le document entier
- Nom du document
- Tính toán trong bộ nhớ với Apache Spark (10) - Julian M. Kunkel
- École / Cours
- University of Hamburg · Big Data
- Contenu
- Bài giảng giới thiệu Apache Spark như một công cụ xử lý dữ liệu trong bộ nhớ, tập trung vào kiến trúc, mô hình dữ liệu RDD, cách thức hoạt động và các API hỗ trợ. Tài liệu nhấn mạnh lợi ích về tốc độ và khả năng chịu lỗi của Spark.
- Table des matières
- Concepts
- Architecture
- Computation
- Managing Jobs
- Examples
- Higher-Level Abstractions
- Summary
- Pages
- 55 pages
- Téléversé par
- Uni24h
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !
Neumann (mối quan hệ giữa Exascale Computing và Big Data) - Philipp Neumann
Tính toán trong bộ nhớ với Spark - Julian M. Kunkel
Intro to Mapreduce (02) (Giới thiệu về MapReduce và Hadoop) (Tiếng Anh)
GPUs (04) (Xử lý song song và bộ xử lý đồ họa)
Neo4j (08) (Xử lý đồ thị với Neo4j) - BigData Analytics - Julian M. Kunkel
Chương 7.Cơ học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 6.Quang học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 5.Thuyết tương đối - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 4. Tán xạ ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 3.Phân cực ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !