Spark (07) (Cách làm việc với Spark và thư viện học máy)
Génération de l'aperçu...
Slide bài giảng số 07 về Apache Spark, trình bày về Resilient Distributed Datasets, cách làm việc với Spark và thư viện học máy MLLib.
Description
Big Data Analytics Big Data Analytics C. Distributed Computing Environments / C.2. Resilient Distributed Datasets: Apache Spark Lars Schmidt-Thieme Information Systems and Machine Learning Lab (ISMLL) Institute for Computer Science University of Hildesheim, Germany Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics Syllabus Tue. 9.4. (1) 0. Introduction Tue. 16.4. Tue. 23.4. Tue. 30.4. (2) (3) (4) A. Parallel Computing A.1 Threads A.2 Message Passing Interface (MPI) A.3 Graphical Processing Units (GPUs) Tue. 7.5. Tue. 14.5. Tue. 21.5. (5) (6) (7) B. Distributed Storage B.1 Distributed File Systems B.2 Partioning of Relational Databases B.3 NoSQL Databases Tue. 28.5. Tue. 4.6. Tue. 11.6. Tue. 18.6. (8) (9) (10) C. Distributed Computing Environments C.1 Map-Reduce C.2 Resilient Distributed Datasets (Spark) Pentecoste Break — C.3 Computational Graphs (TensorFlow) Tue. 25.6. Tue. 2.7. (11) (12) D. Distributed Machine Learning Algorithms D.1 Distributed Stochastic Gradient Descent D.2 Distributed Matrix Factorization Tue. 9.7. (13) Questions and Answers Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics Outline 1. Introduction 2. Apache Spark 3. Working with Spark 4. MLLib: Machine Learning with Spark Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics 1. Introduction Outline 1. Introduction 2. Apache Spark 3. Working with Spark 4. MLLib: Machine Learning with Spark Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics 1. Introduction Core Idea To implement fault-tolerance for primary/original data: I replication: I partition large data into parts I store each part several times on different servers
Résumé IA
- Nom du document
- Spark (07) (Cách làm việc với Spark và thư viện học máy)
- École / Cours
- University of Hildesheim · Big Data
- Auteur (dans le document)
- Lars Schmidt-Thieme
- Contenu
- Tài liệu giới thiệu về Apache Spark và RDDs trong bối cảnh tính toán phân tán cho Big Data Analytics. Nó giải thích cách Spark xử lý dữ liệu phân tán và đảm bảo tính chịu lỗi thông qua việc lưu trữ lịch sử biến đổi dữ liệu.
- Table des matières
- 0. Introduction
- A. Parallel Computing
- A.1 Threads
- A.2 Message Passing Interface (MPI)
- A.3 Graphical Processing Units (GPUs)
- B. Distributed Storage
- B.1 Distributed File Systems
- B.2 Partioning of Relational Databases
- B.3 NoSQL Databases
- C. Distributed Computing Environments
- C.1 Map-Reduce
- C.2 Resilient Distributed Datasets (Spark)
- C.3 Computational Graphs (TensorFlow)
- D. Distributed Machine Learning Algorithms
- D.1 Distributed Stochastic Gradient Descent
- D.2 Distributed Matrix Factorization
- Questions and Answers
- 1. Introduction
- 2. Apache Spark
- 3. Working with Spark
- 4. MLLib: Machine Learning with Spark
- Pages
- 49 pages
- Téléversé par
- Uni24h
Foire aux questions
Ce document est-il gratuit ?
Oui. « Spark (07) (Cách làm việc với Spark và thư viện học máy) » est gratuit — il suffit de vous connecter et de cliquer sur Télécharger pour obtenir le fichier original.
Combien de pages compte ce document ?
Le document contient 49 pages, pour le cours Big Data. Vous pouvez le prévisualiser en ligne avant de le télécharger.
Puis-je prévisualiser avant de télécharger ?
Oui. Vous pouvez prévisualiser ce document directement sur cette page avec le lecteur en ligne, puis décider de le télécharger ou non.
Spark (07) (Cách làm việc với Spark và thư viện học máy)
Génération de l'aperçu...
Big Data Analytics Big Data Analytics C. Distributed Computing Environments / C.2. Resilient Distributed Datasets: Apache Spark Lars Schmidt-Thieme Information Systems and Machine Learning Lab (ISMLL) Institute for Computer Science University of Hildesheim, Germany Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics Syllabus Tue. 9.4. (1) 0. Introduction Tue. 16.4. Tue. 23.4. Tue. 30.4. (2) (3) (4) A. Parallel Computing A.1 Threads A.2 Message Passing Interface (MPI) A.3 Graphical Processing Units (GPUs) Tue. 7.5. Tue. 14.5. Tue. 21.5. (5) (6) (7) B. Distributed Storage B.1 Distributed File Systems B.2 Partioning of Relational Databases B.3 NoSQL Databases Tue. 28.5. Tue. 4.6. Tue. 11.6. Tue. 18.6. (8) (9) (10) C. Distributed Computing Environments C.1 Map-Reduce C.2 Resilient Distributed Datasets (Spark) Pentecoste Break — C.3 Computational Graphs (TensorFlow) Tue. 25.6. Tue. 2.7. (11) (12) D. Distributed Machine Learning Algorithms D.1 Distributed Stochastic Gradient Descent D.2 Distributed Matrix Factorization Tue. 9.7. (13) Questions and Answers Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics Outline 1. Introduction 2. Apache Spark 3. Working with Spark 4. MLLib: Machine Learning with Spark Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics 1. Introduction Outline 1. Introduction 2. Apache Spark 3. Working with Spark 4. MLLib: Machine Learning with Spark Lars Schmidt-Thieme, Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim, Germany 1 / 35 Big Data Analytics 1. Introduction Core Idea To implement fault-tolerance for primary/original data: I replication: I partition large data into parts I store each part several times on different servers
Lire le document entier
- Nom du document
- Spark (07) (Cách làm việc với Spark và thư viện học máy)
- École / Cours
- University of Hildesheim · Big Data
- Auteur (dans le document)
- Lars Schmidt-Thieme
- Contenu
- Tài liệu giới thiệu về Apache Spark và RDDs trong bối cảnh tính toán phân tán cho Big Data Analytics. Nó giải thích cách Spark xử lý dữ liệu phân tán và đảm bảo tính chịu lỗi thông qua việc lưu trữ lịch sử biến đổi dữ liệu.
- Table des matières
- 0. Introduction
- A. Parallel Computing
- A.1 Threads
- A.2 Message Passing Interface (MPI)
- A.3 Graphical Processing Units (GPUs)
- B. Distributed Storage
- B.1 Distributed File Systems
- B.2 Partioning of Relational Databases
- B.3 NoSQL Databases
- C. Distributed Computing Environments
- C.1 Map-Reduce
- C.2 Resilient Distributed Datasets (Spark)
- C.3 Computational Graphs (TensorFlow)
- D. Distributed Machine Learning Algorithms
- D.1 Distributed Stochastic Gradient Descent
- D.2 Distributed Matrix Factorization
- Questions and Answers
- 1. Introduction
- 2. Apache Spark
- 3. Working with Spark
- 4. MLLib: Machine Learning with Spark
- Pages
- 49 pages
- Téléversé par
- Uni24h
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !
Neumann (mối quan hệ giữa Exascale Computing và Big Data) - Philipp Neumann
Tính toán trong bộ nhớ với Spark - Julian M. Kunkel
Intro to Mapreduce (02) (Giới thiệu về MapReduce và Hadoop) (Tiếng Anh)
GPUs (04) (Xử lý song song và bộ xử lý đồ họa)
Neo4j (08) (Xử lý đồ thị với Neo4j) - BigData Analytics - Julian M. Kunkel
Chương 7.Cơ học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 6.Quang học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 5.Thuyết tương đối - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 4. Tán xạ ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 3.Phân cực ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !