Description

Apache  Spark  101 Lance  Co  Ting  Keh Senior  So5ware  Engineer,  Machine  Learning  @  Box 1 Outline I. About  me II. Distributed  CompuIng  at  a  High  Level III. Disk  versus  Memory  based  Systems IV. Spark  Core I. Brief  background II. Benchmarks  and  Comparisons III. What  is  an  RDD IV. RDD  AcIons  and  TransformaIons V. Caching  and  SerializaIon VI. Anatomy  of  a  Program VII. The  Spark  Family 2 Why  Distributed  CompuIng? Divide  and  Conquer Problem  Single  machine  cannot  complete  the computaIon  at  hand SoluIon  Parallelize  the  job  and  distribute  work among  a  network  of  machines 3 Issues  Arise  in  Distributed  CompuIng View  the  world  from  the  eyes  of  a  single  worker How  do  I  distribute  an  algorithm? How  do  I  par++on  my  dataset? How  do  I  maintain  a  single  consistent  view  of  a shared  state? How  do  I  recover  from  machine  failures? How  do  I  allocate  cluster  resources? ….. 4 Finding  majority  element  in  a  single  machine Think  distributed List(20,  18,  20,  18,  20) 5 Finding  majority  element  in  a  distributed  dataset Think  distributed List(1,  18,  1,  18,  1) List(2,  18,  2,  18,  2) List(3,  18,  3,  18,  3) List(4,  18,  4,  18,  4) List(5,  18,  5,  18,  5) 6 Finding  majority  element  in  a  distributed  dataset Think  distributed List(1,  18,  1,  18,  1) List(2,  18,  2,  18,  2) List(3,  18,  3,  1

AI summary