Big Data Processing Georgios Gousios 2018-01-26 Contents 1 Preface 2 Big and Fast Data 2.1 How big is “Big”? . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 The many Vs of Big data . . . . . . . . . . . . . . . . . . . . . 2.3 A brief history of Big Data tech . . . . . . . . . . . . . . . . . 2.4 The importance of data . . . . . . . . . . . . . . . . . . . . . 2.5 Typical problems solved with Big Data . . . . . . . . . . . . . 3 Languages for Big Data processing 3.1 Scala and Python . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Hello world . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Declarations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Object-Oriented programming . . . . . . . . . . . . . . . . . . 4 Programming for Big Data 4.1 Basic Data Types . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Functional programming in a nutshell . . . . . . . . . . . . . . 4.3 Enumerating datasets . . . . . . . . . . . . . . . . . . . . . . 4.4 Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Basic transformations . . . . . . . . . . . . . . . . . . . . . . 4.6 Key-value pairs . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 Immutability . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Introduction to distributed systems 5.1 Unreliable networks . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Unreliable time . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3 Distributed decision making . . . . . . . . . . . . . . . . . . . CONTENTS Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 6 Distributed databases 6.1 Replication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Transactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4 Distributed transactions . . . . . . . . . .

Đọc toàn bộ tài liệu