Debug Hadoop (Kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop)
- 페이지 수
- 14
- 형식
- PPTX
- 크기
- 758 KB
- Trường
- University of Maryland
- 조회수
- 0
- 댓글
- 0
- Lượt tải
- 0
미리보기 생성 중...
Tài liệu hướng dẫn kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop, bao gồm kiểm thử mapper, reducer, công cụ ToolRunner và giám sát job.
- 문서명
- Debug Hadoop (Kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop)
- 학교 / 강의
- University of Maryland · Khai phá dữ liệu
- 내용
- Tài liệu hướng dẫn cách gỡ lỗi và kiểm thử các thành phần MapReduce trong Hadoop, bao gồm kiểm thử đơn vị cho mapper và reducer, sử dụng Mockito, và cách theo dõi, phân tích log của job.
- 목차
- 이 문서는 명확한 목차가 없습니다.
- 페이지 수
- 14 페이지
- 업로더
- Uni24h
설명
Trích nội dung tài liệu
The map and reduce functions in MapReduce are easy to test in isolation, which is a consequence of their functional style. For known inputs, they produce known outputs. The following example is a program calculating the max temperature in Hadoop framework Unit test driver for mapper: Mockito is an open source testing framework for Java Then checks the output is the year and temperature reading It passes a weather record as input to the mapper mock() To create a mock Context, we call Mockito’s mock() method (a static import), passing the class of the type we want to mock. Map() Then we invoke the mapper’s map() method, which executes the code being tested. Verify() Here we verify that Context’s write() method was called with a Text object representing the year (1950) and an IntWritable representing the temperature (−1.1°C). Unit test driver for reducer: Source code for reducer Two parameter for the reducer to compare with A tool interface that supports handling of generic command-line options. A driver test the job By adding a driver class which can run the job in custom configuration, the job can be tested locally ToolRunner can be used to run classes implementing Tool interface Details of the Hadoop installation number of maps and reduces number of job submissions number of tasktracker nodes currently available cluster’s capacity number of map and reduce slots available across the cluster number of available slots per node number of tasktrackers that have been blacklisted by the jobtracker Sections for running, (successfully) completed, and failed jobs. Each of these sections has a table of jobs, with a row per job that shows the job’s ID, Links to the jobtracker’s logs, and the jobtracker’s history: information on all the jobs that the jobtracker has run. job owner and name how long the job has been running for “Num Tasks” shows the total number of map and reduce tasks for this job (a row for each) The job file is t
자주 묻는 질문
이 문서는 무료인가요?
네. “Debug Hadoop (Kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop)” 문서는 무료입니다. 로그인 후 '다운로드'를 클릭하여 원본 파일을 받으세요.
이 문서는 몇 페이지로 되어 있나요?
이 문서는 14페이지입니다, Khai phá dữ liệu 과정용. 다운로드하기 전에 온라인으로 미리 볼 수 있습니다.
다운로드하기 전에 미리 볼 수 있나요?
네. 이 페이지의 온라인 리더를 통해 문서를 미리 본 후 다운로드 여부를 결정할 수 있습니다.
Debug Hadoop (Kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop)
미리보기 생성 중...
Trích nội dung tài liệu
The map and reduce functions in MapReduce are easy to test in isolation, which is a consequence of their functional style. For known inputs, they produce known outputs. The following example is a program calculating the max temperature in Hadoop framework Unit test driver for mapper: Mockito is an open source testing framework for Java Then checks the output is the year and temperature reading It passes a weather record as input to the mapper mock() To create a mock Context, we call Mockito’s mock() method (a static import), passing the class of the type we want to mock. Map() Then we invoke the mapper’s map() method, which executes the code being tested. Verify() Here we verify that Context’s write() method was called with a Text object representing the year (1950) and an IntWritable representing the temperature (−1.1°C). Unit test driver for reducer: Source code for reducer Two parameter for the reducer to compare with A tool interface that supports handling of generic command-line options. A driver test the job By adding a driver class which can run the job in custom configuration, the job can be tested locally ToolRunner can be used to run classes implementing Tool interface Details of the Hadoop installation number of maps and reduces number of job submissions number of tasktracker nodes currently available cluster’s capacity number of map and reduce slots available across the cluster number of available slots per node number of tasktrackers that have been blacklisted by the jobtracker Sections for running, (successfully) completed, and failed jobs. Each of these sections has a table of jobs, with a row per job that shows the job’s ID, Links to the jobtracker’s logs, and the jobtracker’s history: information on all the jobs that the jobtracker has run. job owner and name how long the job has been running for “Num Tasks” shows the total number of map and reduce tasks for this job (a row for each) The job file is t
- 문서명
- Debug Hadoop (Kiểm thử và gỡ lỗi các chương trình MapReduce trong Hadoop)
- 학교 / 강의
- University of Maryland · Khai phá dữ liệu
- 내용
- Tài liệu hướng dẫn cách gỡ lỗi và kiểm thử các thành phần MapReduce trong Hadoop, bao gồm kiểm thử đơn vị cho mapper và reducer, sử dụng Mockito, và cách theo dõi, phân tích log của job.
- 목차
- 이 문서는 명확한 목차가 없습니다.
- 페이지 수
- 14 페이지
- 업로더
- Uni24h
댓글 (0)
댓글이 없습니다. 첫 댓글을 남겨보세요!
Relational Data Processing on MapReduce (Xử lý dữ liệu quan hệ trên MapReduce)
IoT Data Analytics (Phân tích dữ liệu trong Internet vạn vật)
Colocation 2 (Khám phá mẫu colocation trong dữ liệu không gian) - Zhe Jiang
Big Data Processing and Analytics Intro (Xử lý và phân tích dữ liệu lớn)
Basic association analysis (Chap 6) (Thuật toán trong phân tích kết hợp)
Tổng hợp Đề Toán 5 - Luyện thi vào Lớp 6 - CLB EMath
Bài giảng vật lý đại cương (Chương 3) - Đỗ Ngọc Uấn
Chương 8.Nguyên tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 7.Cơ học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 6.Quang học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang

댓글 (0)
댓글이 없습니다. 첫 댓글을 남겨보세요!