Eval algo notes (11) (Các kiểm định thống kê và so sánh thuật toán) - Sebastian Raschka
Generating preview...
Bài giảng số 11 của khóa học STAT 479: Machine Learning tại Đại học Wisconsin-Madison, trình bày các kiểm định thống kê và so sánh thuật toán như kiểm định tỷ lệ, McNemar, F-test, t-test, nested cross-validation và đánh giá mô hình.
Description
STAT 479: Machine Learning Lecture Notes Sebastian Raschka Department of Statistics University of Wisconsin–Madison http://stat.wisc.edu/∼sraschka/teaching/stat479-fs2018/ Fall 2018 Contents 11 Statistical Tests and Algorithm Comparison 1 11.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 11.2 Testing the Difference of Proportions . . . . . . . . . . . . . . . . . . . . . . . 1 11.3 Comparing Two Models with the McNemar Test . . . . . . . . . . . . . . . . 3 11.4 Exact p-Values via the Binomial Test . . . . . . . . . . . . . . . . . . . . . . . 5 11.5 Multiple Hypotheses Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 11.6 Cochran’s Q Test for Comparing the Performance of Multiple Classifiers . . . 7 11.7 The F -test for Comparing Multiple Classifiers . . . . . . . . . . . . . . . . . . 10 11.8 Comparing Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 11.9 Resampled Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 11.10k-fold Cross-validated Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . 13 11.11Dietterich’s 5x2-Fold Cross-Validated Paired t-Test . . . . . . . . . . . . . . . 13 11.12Alpaydin’s Combined 5x2cv F -test . . . . . . . . . . . . . . . . . . . . . . . . 14 11.13Effect size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11.14Nested Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11.15Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 STAT 479: Machine Learning Lecture Notes Sebastian Raschka Department of Statistics University of Wisconsin–Madison http://stat.wisc.edu/∼sraschka/teaching/stat479-fs2018/ Fall 2018 11 Statistical Tests and Algorithm Comparison 11.1 Overview This fourth lecture in the model evaluation part of this machine learning class provides overviews of several statistical hypothesis testin
AI summary
- Document name
- Eval algo notes (11) (Các kiểm định thống kê và so sánh thuật toán) - Sebastian Raschka
- School / Course
- University Wisconsin-Madison · Machine learning
- Content
- Tài liệu giới thiệu các phương pháp kiểm định thống kê để so sánh hiệu suất mô hình học máy, bao gồm các kỹ thuật dựa trên tập kiểm tra độc lập và kiểm định chéo. Tài liệu cũng đề cập đến kiểm định chéo lồng nhau và đưa ra các gợi ý về đánh giá mô hình.
- Table of contents
- 11 Statistical Tests and Algorithm Comparison
- 11.1 Overview
- 11.2 Testing the Difference of Proportions
- 11.3 Comparing Two Models with the McNemar Test
- 11.4 Exact p-Values via the Binomial Test
- 11.5 Multiple Hypotheses Testing
- 11.6 Cochran’s Q Test for Comparing the Performance of Multiple Classifiers
- 11.7 The F -test for Comparing Multiple Classifiers
- 11.8 Comparing Algorithms
- 11.9 Resampled Paired t-Test
- 11.10k-fold Cross-validated Paired t-Test
- 11.11Dietterich’s 5x2-Fold Cross-Validated Paired t-Test
- 11.12Alpaydin’s Combined 5x2cv F -test
- 11.13Effect size
- 11.14Nested Cross-Validation
- 11.15Conclusions
- Pages
- 18 pages
- Uploaded by
- Uni24h
Frequently asked questions
Is this document free?
Yes. “Eval algo notes (11) (Các kiểm định thống kê và so sánh thuật toán) - Sebastian Raschka” is free — just sign in and click Download to get the original file.
How many pages is this document?
The document has 18 pages, for the course Machine learning. You can preview it online before downloading.
Can I preview before downloading?
Yes. You can preview this document right on this page with the online reader, then decide whether to download.
Eval algo notes (11) (Các kiểm định thống kê và so sánh thuật toán) - Sebastian Raschka
Generating preview...
STAT 479: Machine Learning Lecture Notes Sebastian Raschka Department of Statistics University of Wisconsin–Madison http://stat.wisc.edu/∼sraschka/teaching/stat479-fs2018/ Fall 2018 Contents 11 Statistical Tests and Algorithm Comparison 1 11.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 11.2 Testing the Difference of Proportions . . . . . . . . . . . . . . . . . . . . . . . 1 11.3 Comparing Two Models with the McNemar Test . . . . . . . . . . . . . . . . 3 11.4 Exact p-Values via the Binomial Test . . . . . . . . . . . . . . . . . . . . . . . 5 11.5 Multiple Hypotheses Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 11.6 Cochran’s Q Test for Comparing the Performance of Multiple Classifiers . . . 7 11.7 The F -test for Comparing Multiple Classifiers . . . . . . . . . . . . . . . . . . 10 11.8 Comparing Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 11.9 Resampled Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 11.10k-fold Cross-validated Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . 13 11.11Dietterich’s 5x2-Fold Cross-Validated Paired t-Test . . . . . . . . . . . . . . . 13 11.12Alpaydin’s Combined 5x2cv F -test . . . . . . . . . . . . . . . . . . . . . . . . 14 11.13Effect size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11.14Nested Cross-Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11.15Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 STAT 479: Machine Learning Lecture Notes Sebastian Raschka Department of Statistics University of Wisconsin–Madison http://stat.wisc.edu/∼sraschka/teaching/stat479-fs2018/ Fall 2018 11 Statistical Tests and Algorithm Comparison 11.1 Overview This fourth lecture in the model evaluation part of this machine learning class provides overviews of several statistical hypothesis testin
Read full document
- Document name
- Eval algo notes (11) (Các kiểm định thống kê và so sánh thuật toán) - Sebastian Raschka
- School / Course
- University Wisconsin-Madison · Machine learning
- Content
- Tài liệu giới thiệu các phương pháp kiểm định thống kê để so sánh hiệu suất mô hình học máy, bao gồm các kỹ thuật dựa trên tập kiểm tra độc lập và kiểm định chéo. Tài liệu cũng đề cập đến kiểm định chéo lồng nhau và đưa ra các gợi ý về đánh giá mô hình.
- Table of contents
- 11 Statistical Tests and Algorithm Comparison
- 11.1 Overview
- 11.2 Testing the Difference of Proportions
- 11.3 Comparing Two Models with the McNemar Test
- 11.4 Exact p-Values via the Binomial Test
- 11.5 Multiple Hypotheses Testing
- 11.6 Cochran’s Q Test for Comparing the Performance of Multiple Classifiers
- 11.7 The F -test for Comparing Multiple Classifiers
- 11.8 Comparing Algorithms
- 11.9 Resampled Paired t-Test
- 11.10k-fold Cross-validated Paired t-Test
- 11.11Dietterich’s 5x2-Fold Cross-Validated Paired t-Test
- 11.12Alpaydin’s Combined 5x2cv F -test
- 11.13Effect size
- 11.14Nested Cross-Validation
- 11.15Conclusions
- Pages
- 18 pages
- Uploaded by
- Uni24h
Comments (0)
No comments yet. Be the first!
Refresher probabilities statistics (Xác suất và thống kê cho Machine Learning) - Afshine Amidi and Shervine Amidi
Ensembles notes (07) (Các phương pháp học ensemble) - Sebastian Raschka
Super cheatsheet machine learning (Khái niệm và công thức chính trong học máy) - Afshine Amidi and Shervine Amidi
Eval ci notes (09) (Đánh giá mô hình, khoảng tin cậy và kỹ thuật resampling) - Sebastian Raschka
Cheatsheet Deep Learning (Khái niệm chính về học sâu) - Afshine Amidi and Shervine Amidi
Chương 7.Cơ học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 6.Quang học lượng tử - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 5.Thuyết tương đối - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 4. Tán xạ ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Chương 3.Phân cực ánh sáng - Vật lý đại cương 3 - TS.Nguyễn Thị Trang
Comments (0)
No comments yet. Be the first!