1 ページ
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội - 2023
資料の内容
2 ページ
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ BÍCH PHƯỢNG ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY Ngành: Toán học Mã số: 9460101 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC HD1: PGS.TS. NGUYỄN XUÂN THẢO HD2: GS.TSKH. NGUYỄN TIẾN DŨNG Hà Nội - 2023
3 ページ
LỜI CAM ĐOAN Luận án này được viết dựa trên những nghiên cứu của tác giả tại Đại học Bách khoa Hà Nội, dưới sự hướng dẫn của thầy PGS.TS. Nguyễn Xuân Thảo và thầy GS.TSKH. Nguyễn Tiến Dũng. Các kết quả trong luận án này là mới và chưa từng công bố trong bất kỳ công trình khoa học nào của tác giả khác. Hà Nội, ngày 24 tháng 3 năm 2023 Nghiên cứu sinh Lê Bích Phượng TM. Tập thể hướng dẫn PGS. TS. Nguyễn Xuân Thảo
4 ページ
LỜI CẢM ƠN Luận án được hoàn thành tại Đại học Bách khoa Hà Nội, dưới sự hướng dẫn khoa học tận tình của thầy PGS.TS. Nguyễn Xuân Thảo và thầy GS.TSKH. Nguyễn Tiến Dũng. Tác giả xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới các thầy. Tác giả xin chân thành cảm ơn Viện Toán ứng dụng và Tin học cũng như Phòng Đào tạo - Đại học Bách khoa Hà Nội đã tạo mọi điều kiện thuận lợi cho tác giả trong suốt quá trình học tập và nghiên cứu tại đây. Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH. Nguyễn Hùng Sơn (Đại học Tổng hợp Warszawa, Ba Lan) và TS. Nguyễn Thị Thúy Nga (Torus Actions SAS) người thầy và người bạn đã luôn động viên tác giả trong quá trình học tập, nghiên cứu và có những ý kiến đóng góp sâu sắc về nội dung khi tác giả hoàn thành luận án. Tác giả xin chân thành cảm ơn Ban Giám hiệu, các thầy cô trong Khoa Khoa học Cơ bản, Bộ môn Toán, Trường Đại học Mỏ - Địa chất, nơi tác giả đang công tác, đã tạo mọi điều kiện thuận lợi cho tác giả trong quá trình hoàn thành luận án. Cuối cùng và đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lòng đến gia đình mình, nơi luôn dành cho tác giả tình yêu thương vô hạn. Trong quá trình học tập và hoàn thành luận án, các thành viên trong gia đình đã luôn sát cánh, động viên và ủng hộ tác giả, đó chính là nguồn động lực to lớn giúp tác giả hoàn thành luận án của mình. Tác giả Lê Bích Phượng
5 ページ
MỤC LỤC LỜI CAM ĐOAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LỜI CẢM ƠN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MỤC LỤC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 DANH MỤC CÁC KÍ HIỆU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 DANH MỤC CÁC CHỮ VIẾT TẮT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 DANH MỤC CÁC BẢNG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 DANH MỤC CÁC THUẬT NGỮ CƠ BẢN . . . . . . . . . . . . . . . . . . . . . . . . 8 DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG . . . . . . . . . . . . . . . . . . . . 10 MỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Chương 1. KIẾN THỨC CHUẨN BỊ 20 1.1 Mô hình chung của quá trình học máy . . . . . . . . . . . . . . . . . . . . . . . . . . 20 1.2 Dữ liệu cho học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.3 Các “đặc trưng” trong học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 1.4 Kiểm tra hiệu quả của máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5 Biểu quyết và kiểm định chéo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 1.6 Tối ưu dựa trên Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.7 Phép tích chập và mạng nơ-ron tích chập . . . . . . . . . . . . . . . . . . . . . . . . 35 1.8 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Chương 2. ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 38 2.1 Các thước đo độ chính xác của máy phân loại nhị phân . . . . . . . . . . . . . . . . 38 2.1.1 Âm tính, dương tính và ba tỉ lệ cơ bản . . . . . . . . . . . . . . . . . . . . . . 38 2.1.2 Độ chính xác có trọng số (weighted accuracy) . . . . . . . . . . . . . . . . . . 41 2.1.3 Độ chính xác cân bằng (balanced accuracy) . . . . . . . . . . . . . . . . . . . 42 2.1.4 Điểm số F (F-score) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.2 Đường cong ROC và các thước đo độ chính xác của các máy phân loại nhị phân mềm 45 2.3 Phép chiếu thông tin, hàm sigmoid và máy tối ưu . . . . . . . . . . . . . . . . . . . . 50 2.4 Cải thiện độ chính xác bằng biểu quyết . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.5 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 Chương 3. ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57 3.1 Tổng quan về các hàm mất mát (loss function) . . . . . . . . . . . . . . . . . . . . . 57 3.1.1 Các hàm mất mát hồi quy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.1.2 Các hàm mất mát phân loại (phân lớp) . . . . . . . . . . . . . . . . . . . . . 59 3.1.3 Các hàm mất mát thường dùng trong bài toán phân đoạn hình ảnh . . . . . 60 3.2 Học máy vi phân và hàm mất mát . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.3 Hàm mất mát lồi và xác suất bị bóp méo . . . . . . . . . . . . . . . . . . . . . . . . 67 3.4 Các hàm mất mát không lồi và các bẫy ngẫu nhiên . . . . . . . . . . . . . . . . . . . 69 3.5 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 1
6 ページ
Chương 4. TỐI ƯU HÓA PHÂN ĐOẠN HÌNH ẢNH BẰNG BIỂU QUYẾT TÔ-PÔ 76 4.1 Phương pháp biểu quyết tô-pô . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.1.1 Phân đoạn hình ảnh và khoảng cách Jaccard . . . . . . . . . . . . . . . . . . 77 4.1.2 Biểu quyết số học . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.1.3 Biểu quyết tô-pô: Dạng đơn giản nhất . . . . . . . . . . . . . . . . . . . . . . 80 4.1.4 Biểu quyết tô-pô địa phương . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.1.5 Biểu quyết kết hợp (biểu quyết lai): tô-pô và số học . . . . . . . . . . . . . . 83 4.2 Tính hợp lý của biểu quyết tô-pô . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 4.2.1 Trường hợp một chiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.2.2 Trường hợp hai chiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 4.3 Các kết quả thực nghiệm của biểu quyết tô-pô . . . . . . . . . . . . . . . . . . . . . 93 4.3.1 Phân đoạn muối trong các hình ảnh địa chấn . . . . . . . . . . . . . . . . . . 93 4.3.2 Phân đoạn khuôn mặt người . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 4.3.3 Phân đoạn mạch máu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4.4 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 KẾT LUẬN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 KIẾN NGHỊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ CỦA LUẬN ÁN . . . . . . . . . . . . 109 TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 2
7 ページ
DANH MỤC CÁC KÍ HIỆU Kí hiệu Ý nghĩa ≫ Lớn hơn đáng kể ≈ Xấp xỉ ∇xf(x) Gradient của hàm số f ∂ f(x) Đạo hàm riêng của hàm số f theo biến x ∂x i i uT Vec-tơ chuyển vị của vec-tơ u ∗ Tích chập Σ Tổng ∼ Tuân theo quy luật phân phối (trong xác suất) ∼ Tương đương (trong giải tích) P(X > x) Xác suất để biến ngẫu nhiên X lớn hơn giá trị x exp Hàm e mũ R +∞ Tích phân từ x đến +∞ x ◦ Phép hợp thành ϕ−1 Ánh xạ ngược của ánh xạ ϕ P(Y (x) = 1|ϕ(x) = φ) Xác suất của Y (x) = 1 với điều kiện ϕ(x) = φ R Tập hợp các số thực Q Tích ∩ Giao của hai tập hợp ||u|| Chuẩn của véc-tơ u R f(a)da Tích phân trên toàn bộ miền xác định của a R f(x)dx Tích phân trên tập Ω Ω (0,1) Khoảng từ 0 đến 1 [0,1] Đoạn từ 0 đến 1 3
8 ページ
DANH MỤC CÁC CHỮ VIẾT TẮT Viết tắt Ý nghĩa Từ gốc tiếng Anh AI Trí tuệ nhân tạo Artificial Intelligence ANN Mạng nơ-ron nhân tạo Artificial Neural Network AUC Diện tích dưới đường cong Area Under the Curve BA Độ chính xác cân bằng Balanced Accuracy CNN Mạng nơ-ron dạng tích chập Convolutional Neural Network DL Học sâu Deep Learning FN Tỷ lệ âm tính giả False Negative rate FP Tỷ lệ dương tính giả False Positive rate hb Nửa mù half blind IoT Internet kết nối vạn vật Internet of Things IOU Giao chia cho hợp Intersection Over Union LF Hàm mất mát Loss Function MAE Trung bình giá trị tuyệt đối độ lỗi Mean Absolute Error MBA Độ chính xác cân bằng cao nhất Maximal Balanced Accuracy MBE Trung bình độ lỗi thiên vị Mean Bias Error ML Học máy Machine Learning MOM Tối thiểu trên tối đa Min Over Max MSE Trung bình bình phương độ lỗi Mean Square Error MWA Độ chính xác có trọng cao nhất Maximally Weighted Accuracy PR Tỉ lệ chính xác Precision Rate RNN Mạng nơ-ron hồi quy Recurrent Neural Network ROC Đường cong đặc trưng hoạt động Receiver Operating Characteristic SVM Máy vec-tơ hỗ trợ Support Vector Machine TP Tỷ lệ dương tính thật True Positive rate TN Tỷ lệ âm tính thật True Negative rate WA Độ chính xác có trọng Weighted Accuracy 4
9 ページ
DANH MỤC CÁC BẢNG Bảng Tên bảng Trang Bảng 2.1 Bảng tổng kết về các thước đo độ chính xác 44 Bảng 3.1 Máy bay với không phải máy bay 72 Bảng 3.2 Chó với không phải chó 73 Bảng 4.1 So sánh các phương pháp biểu quyết trên 5 fold của tập dữ liệu muối 94 Bảng 4.2 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu muối 97 Bảng 4.3 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu muối sử dụng binary accuracy 98 Bảng 4.4 So sánh các phương pháp biểu quyết trên 10 fold của tập dữ liệu khuôn mặt người 103 Bảng 4.5 So sánh các phương pháp biểu quyết trên 15 fold của tập dữ liệu DRIVE 106 5
10 ページ
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình Chú thích Trang Hình 1.1 Một ví dụ sơ đồ mạng nơ-ron: các nút tròn là “nơ-ron”, các đường nối là “axon”. 21 Hình 1.2 Một quá trình huấn luyện điển hình. 24 Hình 1.3 Một phần fresco của Mantegna tại nhà thờ Emeritani 29 Hình 1.4 Mô tả phương pháp k-fold Cross Validation 31 Hình 1.5 Trượt Gradient 33 Hình 1.6 Các loại điểm tới hạn 33 Hình 1.7 Xấp xỉ giá trị cực tiểu 34 Hình 2.1 Cách chia tập dữ liệu Ω 39 Hình 2.2 Đường cong ROC và đường tiếp tuyến tại điểm mà trung bình có trọng lớn nhất. 48 Hình 3.1 Các hàm mất mát thường dùng trong bài toán phân đoạn hình ảnh. 61 Hình 3.2 Dáng điệu một số hàm mất mát lồi. Hàm mất mát cross-entropy (hàm log) đã được điều chỉnh bằng cách cho thêm một số dương epsilon rất nhỏ để tránh tình huống ln0. 63 Hình 3.3 Một số hàm mất mát được sử dụng cho thí nghiệm học máy phân loại nhị phân trên tập CIFAR-10. 70 Hình 3.4 Rơi vào bẫy sau đó thoát ra sau các bước học máy. Vấn đề phân loại “Mèo và không phải mèo” trên CIFAR-10, huấn luyện với VGG16 và hàm brokenloss1. Khi ở trong bẫy, máy lấy mọi ảnh mèo (sensitivity = 1, specificity = 0 tại mức threshold σ = 0.5). 74 Hình 3.5 Rơi vào bẫy và không thoát ra được, brokenloss1, c=1, r=9. 74 Hình 3.6 Một ví dụ khác về rơi vào bẫy rồi thoát ra, brokenloss3, c=2, r=9. 75 Hình 4.1 Một ví dụ cho biểu quyết tô-pô địa phương với s = 1. 83 Hình 4.2 Một ví dụ về bỏ phiếu kết hợp. Tại vòng 1, segmentator 5 and segmentator 7 sẽ bị loại trừ vì chúng cách xa những cái khác, phần còn lại vào vòng 2 sử dụng biểu quyết số học (có thể mềm hoặc cứng) 84 Hình 4.3 So sánh biểu quyết số học (biểu quyết trung bình) và phương pháp biểu quyết tô-pô trong trường hợp 1 chiều (a) {S }n độc lập và tuân theo i i=1 quy luật N(0,1); (b) {S }n độc lập và tuân theo quy luật U(0,1). 87 i i=1 Hình 4.4 So sánh trong trường hợp 2 chiều với cùng một phân phối của xi nhưng khác f. (a) xi ∼ U(0,1) với mọi i, f(x) = 1/(1 + x); (b) x ∼ U(0,1) với mọi i, f(x) = x2. 91 i Hình 4.5 So sánh khi f là hàm đối xứng, x ∼ U(−1,1), f(x) = x3. i (a) Hiển thị cho tất cả các mẫu; (b) Phóng to một phần của các mẫu. 92 6
11 ページ
Hình 4.6 So sánh các mức độ không chắc chắn khác nhau của các annotation x , f(x) = x2. 93 i Hình 4.7 Ví dụ thứ nhất: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối. 95 Hình 4.8 Ví dụ thứ hai: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối. 95 Hình 4.9 Ví dụ thứ ba: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối. 96 Hình 4.10 Ví dụ thứ tư: Biểu quyết tô-pô so với biểu quyết số học trong phân đoạn muối. 96 Hình 4.11 Ví dụ thứ nhất: So sánh các phương pháp biểu quyết cho bài toán nhận diện khuôn mặt người 100 Hình 4.12 Ví dụ thứ hai: So sánh các phương pháp biểu quyết cho bài toán nhận diện khuôn mặt người 101 Hình 4.13 Ví dụ thứ ba: So sánh các phương pháp biểu quyết cho bài toán nhận diện khuôn mặt người 102 Hình 4.14 So sánh các phương pháp biểu quyết cho vấn đề phân đoạn mạch máu. 105 7
12 ページ
DANH MỤC CÁC THUẬT NGỮ CƠ BẢN Khoa học máy tính: Khoa học máy tính (tiếng Anh: computer science) là ngành nghiên cứu các cơ sở lý thuyết về thông tin và tính toán cùng sự thực hiện và ứng dụng của chúng trong các hệ thống máy tính. Trí tuệ nhân tạo: Trong khoa học máy tính, trí tuệ nhân tạo hay AI (tiếng Anh: Artificial Intelligence), đôi khi được gọi là trí thông minh nhân tạo, là trí thông minh được thể hiện bằng máy móc, trái ngược với trí thông minh tự nhiên của con người. Thông thường, thuật ngữ “trí tuệ nhân tạo” thường được sử dụng để mô tả các máy móc (hoặc máy tính) có khả năng bắt chước các chức năng “nhận thức” mà con người thường phải liên kết với tâm trí, như “học tập” và “giải quyết vấn đề”. Học máy: Học máy hay ML (tiếng Anh: Machine Learning) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống “học” tự động từ dữ liệu để giải quyết những vấn đề cụ thể. Ví dụ như các máy có thể “học” cách phân loại thư điện tử xem có phải thư rác (spam) hay không và tự động xếp thư vào thư mục tương ứng. Thị giác máy tính: Thị giác máy tính (tiếng Anh: computer vision) là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh, nói chung là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin số hoặc biểu tượng, ví dụ trong các dạng quyết định. Mạng nơ-ron nhân tạo: Hay thường gọi ngắn gọn là mạng neural (tiếng Anh: Artificial Neural Network-ANN) là một mô hình toán học hay mô hình tính toán được xây dựng dựa trên các mạng neural sinh học. Nó gồm có một nhóm các neural nhân tạo (nút) nối với nhau, và xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút (cách tiếp cận connectionism đối với tính toán). Mạng nơ-ron dạng tích chập: Trong học sâu, một mạng nơ-ron dạng tích chập (tiếng Anh: Convolutional Neural Network-CNN) là một lớp của mạng nơ-ron sâu, áp dụng phổ biến nhất để phân tích hình ảnh trực quan. CNN có nhiều ứng dụng trong thị giác máy tính, hệ thống gợi ý, phân loại hình ảnh, tính toán hình ảnh y tế (điện toán hình ảnh y tế), xử lý ngôn ngữ tự nhiên, và chuỗi thời gian tài chính. Mạng nơ-ron hồi quy: Mạng nơ-ron hồi quy (tiếng Anh: recurrent neural network, viết tắt RNN) là một lớp của mạng nơ-ron nhân tạo, nơi kết nối giữa các nút để tạo thành đồ thị có hướng dọc theo một trình tự thời gian. Điều này cho phép mạng thể hiện hành vi động tạm thời. RNN có thể dùng xử lý các chuỗi đầu vào có độ dài thay đổi nên nó có thể áp dụng để nhận dạng chữ viết tay (handwriting recognition) hay nhận dạng tiếng nói. Học sâu: Học sâu (tiếng Anh: deep learning) là một nhánh máy học sử dụng nhiều lớp mạng nơ-ron để đưa ra một mô hình toán học trên dữ liệu có sẵn. Học sâu thường được nhắc đến cùng với Dữ liệu lớn (Big Data) và Trí tuệ nhân tạo (AI) Đã có nhiều ứng dụng trong thực tế , đang phát triển mạnh theo sự phát triển của tốc độ máy tính đặc biệt là khả năng tính toán trên GPU và sự tăng nhanh của dữ liệu cùng với các framework (TensorFlow hay Pytorch) làm việc xây dựng model trở nên dễ dàng hơn. 8
最初の12ページを表示しています。全文を見るには資料をダウンロードしてください。
コメント (0)
まだコメントはありません。最初のコメントを書きましょう！