Generating preview...
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI --------------- LÊ THỊ HÀ NGHIÊN CỨU CÁC MÔ HÌNH HỌC SÂU VÀ ỨNG DỤNG CHO BÀI TOÁN SINH MÔ TẢ ẢNH Ngành: Hệ thống thông tin Mã ngành: 8480104 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN: TS. Lương Thị Hồng Lan Hà Nội - 2026
i LỜI CAM ĐOAN Học viên là Lê Thị Hà, học viên cao học Lớp Cao học Hệ thống thông tin Khóa 13. Học viên cam đoan đề án thạc sĩ “Nghiên cứu các mô hình học sâu và ứng dụng cho bài toán sinh mô tả ảnh” được thực hiện dưới sự hướng dẫn của TS. Lương Thị Hồng Lan. Một phần kết quả nghiên cứu đã được công bố trong công trình khoa học được liệt kê tại Danh mục các công trình của đề án; các nội dung sử dụng trong đề án được trình bày, trích dẫn và ghi nguồn phù hợp. Các phần còn lại là kết quả tổng hợp, phân tích và thực nghiệm của học viên trong phạm vi đề án. Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính học viên thu thập từ các nguồn khác nhau có ghi trong phần tài liệu tham khảo. Học viên cam đoan rằng không có bất kỳ vi phạm nào đối với các quy định đạo đức nghiên cứu khoa học trong quá trình thực hiện đề án. Các tài liệu tham khảo được trích dẫn đúng nguồn gốc và được sử dụng một cách hợp lý. Học viên hiểu rõ rằng nếu phát hiện bất kỳ sai sót, vi phạm hoặc gian lận nào trong đề án của mình, học viên sẽ chịu trách nhiệm trước pháp luật và có thể bị xem xét lại về bằng cấp đã đạt được. Học viên viết cam đoan này và học viên hoàn toàn chịu trách nhiệm về tính chính xác và trung thực của công trình nghiên cứu của mình. Hà Nội, ngày 20 tháng 04 năm 2026 Tác giả Lê Thị Hà
ii LỜI CẢM ƠN Đề tài “Nghiên cứu các mô hình học sâu và ứng dụng cho bài toán sinh mô tả ảnh” là công trình nghiên cứu tôi thực hiện dưới sự hướng dẫn của TS. Lương Thị Hồng Lan trong khuôn khổ đề án tốt nghiệp Cao học tại Đại học Công nghiệp Hà Nội. Trong quá trình nghiên cứu và hoàn thiện đề án, tôi đã nhận được rất nhiều sự hỗ trợ và động viên từ các thầy cô, cơ quan, tổ chức, gia đình và bạn bè. Trước hết, tôi xin bày tỏ lòng biết ơn sâu sắc đến TS. Lương Thị Hồng Lan, người đã tận tình hướng dẫn, định hướng và chia sẻ những kiến thức quý báu, không chỉ trong quá trình thực hiện đề án mà còn trong suốt thời gian học tập tại trường. Sự tận tâm và những đóng góp của cô là nguồn động viên to lớn giúp tôi hoàn thành nghiên cứu này. Tôi cũng xin gửi lời cảm ơn chân thành đến quý thầy cô Đại học Công nghiệp Hà Nội, những người đã giảng dạy, truyền đạt kiến thức và hỗ trợ tôi trong suốt quá trình học tập. Bên cạnh đó, tôi xin trân trọng cảm ơn Ban Lãnh đạo cùng các đơn vị chuyên môn và phòng chức năng của Trường Cao đẳng Kinh tế Công nghiệp Hà Nội nơi tôi đang công tác, đã tạo điều kiện thuận lợi để tôi có thể hoàn thành đề án này. Đặc biệt, tôi muốn gửi lời cảm ơn đến gia đình, bạn bè, các anh chị khóa trên, cũng như các bạn học lớp CH HTTT K13.2, những người luôn bên cạnh động viên, chia sẻ và hỗ trợ tôi trong suốt quá trình nghiên cứu và thực hiện đề án. Mặc dù đã nỗ lực hoàn thành đề án với sự nghiêm túc và trách nhiệm cao nhất, nhưng do hạn chế về thời gian và kiến thức, chắc chắn đề án vẫn còn
iii những thiếu sót. Tôi rất mong nhận được những góp ý quý báu từ các thầy cô và các bạn để có thể hoàn thiện hơn. Một lần nữa, tôi xin chân thành cảm ơn! Hà Nội, tháng 04 năm 2026 Học viên Lê Thị Hà
iv MỤC LỤC LỜI CAM ĐOAN ...........................................................................................i LỜI CẢM ƠN................................................................................................ii MỤC LỤC.....................................................................................................iv DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT...................................vii DANH MỤC CÁC BẢNG BIỂU ............................................................. viii DANH MỤC CÁC HÌNH VẼ......................................................................ix MỞ ĐẦU ........................................................................................................1 1. Đặt vấn đề ...............................................................................................1 2. Tổng quan nghiên cứu.............................................................................2 3. Mục đích nghiên cứu...............................................................................3 4. Nội dung nghiên cứu...............................................................................4 5. Kết cấu đề án...........................................................................................5 CHƯƠNG 1 - TỔNG QUAN VỀ BÀI TOÁN TỰ ĐỘNG SINH MÔ TẢ ẢNH................................................................................................................ 6 1.1. Bài toán sinh mô tả ảnh........................................................................6 1.2. Mạng nơ-ron nhân tạo........................................................................10 1.2.1. Hàm kích hoạt .............................................................................11 1.2.2. Lan truyền tiến ............................................................................13 1.2.3. Lan truyền ngược ........................................................................13 1.3. Mạng nơ-ron đồ thị ............................................................................14 1.3.1. Quy tắc lan truyền .......................................................................15
v 1.3.2. Hàm mất mát...............................................................................16 1.4. Mạng tích chập đồ thị.........................................................................17 1.5. Mạng chú ý đồ thị ..............................................................................18 1.6. Kiến trúc Transformer........................................................................21 1.6.1. Mã hóa vị trí................................................................................22 1.6.2. Encoder .......................................................................................24 1.6.3. Decoder.......................................................................................31 1.6.4. Lớp kết nối đầy đủ cuối cùng......................................................32 1.6.5. Các kỹ thuật đặc biệt khi huấn luyện Transformer.....................33 1.7. Kết luận chương 1 ..............................................................................34 CHƯƠNG 2 - MÔ HÌNH SINH MÔ TẢ ẢNH DỰA TRÊN CẤU TRÚC ĐỒ THỊ THỊ GIÁC .................................................................................... 35 2.1. Giới thiệu............................................................................................35 2.2. Kiến trúc tổng quan của mô hình SPNER-SAN................................36 2.2.1. Khối trích xuất đặc trưng ............................................................38 2.2.2. Khối tinh chỉnh đồ thị .................................................................42 2.2.3. Khối ER-SAN .............................................................................49 2.2.4. Khối dự đoán ngôn ngữ ..............................................................53 2.3. Kết luận chương 2 ..............................................................................54 CHƯƠNG 3 - THỰC NGHIỆM SO SÁNH MÔ HÌNH ĐỀ XUẤT TRÊN BỘ DỮ LIỆU MS-COCO........................................................................... 55 3.1. Kịch bản thực nghiệm........................................................................55
vi 3.1.1. Dữ liệu thực nghiệm ...................................................................55 3.1.2. Môi trường thực nghiệm.............................................................55 3.1.3. Cách thiết lập và lựa chọn tham số .............................................56 3.1.4. Các chỉ số đánh giá .....................................................................58 3.2. Kết quả thực nghiệm..........................................................................61 3.2.1. Kết quả sử dụng Subgraph Proposal Network............................61 3.2.2. So sánh tổng hợp với các mô hình nền .......................................64 3.2.3. Phân tích mức cải thiện theo từng nhóm chỉ số..........................66 3.2.4. Bổ sung biểu mẫu kiểm soát và tái lập thực nghiệm ..................67 3.2.5. Thảo luận hạn chế và hướng kiểm chứng bổ sung .....................68 3.3. Kết luận chương 3 ..............................................................................68 KẾT LUẬN..................................................................................................69 1. Kết luận .................................................................................................69 2. Hướng nghiên cứu tương lai .................................................................70 DANH MỤC CÁC CÔNG TRÌNH CỦA ĐỀ ÁN ....................................71 DANH MỤC TÀI LIỆU THAM KHẢO...................................................72
vii DANH MỤC CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT STT Ký hiệu / Viết tắt Cụm từ tiếng Anh đầy đủ Nghĩa tiếng Việt 1 BLEU Bilingual Evaluation Understudy Chỉ số đánh giá chất lượng dịch tự động 2 CIDEr Consensus-based Image Description Evaluation Chỉ số đánh giá mô tả ảnh dựa trên đồng thuận 3 CNN Convolutional Neural Network Mạng nơ-ron tích chập 4 ER-SAN Enhanced Adaptive Relation Self-Attention Network Mạng tự chú ý quan hệ thích nghi tăng cường 5 Faster R-CNN Faster Region-based Convolutional Neural Network Mạng tích chập phát hiện đối tượng theo vùng 6 GAT Graph Attention Network Mạng nơ-ron đồ thị chú ý 7 GCN Graph Convolutional Network Mạng nơ-ron tích chập đồ thị 8 GNN Graph Neural Network Mạng nơ-ron đồ thị 9 LSTM Long Short-Term Memory Mạng bộ nhớ dài - ngắn hạn 10 METEOR Metric for Evaluation of Translation with Explicit ORdering Chỉ số đánh giá dịch thuật có xét trật tự từ 11 MS-COCO Microsoft Common Objects in Context Bộ dữ liệu chuẩn phân tích và nhận dạng hình ảnh 12 MSE Mean Squared Error Lỗi bình phương trung bình 13 NLP Natural Language Processing Xử lý ngôn ngữ tự nhiên 14 ReLU Rectified Linear Unit Hàm kích hoạt phi tuyến 15 ResNet Residual Network Mạng nơ-ron tích chập sâu có kết nối dư 16 RNN Recurrent Neural Network Mạng nơ-ron tuần hoàn 17 ROUGE Recall-Oriented Understudy for Gisting Evaluation Chỉ số đánh giá tập trung vào độ phủ (Recall) 18 SPICE Semantic Propositional Image Caption Evaluation Chỉ số đánh giá chú thích ảnh theo phân tích ngữ nghĩa 19 SPN Subgraph Proposal Network Mạng đề xuất đồ thị con 20 VRD Visual Relationship Detection Phát hiện quan hệ thị giác 21 WeakVRD Weakly Supervised Visual Relationship Detection Phát hiện quan hệ thị giác giám sát yếu
viii DANH MỤC CÁC BẢNG BIỂU Bảng 2.1. Số liệu minh họa chỉ số tầm quan trọng cục bộ (LI)....................46 Bảng 3.1. Số lượng mẫu trong các tập dữ liệu..............................................55 Bảng 3.2. Kết quả đánh giá hiệu quả của SPN trên bộ dữ liệu MS-COCO..63 Bảng 3.3. So sánh hiệu năng SPNER-SAN trên MS-COCO........................65 Bảng 3.4. Mức cải thiện của SPNER-SAN so với các mô hình nền ............66 Bảng 3.5. Biểu mẫu kiểm soát tái lập thực nghiệm ......................................68
ix DANH MỤC CÁC HÌNH VẼ Hình 1.1. Minh họa quy trình của bài toán tự động sinh mô tả ảnh ...............6 Hình 1.2. Kiến trúc mạng nơ-ron nhân tạo (ANN/MLP)..............................11 Hình 1.3. Đồ thị của bốn hàm kích hoạt phổ biến ........................................13 Hình 1.4. Mô hình tổng quát của mạng nơ-ron đồ thị (GNN)......................15 Hình 1.5. Mô hình tổng quát của mạng tích chập đồ thị (GCN) ..................18 Hình 1.6. Mô hình chuẩn hóa hệ số chú ý trong GAT..................................19 Hình 1.7. Cơ chế tổng hợp thông tin trong mô hình GAT............................20 Hình 1.8. Tổng quan kiến trúc mô hình Transformer...................................22 Hình 1.9. Mã hóa vị trí trong Transformer ...................................................24 Hình 1.10. Minh họa cơ chế kết hợp thông tin vị trí với biểu diễn từ ..........25 Hình 1.11. Minh họa quá trình mã hóa trong Transformer...........................26 Hình 1.12. Minh họa cơ chế tự chú ý............................................................27 Hình 1.13. Minh họa tính toán tự chú ý theo dạng ma trận ..........................28
Showing the first 10 pages. Download the document to see it all.
No comments yet. Be the first!
Comments (0)
No comments yet. Be the first!