Generating preview...
TRẦN QUANG HIẾU HỆ THỐNG THÔNG TIN BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI TRẦN QUANG HIẾU NGHIÊN CỨU ỨNG DỤNG DEEP Q-LEARNING CẢI THIỆN TỔNG DUNG LƯỢNG HỆ THỐNG TRUYỀN THÔNG ĐA TRUY CẬP VỚI TRỢ GIÚP CỦA BỀ MẶT PHẢN XẠ THÔNG MINH IRS 2026 Hà Nội – 2026
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI TRẦN QUANG HIẾU NGHIÊN CỨU ỨNG DỤNG DEEP Q-LEARNING CẢI THIỆN TỔNG DUNG LƯỢNG HỆ THỐNG TRUYỀN THÔNG ĐA TRUY CẬP VỚI TRỢ GIÚP CỦA BỀ MẶT PHẢN XẠ THÔNG MINH IRS Ngành: Hệ thống thông tin Mã ngành: 8480104 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN: 1. TS. LÊ THỊ ANH 2. TS. PHẠM VĂN HIỆP Hà Nội – 2026
i LỜI CAM ĐOAN Tôi là Trần Quang Hiếu, học viên cao học chuyên ngành Hệ Thống Thông Tin khóa 14.1. Tôi xin cam đoan rằng đề án thạc sĩ với đề tài: “Nghiên cứu ứng dụng Deep Q-Learning cải thiện tổng dung lượng hệ thống truyền thông đa truy cập với trợ giúp của bề mặt phản xạ thông minh IRS” là công trình nghiên cứu của tôi, được thực hiện dưới sự hướng dẫn của TS Lê Thị Anh và TS Phạm Văn Hiệp. Các kết quả nghiên cứu và nội dung trình bày trong đề án là hoàn toàn trung thực, chưa từng được công bố hoặc trình bày trong các công trình khoa học nào khác. Những số liệu, bảng biểu và tiêu chí đánh giá đều được tôi thu thập từ các bài báo, công trình nghiên cứu đáng tin cậy và có trích dẫn rõ ràng. Tôi ý thức được việc tuân thủ các nguyên tắc về đạo đức nghiên cứu khoa học là vô cùng quan trọng vì vậy tôi cam đoan không có bất kì hành vi gian lận nào trong luận văn tốt nghiệp. Nếu xảy ra sai xót nào tôi xin chịu hoàn toàn trách nhiệm trước nhà trường và pháp luật. Hà Nội, ngày 25 tháng 4 năm 2026 Người cam đoan Trần Quang Hiếu
ii DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Ký hiệu Tên tiếng Anh Tên tiếng Việt BS Base Station Trạm gốc CSI Channel State Information Thông tin trạng thái kênh DQL Deep Q-Learning Học Q-learning sâu Double DQL Double Deep Q-Learning Học Q-learning sâu kép DQL Deep Reinforcement Learning Học tăng cường sâu GBS Ground Base Station Trạm gốc mặt đất IRS Intelligent Reflecting Surface Bề mặt phản xạ thông LoS Line-of-Sight Đường truyền có tầm nhìn trực tiếp NLoS Non- Line-of-Sight Đường truyền bị che khuất NOMA Non-Orthogonal Multiple Access Đa truy cập không trực giao PLS Physical Layer Security Bảo mật lớp vật lý QoS Quality of Service Chất lượng dịch vụ RL Reinforcement Learning Học tăng cường SC Secrecy Capacity Dung lượng đa truy cập SIC Successive Interference Loại bỏ nhiễu liên tiếp SINR Signal-to-Interference-plusNoise Ratio Tỉ số tín hiệu trên nhiễu và tạp âm SR Secrecy Rate Tốc độ bảo mật
iii MỤC LỤC LỜI CAM ĐOAN .............................................................................................. i DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT .............................................ii MỤC LỤC........................................................................................................iii DANH MỤC BẢNG BIỂU ............................................................................. vi DANH MỤC HÌNH ẢNH .............................................................................. vii MỞ ĐẦU.......................................................................................................... ix 1. Lý do chọn đề tài ......................................................................... ix 2. Lịch sử nghiên cứu ...................................................................... xi 3. Mục tiêu nghiên cứu..................................................................xiii 4. Nội dung nghiên cứu .................................................................xiii 5. Phương pháp nghiên cứu............................................................ xv 6. Bố cục đề án .............................................................................. xvi CHƯƠNG 1 - TỔNG QUAN VỀ ĐA TRUY CẬP, IRS VÀ HỌC TĂNG CƯỜNG SÂU ................................................................................................... 1 1.1. CÁC CÔNG NGHỆ ĐA TRUY CẬP ................................................... 1 1.1.1. Đa truy cập trực giao OMA ............................................................ 1 1.1.2. Đa truy cập không trực giao NOMA .............................................. 4 1.1.3. Đa truy cập RSMA.......................................................................... 5 1.1.4. So sánh các đa truy cập OMA, NOMA, RSMA............................. 6 1.2. BỀ MẶT PHẢN XẠ THÔNG MINH IRS............................................ 7 1.2.1. Khái niệm và cấu trúc ..................................................................... 7 1.2.2. Nguyên lý hoạt động ....................................................................... 9 1.2.3. Lợi ích ............................................................................................. 9 1.2.4. Thách thức..................................................................................... 10 1.3. KIẾN TRÚC HỆ THỐNG RSMA KẾT HỢP VỚI IRS VÀ KỸ THUẬT BEAMFORMING ........................................................................ 11
iv 1.3.1. Kiến trúc hệ thống......................................................................... 11 1.3.2. Mô hình hệ thống chi tiết .............................................................. 12 1.3.3. Nguyên lý hoạt động ..................................................................... 14 1.4. HỌC TĂNG CƯỜNG SÂU VÀ ỨNG DỤNG TRONG TRUYỀN THÔNG KHÔNG DÂY.............................................................................. 15 1.4.1. Giới thiệu về Q-Learning.............................................................. 15 1.4.2. Giới thiệu Deep Q-Learning ......................................................... 17 1.4.3. Giới thiệu Double Deep Q-Learning ............................................ 18 1.5. KẾT LUẬN CHƯƠNG 1 .................................................................... 19 CHƯƠNG 2: THIẾT KẾ MÔ HÌNH RSMA-IRS VÀ BÀI TOÁN TỐI ƯU 21 2.1. ĐỀ XUẤT MÔ HÌNH RSMA VỚI IRS TRÊN KÊNH TRUYỀN RICIAN....................................................................................................... 21 2.1.1. Mô tả mô hình hệ thống ................................................................ 21 2.1.2. Phân tích truyền dẫn tín hiệu......................................................... 24 2.2. DUNG LƯỢNG HỆ THỐNG.............................................................. 25 2.2.1. Phân tích toán học tín hiệu của hệ thống RSMA-IRS .................. 25 2.2.2. Tính toán dung lượng và hiệu quả năng lượng của RSMA-IRS .. 27 2.2.3. Xây dựng hàm mục tiêu ................................................................ 30 2.3. ĐỀ XUẤT THUẬT TOÁN DEEP Q-NETWORK VỚI HỆ THỐNG RSMA-IRS.................................................................................................. 34 2.3.1. Mô hình MDP ............................................................................... 34 2.3.2. Kiến trúc DQN.............................................................................. 35 2.3.3. Quy trình huấn luyện và thuật toán............................................... 37 2.4. KẾT LUẬN CHƯƠNG 2 .................................................................... 39 CHƯƠNG 3 - THỰC NGHIỆM VÀ KẾT QUẢ THỰC HIỆN .................... 40 3.1. THIẾT LẬP MÔ PHỎNG ................................................................... 40 3.1.1. Cài đặt thực nghiệm ...................................................................... 40
v 3.1.2. Các tham số hệ thống.................................................................... 42 3.1.3. Cấu hình của DDQN..................................................................... 44 3.1.4. Quy trình thực nghiệm và cấu hình mô phỏng ............................. 44 3.2. PHÂN TÍCH KẾT QUẢ THỰC NGHIỆM......................................... 46 3.2.1. Phân tích kết quả thực nghiệm cho SCC ...................................... 46 3.2.2. Biểu đồ hội tụ của thuật toán và hiệu suất năng lượng EE........... 54 3.3. ĐỀ XUẤT HƯỚNG PHÁT TRIỂN .................................................... 61 3.4. KẾT LUẬN CHƯƠNG 3 .................................................................... 62 TÀI LIỆU THAM KHẢO............................................................................... 67
vi DANH MỤC BẢNG BIỂU Bảng 1.1: Bảng so sánh giữa 3 kỹ thuật đa truy cập phổ biến hiện nay ........... 6 Bảng 3.1: Thông số thiết lập hệ thống truyền thông....................................... 42 Bảng 3.2: Thông số thiết lập thuật toán DDQL.............................................. 44
vii DANH MỤC HÌNH ẢNH Hình 1.1: Minh họa cơ chế cấp phát tài nguyên trong kỹ thuật đa truy cập phân chia theo thời gian (TDMA) [11]............................................................. 1 Hình 1.2: Minh họa cơ chế cấp phát tài nguyên trong kỹ thuật đa truy cập phân chia theo mã code (CDMA) [11].............................................................. 2 Hình 1.3: Minh họa cơ chế cấp phát tài nguyên trong kỹ thuật đa truy cập phân chia theo tần số trực giao (OFDMA) [11]................................................ 3 Hình 1.4: Minh họa cơ chế cấp phát tài nguyên trong kỹ thuật đa truy cập phân chia cùng dải tần số, cùng khe thời gian (NOMA) [11]........................... 4 Hình 1.5: Minh họa cơ chế cấp phát tài nguyên trong kỹ thuật đa truy cập phân chia theo tốc độ (RSMA) [11].................................................................. 6 Hình 1.6: Mô phỏng bề mặt phản xạ thông minh [16]...................................... 8 Hình 1.7: Hình ảnh hệ thống RSMA không có IRS và có IRS [17, 18]......... 11 Hình 1.8: Kiến trúc thuật toán Deep Q-Learning ........................................... 17 Hình 1.9: Kiến trúc thuật toán Double Deep Q-Learning............................... 19 Hình 2.1: Mô hình truyền thông RSMA với IRS............................................ 21 Hình 2.2: Các bước phân tích truyền dẫn tín hiệu .......................................... 24 Hình 2.3: Sơ đồ kiến trúc mạng nơ-ron cho bài toán đề xuất......................... 36 Hình 3.1: Kết quả so sánh sự hội tụ của thuật toán và hiệu suất SC................. 47 Hình 3.3: Kết quả ảnh hưởng của công suất và khoảng cách giữa GBS và IRS lên tổng dung lượng đa truy cập...................................................................... 50 Hình 3.4: Kết quả ảnh hưởng của công suất và số phần tử IRS lên tổng dung lượng đa truy cập............................................................................................. 52 Hình 3.2: Kết quả so sánh sự hội tụ của thuật toán và hiệu quả năng lượng EE ......................................................................................................................... 55 Hình 3.5: Kết quả ảnh hưởng của công suất và khoảng cách giữa GBS và IRS lên hiệu suất năng lượng EE ........................................................................... 58
Showing the first 9 pages. Download the document to see it all.
No comments yet. Be the first!
Comments (0)
No comments yet. Be the first!