Cơ sở Lý thuyết Truyền tin-2004 Chương 3: Thông tin và định lượng thông tin Hà Quốc Trung1 1 Khoa Công nghệ thông tin Đại học Bách khoa Hà nội fb.com/groups/ Chương 3: Thông tin và định lượng thông tin 1 Lượng tin của nguồn tin rời rạc 2 Entropi của nguồn rời rạc 3 Tốc độ lập tin của nguồn và thông lượng kênh rời rạc 4 Entropi của nguồn và thông lượng kênh liên tục fb.com/groups/ 1. Lượng tin của nguồn tin rời rạc 1 Lượng tin của nguồn tin rời rạc Nguồn tin rời rạc Biến đổi nguồn tin rời rạc Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện Tính chất của lượng tin Lượng tin trung bình 2 Entropi của nguồn rời rạc 3 Tốc độ lập tin của nguồn và thông lượng kênh rời rạc 4 Entropi của nguồn và thông lượng kênh liên tục fb.com/groups/ Chương 3: Thông tin và định lượng thông tin 1. Lượng tin của nguồn tin rời rạc 3/ 55 1.1.Nguồn tin rời rạc Nguồn tin rời rạc Nguồn tin tạo ra một chuỗi các biến ngẫu nhiên rời rạc x1 , x2 , . . . , xn , . . . Ký hiệu Phần tử nhỏ nhất chứa thông tin, Một giá trị của biến ngẫu nhiên, Ví dụ mã morse, 4 ký hiệu Bộ ký hiệu: tập hợp tất cả các ký hiệu có thể (tất cả các giá trị có thể của biến ngẫu nhiên rời rạc), còn gọi là bảng chữ cái X = {x1 , x2 , . . . , xn } Từ: Tập hợp hữu hạn các ký hiệu Bộ từ: Tập hợp tất cả các từ có thể Nguồn đặc trưng bởi trường xác suất {X , p(x)}, X = {x1 x2 . . . xn ....} fb.com/groups/ Chương 3: Thông tin và định lượng thông tin 1. Lượng tin của nguồn tin rời rạc 4/ 55 Các loại nguồn tin rời rạc Nguồn rời rạc không nhớ: xác suất xuất hiện của các ký hiệu không phụ thuộc vào các ký hiệu đã xuất hiện trước đó p(xn |x1 , x2 , . . . xn−1 ) = p(xn ) Nguồn rời rạc có nhớ p(xn |x1 , x2 , . . . xn−1 ) < p(xn ) Nguồn dừng: Xác suất xuất hiện của các ký tự chỉ phụ thuộc vào vị trí tương quan giữa các ký tự, không phụ thuộc vào vị trí so với gốc p(xi , n) = p(xi , n + k)∀k Nguồn dừng Ergodic: Nguồn có các giá t