Entropy là gì?

Entropy là số bit nhỏ nhất có thể để mã hóa mà không làm mất mát thông tin.

Để hiểu entropy chúng ta hãy lấy một ví dụ. Giả sử bạn muốn truyền 1 thông điệp (message) tới một người bạn của bạn với nội dung về kỳ thi môn Lập trình căn bản với thông điệp như sau "Mình thi đậu môn Lập trình căn bản". Cách ở trên có tốt không ? Giả sử cả người gửi và nhận đều biết rằng nội dung message đều nói về kỳ thi ập trình căn bản. Vậy họ sẽ không cần phải gửi những từ như “Lập trình căn bản”, “Mình”, “môn” … Họ đơn giản chỉ cần nói “Đậu”, “Rớt”, như vậy là đủ. Mã hóa như vậy tốt chưa ? Chưa, bởi vì câu hỏi dạng “yes”, “no” (nhị phân), ta chỉ cần 1 bit để mã hóa: giá trị 1 cho “Đậu”, 0 cho “Rớt”. Như vậy cách mã hóa này đã đảm bảo không làm mất mát thông tin.