●目錄第1章 緒論11.1 從通信談起11.2 模擬通信與數字通信21.3 信息論的誕生――香農1948年發表的論文31.4 什麼是信息41.5 信息論的研究內容5習題7第2章 離散信源和離散熵82.1 信源的數學模型及分類82.2 離散熵92.3 離散熵的性質122.4 二維信源的聯合熵和條件熵132.5 平均互信息152.5.1 兩個隨機變量的平均互信息152.5.2 多個隨機變量的平均互信息172.6 離散平穩信源的熵率182.7 馬爾可夫信源212.7.1 馬爾可夫鏈212.7.2 馬爾可夫信源232.8 本章小結25習題25第3章 離散無失真信源編碼283.1 信源編碼的基本概念283.1.1 信源編碼的兩種策略283.1.2 信源編碼的分類293.2 漸近等分割性定理303.3 等長信源編碼333.4 變長信源編碼353.5 離散信源編碼方法393.5.1 Huffman編碼393.5.2 Fano編碼423.5.3 香農編碼433.5.4 算術編碼443.6 本章小結46習題46第4章 離散信道和信道容量484.1 信道的數學模型484.1.1 信道的分類484.1.2 信道的數學模型494.2 平均互信息的凸性504.3 信道容量524.3.1 一般離散信道的信道容量554.3.2 對稱信道的信道容量604.4 多符號信道和並聯信道624.5 串聯信道和數據處理定理644.6 本章小結65習題66第5章 有噪信道編碼695.1 單符號離散信道的譯碼規則695.2 如何降低譯碼錯誤概率735.3 譯碼錯誤概率和信息傳輸率的折中765.4 信道編碼805.5 聯合漸近等分割性定理和香農第二定理825.6 信源信道分離編碼885.7 本章小結89習題90第6章 波形信源和波形信道926.1 隨機過程基礎926.1.1 信號的分類926.1.2 隨機過程936.1.3 隨機波形信源966.2 連續型隨機變量的微分熵966.2.1 連續型隨機變量966.2.2 微分熵996.2.3 微分熵的性質1026.2.4 優選熵分布1036.3 連續信道和波形信道1046.3.1 連續信道和波形信道的分類1046.3.2 連續加性信道的轉移概率密度函數1046.3.3 連續信道和波形信道的信道容量1066.4 高斯信道1066.4.1 高斯信道與離散信道1076.4.2 高斯信道的信道容量1096.4.3 限帶AWGN信道的信道容量1116.5 香農公式1126.5.1 增加信道容量的兩種方法1126.5.2 Eb/N0和香農限1126.6 本章小結114習題115第7章 率失真理論1167.1 量化失真1177.2 失真度與率失真函數1177.3 率失真函數的定義域1217.4 率失真函數的性質1257.5 率失真函數的計算1267.5.1 離散信源率失真函數的計算1267.5.2 連續信源率失真函數的計算1327.6 保真度準則下的信源編碼定理1367.7 本章小結136習題137第8章 線性分組碼1398.1 線性分組碼的一般理論1408.1.1 基本概念1408.1.2 G矩陣和H矩陣1418.1.3 伴隨式1448.1.4 檢錯和糾錯1448.1.5 標準陣譯碼和伴隨式譯碼1478.1.6 線性分組碼的幾何解釋和檢錯、糾錯能力1498.2 漢明碼（Hamming Code）1508.3 本章小結152習題153第9章 循環碼1559.1 基本概念1559.2 循環碼的多項式表示法1559.3 循環碼的G矩陣和H矩陣1599.4 繫統循環碼1609.5 循環碼的編碼1619.6 循環碼的譯碼1629.6.1 梅吉特譯碼1639.6.2 捕錯譯碼1659.6.3 大數邏輯譯碼1669.7 本章小結167習題167第10章 卷積碼16810.1 一般概念16810.2 卷積碼的多項式表示17310.3 卷積碼的狀態圖表示17410.4 卷積碼的網格圖表示17510.5 維特比譯碼17610.6 本章小結178習題179第11章 多用戶信息論18011.1 相關信源編碼18011.2 具有邊信息的信源編碼18311.3 多址接入信道18311.4 廣播信道18611.5 中繼信道18711.6 本章小結188習題189第12章 現代網絡信息論19012.1 網絡編碼基本思想19112.2 網絡編碼的概念19312.3 線性網絡編碼19512.3.1 確定網絡編碼19512.3.2 隨機網絡編碼19912.4 本章小結200習題201第13章 網絡容量域20213.1 網絡流20213.2 網絡容量域20313.3 均勻分數網絡20513.4 路由容量域20613.4.1 多重單播路由網絡容量域20713.4.2 一重組播路由網絡容量域21013.4.3 二重混合路由網絡容量域21813.5 編碼容量域22113.5.1 編碼容量域的理論解22113.5.2 編碼容量域的割集限22313.6 本章小結226習題226附錄A 有限域227A.1 集合227A.1.1 集合的定義227A.1.2 集合的運算228A.1.3 映射230A.1.4 代數繫統231A.2 群231A.2.1 群的定義231A.2.2 陪集和拉格朗日定理233A.3 環233A.3.1 環的定義233A.3.2 整環235A.3.3 多項式環236A.4 域237A.4.1 域的定義237A.4.2 擴域240A.4.3 GF(2)244A.5 小結246附錄B 向量空間247附錄C 矩形博弈249附錄D 信息不等式253D.1 從集合論視角看待信息量253D.2 熵空間和原子空間257D.3 信息不等式261D.形式香農信息度量263D.5 和 266D.6 267習題答案269參考文獻295

本書主要包括兩部分內容：經典香農信息論和現代網絡信息論。經典香農信息論主要討論信息的度量、表示和傳輸等問題，包括熵、信道容量、信源編碼和信道編碼等概念和理論，這部分內容分布在本書的前11章。第12、13章介紹了現代網絡信息論，主要討論信息在網絡中的有效傳輸問題，包括網絡編碼和網絡容量域，這部分內容是近十幾年來信息論研究的新課題。本書內容自成體繫，讀者隻需要具備高等數學、線性代數和概率的數學基礎即可，本書所使用的其他數學工具，如有限域、信息不等式等，均以附錄的形式提供給讀者，因此極大地提高了讀者的學習效率。本書可作為高等學校電子信息工程、通信工程及相關專業的本科生、研究生教材，也可供工程技術人員參考使用。

劉宴濤 著

"前言一、“信息論”的課程特點“信息論”是通信工程、電子信息工程等相關專業的專業基礎課，其重要性可以跟“信號與繫統”“通信原理”等課程相比。但是，從課程特點上看，信息論比這些課程更抽像，在“信號與繫統”“通信原理”等課程中涉及的概念或技術往往非常具體，例如，波形和頻譜都是可觀測的，采樣、量化、調制、解調等技術也都很直觀、具像；從數學工具上看，微積分、線性代數和概率論中比較簡單的數學運算對於學習和理解這些課程已經足夠。然而，在“信息論”中的概念往往非常抽像，例如，至今尚無法給出信息的完美的或公理化的定義，熵和互信息等都是看不見、摸不著的抽像的量。此外，漸近等分割性等定理的證明需要用到概率極限理論，信道編碼和網絡編碼又需要具備有限域等近世代數的數學基礎，這些都是本科生學得比較差，甚至沒有學習過的內容，這對有效地學習“信息論”構成了巨大障礙。盡管抽像難懂，但“信息論”對於信息技術等