內容簡介
本書分數學基礎、漢語自動分詞技術、基於數學統計的語言模型、基於語言理解的處理方法、音字轉換技術、自動文摘技術、信息檢索技術、文字識別技術幾個章章全面闡述了自然語言處理技術的基本原理和實用方法，反映了信號與信息處理技術的前沿內容，具有較高的學術意義與套用價值。
目錄
CONTENTS
第1章引言1
第2章數學基礎7
2.1初等機率理論7
2.1.1基本概念7
2.1.2條件機率與獨立9
2.1.3全機率公式與貝葉斯公式10
2.1.4隨機變數12
2.1.5多維隨機變數13
2.1.6數學期望與方差15
2.1.7常用分布16
2.2資訊理論基礎18
2.2.1信息熵18
2.2.2聯合熵和條件熵20
2.2.3互信息20
2.2.4相關熵21
2.2.5語言與熵22
2.2.6噪聲信道模型23
2.3粗糙集25
2.3.1信息系統25
2.3.2不可分辨關係25
2.3.3集合近似26
2.3.4約簡27
2.3.5屬性依從28
2.3.6決策規則合成29
2.4小結29
第3章漢語自動分詞技術31
3.1引言31
3.2分詞規範33
3.3常用的分詞方法35
3.3.1正向最大匹配分詞35
3.3.2反向最大匹配分詞35
3.3.3基於統計的詞格線分詞36
3.4歧義的分類和識別36
3.4.1歧義的分類36
3.4.2歧義的抽取和消歧37
3.5新詞的識別39
3.5.1統計構詞能力40
3.5.2漢字構詞模式40
3.5.3未登錄詞識別算法41
3.6關於分詞的若干統計結果41
3.7語言單位的統計分布規律(Zipf定律)42
3.8小結44
第四章 基於數學統計的語言模型……………………………………47
第五章 基於語言理解的處理方法……………………………………69
第六章 音字轉換技術…………………………………………………99
第七章 自動文摘技術…………………………………………………113
第八章 信息檢索技術…………………………………………………131
第九章 文字識別技術…………………………………………………157
