語義信息研究
所以語義信息也就是日常語言所說的信息,它不僅包括語言提供的信息, 比如天氣預報,命題或描述語句, 預言, 科學理論......提供的信息, 也包括溫度表,天平,秤, GPS,數學公式,交通指示牌, 疾病症狀, 化驗數據, 圖片,視頻......提供的信息。和Shannon資訊理論中的信息概念相比,1)語義信息和信號(message)的含義及知識有關, 而Shannon信息和信號含義或知識無關; 2)語義信息可以包含在單個信號(message)和命題中, 而Shannon信息只能存在於一連串信號中, 我們只能通過統計得到平均信息。
語義信息問題廣泛存在, 最佳化語義通信意義重大。然而,國際工程師協會權威資訊理論雜誌IEEE IT 在很長時間裡拒斥語義信息的研究。理由是Shannon說過,它的資訊理論不涉及語義方面。 但是這並不意味資訊理論不需要研究語義信息。其實Shannon 資訊理論中的失真問題就是語義信息問題,由於缺少語義信息標準,目前失真就只能用距離定義,這完全是主觀任意的, 不是一個好的標準。因為數據壓縮需要用到Kolmagorvov的複雜性理論, 而用Kolmagorvov的複雜性定義信息就涉及語義, 所以IEEE IT近年來也發表過了一些通過Kolmagorvov的複雜性捎帶語義信息的文章。
語義信息研究, 即如何度量語義信息的研究,最早可以追溯到Weaver,Bar-Hillel and Carnap, Popper等人。 關於這個研究存在兩種傾向, 一種是在Shannon資訊理論的基礎上改進(如魯晨光的研究), 另一種是另起爐灶(如Floridi的研究)。哪一種合理, 要看所得到的信息公式是否合理, 是否具有解釋力。理論的競爭和發展正在繼續。
參考
[1] Hartley R V L. Transmission of information, Bell System Technical Journal,7 (1928),535
[2] Shannon C E. A mathematical theory of communication,Bell System Technical Journal,27 (1948),379—429,623—656
[3]〔美〕威弗爾. 通訊的數學理論的新發展,系統論控制論資訊理論經典文獻選編,求實出版社,1989,612—636 [4] Bar-Hillel Y. and Carnap,R. An outline of a theory of semantic information,Tech. Rep. No. 247,Research Lab. of Electronics,MIT,1952
[5]〔英〕波普爾,付季重等譯. 猜想和反駁——科學知識的增長,上海譯文出版社,1986
[6] Kullback S. Information and Statistics,John Wiley & Sons Inc.,New York,1959
[7] Brillouin L. Science and Information Theory,Academic Press,New York,1962
[8] Zadeh L A. Probability measures of fuzzy events,Journal of mathematical Analyses and Applications 23 (1968),421—427
[9] Gottinger H W. Lecture notes on concepts and Measures of information,In 'Information Theory: New trends and Open Problems', G. Longo eds.,Springer Verlag,CISM(1975)
[10] Higashi M and Klir G. Measures of uncertainty and information based on possibility distributions, Internat. J. Generral Systems 9 (1982),43—58 [11] 吳偉陵. 廣義信息源與廣義熵,北京郵電學院學報 29 (1982),41
[12] 鍾義信. 信息科學原理,福建人民出版社,1988
[13] 魯晨光.廣義資訊理論, 中國科大出版社和台灣儒林出版社出版, 1993, see[1]
[14] Lu C.G. (魯晨光), A generalization of Shannon's information theory" , Int. J. of General Systems, 28: (6) 453-490 1999, see [2]
[15] Floridi, L., Semantic Conceptions of Information, in Stanford Encyclopedia of Philosophy, see [3].
[16] Grunwald, Peter and Vitanyi Paul., Shannon Information and Kolmogorov Complexity, 見擴展閱讀[4].