簡介
機器學習是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。機器學習的核心是學習，學習能力是智慧型行為的一個非常重要的特徵，還沒有一個精確的、能被公認的定義。它與記憶、思維、知覺、感覺等多種心理行為都有著密切的聯繫，使得人們難以把握學習的機理與實現。H.Simon的觀點：學習是系統中的任何改進，這種改進使得系統在重複同樣的工作或進行類似的工作時，能完成得更好。學習的基本模型就是基於這一觀點建立起來的。學習單元是學習系統內用於學習知識和技能單元（學習機構）。它通過對環境的搜尋取得外部信息，然後經過分析、綜合、類比、歸納等思維過程獲得知識，並將這些知識存入知識庫中 。
輸入
學習單元的輸入有兩種：一是外界環境，另一是執行任務後的反饋信息。不同的學習系統有不同的經驗實例表示。最簡單的一種是二元特徵表示，僅僅描述對象某些屬性的存在與否， 例如病人有或沒有某個特定症狀。連線學習和遺傳學習方法一般使用這種二元特徵的輸入。另一種是用屬性值表示，每個屬性有一組相互排斥的值，如顏色屬性的值可為紅色、藍色和黃色等。二元特徵可看作是此類的特例。這種屬性值表示典型地用在歸納學習方法中。還有一種更複雜的表示是關係或結構表示，描述兩個或多個對象間的關係，如對象A位於對象 B的上方。這種關係或結構信息一般是以謂詞邏輯、語義網路等形式表示的。同前兩種表示相比，這種表示具有更強的表示能力，但同時也為作為學習中重要部分的匹配過程帶來了相當的複雜度，以至影響了它們的使用。分析學習主要處理這種關係表示型的數據結構。
學習系統
學習系統為了使計算機系統具有某種程度的學習能力，使它能通過學習增長知識，改善性能，提高智慧型水平，需要為它建立相應的學習系統。一個學習系統必須具有適當的學習環境，一定的學習能力，並且能套用學到的知識求解問題，其目的是能提高系統的性能。一個學習系統一般應該由環境、學習單元、知識庫、執行與評價四個基本部分組成。各部分的關係如圖所示。在圖中，箭頭表示信息的流向；環境指外部信息的來源，它將為系統的學習提供有關信息；學習單元指系統的學習機構，它通過對環境的搜尋取得外部信息，然後經過分析、綜合、類比、歸納等思維過程獲得知識，並將這些知識存入知識庫中；知識庫用於存儲由學習得到的知識，在存儲時要進行適當的組織，使它既便於套用又便於維護；執行與評價由執行和評價兩個環節組成，執行環節用於處理系統面臨的現實問題，即套用學習到的知識求解問題，如定理證明、智慧型控制、自然語言處理、機器人行動規劃等；評價環節用於驗證、評價執行環節的效果，如結論的正確性等。另外，從執行到學習必須有反饋信息，學習將根據反饋信息決定是否要從環境中索取進一步的信息進行學習，以修改、完善知識庫中的知識。這是學習系統的一個重要特徵。
