主成分分析的基本思想:主成分分析就是設法將原來眾多具有一定相關性的指標重新組合成一組新的相互無關的綜合指標來代替原來指標。
通常數學上的處理就是將原來P個指標做線性組合,作為新的綜合指標。但是這種線性組合如果不加限制則可以有很多。如果將第一個線性組合即第一個綜合指標記為F1,則希望F1儘可能多地反映原來指標的信息,這裡的方法就是用F1的方差來表達,即VAR(F1)越大,表示F1包含的信息越多。因此,在所有的線性組合中所選取的F1應該是方差最大的,故稱F1為第一主成分。
第一主成分不足以代表原來P個指標的信息時,再考慮選取F2,F1已有的信息不需要再出現在F2中。此類推可以構造出第三,四,……,第P個主成分。這些主成分不僅不相關,而且他們的方差依次遞減。