概念和原理
多特質-多方法矩陣(Multiple Trait Multiple Matrix,MTMM)是由坎貝爾與菲斯克創製的適合對聚合效度和區分效度進行檢驗的方法,該方法採用多種方法(指內容和形式不同的測驗或其它測評手段)測量多種特質,並計算出不同測評結果之間的相關,生成相關關係數矩陣。
測量同一特質的不同方法之間的相關係數,被視為聚合效度的指標;測量不同特質的同一種方法間的相關係數,則被視為區分效度。一個構想效度較好的測量,應該同時具備較好的聚合效度和區分效度。
多特質—多方法矩陣的實質是聚合效度和區分效度的綜合運用,其原理是若干種極不相同的方法測量同一種特質相關很高(用極為相似的方法測量不同特質的相關很低),則說明測量的效度很高。 該矩陣適合於集中效度和區分效度的雙重分析,這種方法必須使用兩種或以上的方法來測量兩種或以上的特質。
D. T. 坎貝爾和菲斯克(1959)概括出的這個方法通常被用於評估構念效度。他們指出,如果我們使用大量的方法測量一個以上的特質或構念,那么,這些測量之間的相關將出現多特質-多方法矩陣形式。
在設計一個多特質-多方法的研究中,研究者將通常選擇一組構念,這些構念在理論上相關不是很強。因此,不同特質測量間的關係應該是小的——當然小於同一特質的不同測量間的相關。不同構念或特質測量間的關係共同表示區分效度。選擇的構念很明顯是不同的,這些構念的測量因此應該不是高度相關的。
多特質—多方法法(multitrait-multimethod approacch,Campbell & Fiske,1959)指使用相同方法和不同方法測量同一構想得到的相關顯著高於使用相同或不同方法測量不同構想之間的相關的、確定心理測量工具的構想效度的方法。
優點和缺陷
優點
一個多特質-多方法的研究提供了大量的數據,這些數據在評估構念效度時是有用的。因為每個構念是使用大量不同的方法進行測量的,所以可以判定不同測量方法是否產生出可比結果。
一個多特質-多方法的研究使得我們能夠估計在模型中出現的方法偏差,也是研究構念效度諸問題中一個有效且富含信息的方法。這個方法表明,一個特定構念的優秀測驗有三個特徵:
1)測驗分數與使用其它測驗測量同一構念而獲得的分數是一致的;
2)測驗產生的分數同理論上與要測量的構念不相關的測量是不相關的;
3)測驗使用的測量方法極少顯示出偏差證據 。
缺陷
利用多特質-多方法法比較出來的結果總是不盡如人意。有時候,使用相同方法測量不同構想得到的相關要比使用不同方法測量同一構想得到的相關更高。這就意味著,在判斷一個工具測量了什麼,而不是是否測量了假定的構想或特質時,方法(紙筆量表、投射技術、等級評定以及訪談等)效應可能比構想或特質更重要。
雖然多特質-多方法矩陣能對測驗的構想效度作出有效的檢驗,但是由於測驗次數多、時間長、費用高,實施起來比較困難,在實際當中使用並不多。
Campbell和Fiske(1959)的方法對於我們理解效度檢驗的過程是非常有幫助的。但是,對於實際的研究者而言,要完整實施這樣一個測量的過程是需要付出艱辛代價的。因此,測驗的開發往往只是零零碎碎地去進行會聚效度和區分效度的檢驗工作,而不是去完成這么艱巨的一個多元特質—多重方法矩陣。
一個多特質-多方法研究中的數據通常是很難進行解釋的。
實際套用
Meier(1984)是為數不多的,在實際研究中採用了多元特質—多重方法矩陣的研究者,他使用這種方法檢驗了“職業倦怠”這個構念的效度。
發展和完善
大量的分析方法已經提出,以簡化對多特質-多方法矩陣的解釋,從方差分析(Kavanaugh,MacKinney & Wolins,1971;Stanley,1961)到驗證性因素分析(Schmitt & Stults,1986)。
此外,為了回答在多特質-多方法設計中不明確的問題,例如對兩個測驗測量理論是否使用的是相同的構念,已經開發出了複雜的分析方法(Turban,Sanders,Francis & Osburn,1989)。