簡介
元分析要求每個觀察到的相關係數經過研究樣本的大小的權重處理,從而產生經過權重處理的總體相關性的平均估計值。這個觀察值的誤差包括總體樣本的真實誤差,樣本誤差,以及測量誤差。因此為了獲得精確的總體相關性及其誤差,需要對樣本誤差和測量誤差等進行修正,找出“調節變數”分組研究。另外,元分析對使用的數據進行了一定的限制要求。如“一個變數在不同的研究中有多種衡量指標”出現時,需首先得將這種“異質性”進行處理(Hunter and Schmidt,1990)以保證數據來源及統計方式的一致性。
特點
第一次使用“元分析”這個概念的人是美國學者格拉斯,他在1976年美國教育研究聯合會(American Education Research Association)的發言致辭中首次提出元分析概念。格拉斯認為,元分析是一種對分析的分析,具有以下主要特點:
(1)元分析是一種定量分析方法,它不是對原始數據的統計,而是對統計結果的再統計;
(2)元分析應該包含不同質量的研究;
(3)元分析尋求一個綜合的結論。
缺點
元分析可以成為跨研究評判結果的一件有力工具。即使許多研究者已經樂意接受元分析的概念了,可還有一些人基於若干理由而質疑它的有用性。
評估被評論的研究的質量
在一家期刊里可見的研究之質量取決於期刊的編輯政策。有些期刊有嚴格的發表標準,而另一些的發表標準就不太嚴格。這就意味著發表的研究之質量在不同的期刊間會有很大差別。元分析面臨的一個問題是如何處理參差不齊的研究質量。例如,在一家非同儕評審的期刊上發表的文章應該與在一家需同儕評審的期刊上發表的文章一視同仁嗎?遺憾的是對這個問題沒有簡單的答案。
應該沿什麼維度來對研究加權呢?這毫無一致意見。需一非同儕評審的維度雖然是可以的,但是你採用這個維度時也要當心,因為一家期刊是不是同儕評審的,這並不是發表的研究之質量的可靠指標。在一個新的領域裡用新方法做的研究有時會被同儕評審的期刊拒絕,儘管這家期刊在方法學上是健全的,也是高質量的。類似地,在同儕評審的期刊發表的作品雖然有助於你確信該研究的質量是高的,但不保證高質量。
用不同的方法合併與比較研究
對元分析的常見批評是難以理解怎么可能對材料、量器以及方法都廣泛不同的諸研究做比較。這個問題通稱為“蘋果與桔子之爭”(Glass,1978)。對元分析的這種批評雖常見,卻無效。比較不同的研究結果與在一個普通實驗裡對異質被試作平均化是毫無不同的。如果你願意接受對被試作平均化,那也就能接受對異質研究作平均化。
關鍵問題不是應不應該在異質研究之間做平均,而毋寧說是不同的研究方法會不會帶來不同的效應規模。當某一被試變數成了研究中的一個問題時,你經常會“膠著”在這個被試變數上以確定它是如何與出現的差異相關聯的。同樣的,如果方法學的差異顯得與研究結果有關聯,那么在一項元分析里,研究也要停下來考察方法學。
元分析的工作是一項艱巨的工作。對同一問題做實驗,可以使用很不同的方法與統計技術。還有,某些研究也許沒有提供必要的信息可做元分析。
元分析的結果不同於傳統述評的結果嗎?
傳統的述評產生的結果是不是與元分析的結果有質的不同?這的確是個問題。有學者直接比較了這兩種方法。他們把研究生和教授隨機分配於做元分析或做傳統述評,材料是7篇文章,講述被試性別對作業堅持性的影響。其中兩篇研究認為女性比男性更有堅持性,而另5篇要么沒有統計數據,要么顯示沒有顯著效應。
這一研究的結果顯示了使用元分析的參與者比使用傳統方法的參與者更有可能得出性別對堅持性有影響的結論。另外,比之於做元分析的參與者,做傳統述評的參與者認為性別對堅持性的影響小。總起來看,使用元分析的參與者有68%願意斷言性別對堅持性有影響,而只有27%使用傳統方法的參與者有此傾向。用統計學的話來說,做元分析者比傳統述評者更願意拒絕性別無影響的虛無假設。因此使用元分析來評判研究會導致Ⅱ型決策錯誤的降低。
最後,值得注意的是,使用元分析本身要求的統計學進路與對傳統實驗數據做統計分析的研究策略是一樣的。當我們得到一個實驗的結果時,我們不會只打量(“盯著”)數據,看看是否存在什麼模式或關係。相反,在大多數情況下,我們用統計分析來評判關係是否存在。同樣的,與其“盯著”諸研究而猜測可能的關係,還不如把一項統計分析套用於不同研究的結果,以見是否存在有意義的關係,這會更好。
步驟
元分析要具有可複製性,不僅應儘可能多地檢驗蒐集來的研究樣本,觀察它們是否可以凸顯出某種單項研究顯現不出的潛藏規律,還應該清楚地描述自己是如何發現這些研究及如何對它們作分析的,以便他人進行評價。因此,元分析必須遵循詳盡、嚴格的研究步驟。
確定研究目的
確定研究目的也就是組織研究架構。在收集研究之前,首先必須確定研究中想要探索的文獻領域及將要包括的題目範圍。元分析涵蓋的題目有時很寬泛,但其核心必須界定清楚,而且應該建立一套挑選研究樣本的“包含”與“排除”標準,這樣可以幫助一起合作的研究者在面對同一群文獻時能夠運用同樣的標準去查找或分析研究。
確定研究目的時,還需要充分理解自己所要分析的概念及使用的方法,就像確定實驗研究中的自變數和因變數一樣,確定所要研究的效果量及結果。
徹底的文獻搜尋
通過包括計算機網路在內的各種手段進行徹底的文獻搜尋,也就是研究樣本的搜尋,這對元分析的有效性非常重要,是綜合研究得出結論的基礎。對文獻樣本的收集可根據Rosenthal(1984)提出的大概分類標準:
書:包括作者的原著、幾位作者共同合編的書及書的某些章節;
期刊:包括專業期刊、已出版發表的時事通訊、雜誌及報紙;
論文:包括博士論文、碩士論文及學士論文;
未發表的研究:包括某些技術報告、學術報告、大會論文及將要發表的論文。
確定適合的研究樣本
選擇符合研究架構的研究樣本是元分析的關鍵。要考慮多種問題,如它的研究設計,文章發表的時間,文章使用何種語言表述,研究中的樣本大小及信息是否完整等等。
一般而言,儘可能選擇最新的研究。對於未被選中的資料在分析中也要說明,這樣就可以清楚明了地表明這些研究曾經發表過,並非經過一段時間將它們遺漏,只是沒有作為設計的一部分包括進研究內。同時如果在研究中僅選擇了以母語或英語表述的文章,就要說明這樣做的理由。
另外,如果看到某一類研究在相似的題目上有多重報告,那么就選擇其中一個信息較為完整的研究,使同一類型研究中的信息對元分析只貢獻一次。儘量排除小樣本的研究。如果選擇了縱向跟蹤研究,則要儘早決定跟蹤研究的時限。
定義變數及對變數編碼
在收集、選擇了元分析的文獻後,必須確定在元分析中要檢驗何種研究特徵,這些特徵就是元分析的變數。一般有以下四種變數:(1)識別背景特徵的變數。這類變數包括入選研究樣本的數量,研究樣本的參考文獻,對研究編碼的人數(一般要求至少兩人以上),研究資料的來源等。(2)識別樣本特徵的變數。這類變數包括被試的特徵,如性別、年齡、民族、受教育水平、社會經濟狀況等。(3)識別研究特徵的變數。這類變數包括研究的理論架構,研究設計,研究採用的工具,研究測量的效應類型以及其他。如果可能,這類變數可以幫助解釋研究方法與結果之間的關係。
識別統計特徵的變數
這類變數包括兩類統計值,一個是表現平均值差異的效果量d,這需要關注每一個研究中的平均數、標準差和樣本大小。另一個是表現關係的相關係數r,這需要關注每一個研究中的相關係數及相關的測量統計值。
在界定了用來測量研究的變數之後,還需要為每一個變數編碼數據。對於每一個元分析而言,都應該有一套界定好的數據編碼系統,不同的數字代表了每一類變數中不同的水平情況。如關於性別,若樣本中僅有男性,編碼系統可將其編碼為1,若樣本中僅有女性,則可編碼為2,若既有男性又有女性,則可編碼為3,如果樣本未對性別作明確說明,則可用999(缺失值)進行編碼。研究者需要對所有的分析變數進行編碼。
研究數據的錄入
元分析中蒐集來的有關各樣本研究特徵的數據,需要錄入一個相關的統計軟體包進行分析。“元統計”軟體包是由Rudner、Evartt和Emery規劃設計的,其中包含有Glass、Hedges、Olkin、Schmidt和Hunter及其他學者的大量元分析理論,如Hedges的同質性檢驗,Rosenthal和Rubin的聚合顯著性水平分析,以及近似隨機化檢驗及效果量大小計算等等。該軟體包還可以提供大量的程式來幫助完成數據錄入、統計分析和圖表分析,數據錄入的形式既可以依據標準碼的形式也可以依據SPSS的固定格式。
運用多種統計技術探索、展現數據
在進行複雜的元分析之前,應先對一些基礎的數據特徵進行分析,特別是錄入數據後最好做一個簡單頻次分布圖與散點圖,來觀察數據錄入是否合理或者在所有欲分析的研究中是否有非常明顯的異常數據存在。如果有,則可用軟體包中提供的相應處理異常數據的方法來儘早地修正或遠離它們。對於具體採用哪些元分析技術,要根據研究目的來決定。一般地,需要計算各研究樣本的效果量及總效果量的大小,計算對總效果量估計的置信區間以及對各研究樣本的同質性檢驗。面對不同質的樣本要做敏感性分析,即根據研究質量的評定對研究樣本分層,可劃分為兩層或多層,然後對每一層分別進行分析,同時對比其結果 。