明確思路
在設計評估工具之前，要考慮以下幾個問題。
(1)使用這些數據的基本目的。在選擇或設計評估工具之前，要重新考慮：評估的基本目的是什麼；數據是用來計算投資回報率(以便提高投資回報率)的嗎；是被用來最佳化人力資源開發的過程嗎；是被用來吸引新的學員嗎。對這些問題的回答將影響對評估工具的選擇。
(2)需要什麼類型的數據。高級別的評估需要硬數據(包括成本、產量、質量等)，當然也需要諸如意見、反映、態度等的其他軟數據。
(3)如何分析數據。將收集到的數據列成表格、寫成總結工具時，要考慮有計畫地分析數據，包括對比統計數據。
(4)誰將使用這些數據。目標客群是另一個需要考慮的重要因素。無論數據是以原始狀態出現還是以總結的形式出現，誰將對這些數據進行再考察，誰將閱讀整個報告，如何使用這個報告，這個決定將導致對評估工具中特殊問題的設計。
(5)評估工具是否需要測試。當一個培訓項目意味著重大的投資或將多次被運用時，在運用該工具對培訓進行評估之前應該對它進行測試。測試可以提供一個分析數據的機會，以便察看該評估工具是否存在問題。
(6)是否有一個標準的評估工具。在有些情況下，標準工具也會同樣有效，並且要比專門設計工具成本低得多，諸如授權、人際關係或領導藝術等廣泛的領域，也許更適合用標準的工具。當然，培訓的內容和目標要適合標準評估工具所涵蓋的領域。例如，在為主管開設的一般溝通培訓項目中，關於溝通的詳細記錄也許應該成為評估某個培訓項目的一個標準評估工具。
(7)有偏見的信息將帶來什麼樣的結果。在這個過程中，學員提供有偏見的信息所帶來的結果往往被人們所忽視。有時候，評估數據是由自願者採用無記名的方式提供的，信息中可能會有偏見的成分，除非這些觀點和看法是專門挑選出來的，否則，這類信息就是不可靠的。故意給出的錯誤答案可能會對個人、預算或某個小組的員工產生巨大的影響。如果是這樣，必須採取預防性措施，其中的一個方法就是，在不同的時刻問相同的問題，以便對答案進行反覆的核對。對類似的問題所做出的類似回答，可以反映所得信息是否一致。
確定標準
(1)保證評估工具的有效性或效度。有效的評估工具將對被衡量的內容進行有效的衡量。該工具完成其衡量功能的程度常被稱為相關有效性或效度。當考慮某個評估工具是否恰當時，人力資源開發工作的從業人員應該考慮這種有效性。對精心設計的培訓項目進行評估時，要對其有效性給予更多的關注。
確定某個評估工具的有效性有四種基本的方法：內容的有效性；構想的有效性；標準相關有效性；預見的有效性。為了使評估工具有效而採取的措施往往被稱為“保護”工具的有效性。在這些方法中，都涉及了“相關性”一詞。相關性是指兩個衡量指標的關聯程度的大小，它可以用相關係數這個術語來解釋。這個係數可以在(一1～+1)之間。
1)內容的有效性。內容的有效性是指評估工具在多大程度上反映了培訓項目的內容。一個或多個熟知培訓項目內容的專家會接受這樣的詢問：該評估工具是否能反映培訓項目中所介紹的有關技能、知識或能力的典型抽樣情況。如果內容的有效性較低，就意味著該評估工具未能反映培訓所涵蓋的真實內容；如果內容的有效性較高，就意味著該評估工具很好地反映了培訓所涵蓋的內容。為了保證內容的有效性，培訓中所有的重要條目、行為或信息都應該在評估工具中按比例得到體現。在評估工具中，所設計的條目或問題的數量都要與培訓材料所占的時間或材料的重要性相一致。
2)構想的有效性。構想的有效性是指評估工具在多大程度上反映了評估構想的情況。構想是一個抽象的、假設性的變數，如技能、態度或能力。構想有效性最關心的問題是評估工具能否正確反映理論構想的特性。
作為保護構想有效性的第一步，要對構想的每個部分都加以定義，並且要有一個合乎邏輯的情形來表明該評估工具是對該構想進行測量的有效工具。對構想的定義要做到儘可能詳細，便於理解。構想的有效性可以通過以下方法得到保證：專家提出意見；相關性研究；邏輯推理；標準團體研究。專家提出意見是一種簡便易行的方法，專家一致認為某評估工具是構想的準確的衡量方法。相關性較為複雜，在這種情況下，可以用另一種評估工具來衡量同一個或相像的構想，其結果與第一種評估工具所得到的結果具有相關性，若是正相關，可以表明構想具有有效性。另外一種更加主觀的方法是邏輯推理，在這種情況下，評估工具的設計者必須通過一系列的邏輯推理得出這樣的結論：該評估工具反映了對構想的評估標準。標準團體研究的方法可能更加有效。將這種方法套用到某個對該構想掌握到一定程度的人群中，如果其結果與現存的有關這個人群的知識相吻合，那么它就可以被用來評估構想的有效性。
3)標準相關有效性。標準相關有效性是指通過某種評估工具所得到的結果與其他工具在幾乎同時對相同的特徵進行衡量時所得到的結果在多大程度上相一致。例如，通過某種評估工具對某個團隊的成員進行調查，以便衡量團隊的工作效率；同時，通過另一種評估工具以同樣的目的對同一個團隊進行調查。如果兩種衡量工具所得出的結果相同，那么可以說該工具具有標準相關有效性。標準相關有效性是通過計算兩種工具所得結果的相關係數來確定的。標準相關有效性係數範圍為(一1～+1)，越接近+1，測試工具越有效。
4)預見的有效性。預見的有效性是指某種評估工具可以預見未來行為或結果的程度。例如，從培訓項目完成後的評估中所得到的結果，可以被用來預見未來的行為和在未來工作中的業績表現。如果某種工具預見了某種程度的業績表現和行為，並且有相當一部分學員也表現出這種程度的業績表現和行為，那么，這種工具就具有預見的有效性。預見的有效性可以被解釋為，用某種工具所測出的業績結果與所預見的結果或行為之間的相關係數。例如，在某個生產技能培訓項目結束後所進行的測試反映了該培訓項目所傳授的技能和知識的掌握情況。在6個月後，將測試的分數與實際生產業績相比較，就可以得出相關係數。明顯的正相關關係就說明該測試具有預見的有效性。
5)提高有效性的方法。在設計某種評估工具時，沒有什麼公式可以保證該工具的有效性。然而，一些簡單的指導方針則有助於有效性的提高。
在工具中要包含適當數量的條目。條目過少將不足以反映有效性，條目過多又會過分煩瑣和費時。因此，要儘量掌握平衡，以便提高評估的有效性。
要儘可能避免回答問題時存在的偏見。學員可能會以他們認為的調查人員所希望的方式來回答問題，這將破壞評估工具的有效性，應該鼓勵學員給出公正的回答。
(2)保證評估工具的可靠性或信度。可靠性或信度是指某種工具的一致性和穩定性。可靠的工具應該具有足夠的一致性，在以後對某個條目進行的評估中可以得出大體相同的結果。例如，對某名員工實施態度調查，在兩年後對同一名員工進行同樣的調查，所得到的結果應該是相同的（假設在這段時間裡沒有發生促使員工改變其態度的事情）。一種可靠的評估工具將提供相同的結果，如果出現了明顯的差異，則說明這種工具是不可靠的。有幾種誤差可能影響評估工具的可靠性：學員智力機敏程度的波動；實施該評估工具的環境發生了變化；對該工具所得到的結果給予了不同的解釋；由於學員的個人動機所引起的隨意性影響；評估工具的好壞，評估工具好，就可以收集更多的數據。
保證考試中評估工具的可靠性是至關重要的。為此，可以從學員那裡同時收集培訓前後的數據。有四種辦法有助於保證評估工具的可靠性。
1)測試、再測試。這種方法要在兩個不同的時間段對相同的一組員工實施相同的測試或調查，然後計算分數的相關性。如果存在明顯的正相關，則該測試就具有可靠性。
2)交叉式方法。這種方法要求設計兩種類似的評估工具，將其同時運用到員工中去，並分析兩個分數之間的相關性。如果相關性明顯，這種工具就被認為是可靠的。但是，構建一種類似的評估工具是很費時間的，這使得這種方法不太實際。
3)平分法。這種方法將某種評估工具分為相等的兩個部分並將其結果進行對比。例如，可以將偶數的問題與奇數的問題進行對比，將兩個部分的分數進行比較，就可以找到其相關性。如果具有明顯的相關性，就可以認為這種工具是可靠的。
4)條目之間的相關性。這種方法是指計算某種評估工具中各個評估條目之間的相關性。例如，將某個有25個條目的測試分為5個部分，就可以得出一個相關係數，來比較某個條目與其他條目之間的關係。
(3)保證評估工具的簡便易行。一種評估工具要具有簡便易行的特點，說明和指令要簡單、直接，儘可能做到在不同的學員中實施評估工具時具有一致性。給學員做的書面說明和口頭解釋要清楚明了，以保證套用的一致性。
(4)評估工具應簡明扼要。一種有效的評估工具應具備簡明扼要的特點，其可讀性要與學員的知識、能力和背景相吻合。要儘可能設計出短小精悍的客觀條目以便回答，因為冗長的回答和段落性回答不符合簡潔的原理，建議用儘可能少的條目來涵蓋某個特定的題目。
(5)評估工具應體現經濟的原則。與人力資源培訓的每個階段一樣，在設計、開發或購買某種評估工具時要考慮經濟性。一種有效的工具要具有經濟性的特點，並且有助於實現既定的使用目標。實施某種工具所需要的時間、分析所收集到的數據和以有效的方法對這些數據進行報告所需要的時間，都是要考慮的因素。
