IT績效評估的概念
任何一個評估體系都要解決“誰評估？評估什麼？如何評估？”的基本問題，本文從這幾個基本問題出發，對組織信息化績效評估體系進行系統分析。“誰評估”實際是描述評估主體，即發起評估的人或組織。“評估什麼”描述的是評估客體，即圍繞什麼進行評估，評估對象是什麼？“如何評估”是一個較為複雜的問題，首先要在評估目標的指導下，形成一定的評估思路，沿著評估思路構建評估模型。評估模型又包括評估方法、評估基準、評估指標、評估數據，遵循一定的評估步驟，運用評估模型對評估的客體進行評估，最後得出評估結果，形成評估報告。
上述這些內容就構成了組織信息化評估的整個體系。本文對這些內容進行有重點地探討，最後結合具體信息化項目評估的案例，分析了如何具體運用該評估體系框架去進行實際的評估。
組織信息化績效評估的體系框架
“誰評估”實際是描述評估主體，即發起評估的人或組織。“評估什麼”描述的是評估客體，即圍繞什麼進行評估，評估對象是什麼？“如何評估”是一個較為複雜的問題，首先要在評估目標的指導下，形成一定的評估思路，沿著評估思路構建評估模型。評估模型又包括評估方法、評估基準、評估指標、評估數據，遵循一定的評估步驟，運用評估模型對評估的客體進行評估，最後得出評估結果，形成評估報告。上述這些內容就構成了組織信息化評估的整個體系，如圖1所示：資料來源：ITGov中國IT治理研究中心. 網址 itgov. org. cn
評估主體與客體
評估主體是指主要接受委託施予評估的組織、個人或工作組。信息化績效評估的主體可以劃分為兩類：外部實體和內部實體，但由於評估目的和所處地位與角度不同，其關心的內容和側重點就有所不同。外部實體主要包括受委託的第三方，內部實體主要是指組織自身或組織自身的某個部門。來自組織內外利益相關方對信息化績效狀況的關注，也奠定了對信息化績效評估的廣泛需求。評估工作組負責完成整個評估過程的各項具體工作，並向專家諮詢組提供必要的政策、技術等方面諮詢意見；專家工作組根據評估工作需要，負責向評估工作組提供有關資訊和參考意見。
評估工作組應該遵循基本工作規範，獨立、客觀、公正地開展評估工作，排除各方面特別是被評估組織意願的影響。但對被評估組織指出的評估工作和評估報告中存在的疏忽、遺漏、疑問應該認真予以解答和補充更正。
評估客體指的是評估的對象。可以作為信息化評估對象的包括信息系統、組織信息化戰略、信息化項目等。由於對評估的目的不同，存在著不同的評估需求，因而人們所評估的對象也會有一定的差異。
評估步驟
無論是內部評估，還是外部評估，所有的信息化評估都要遵循一定的工作程式，工作程式是指從確定評估對象至完成整個評估工作的過程。一般包括如下步驟：（1）確定評估對象，下達評估通知書，組織成立評估工作組和專家諮詢組。評估通知書是值評估組織機構（委託人）出具的行政文書，也是組織接受評估的依據。評估通知書應載明評估任務、評估目的、評估依據、評估人員、評估時間和有關要求等事項。
（2）擬定評估工作方案，蒐集基礎資料。評估工作方案是評估工作組進行某項評估活動的工作安排，其主要內容包括：評估對象、評估目的、評估依據、評估項目負責人、評估工作人員、工作時間安排，擬用評估方法、選用評估標準、準備評估資料以及有關工作要求等。
（3）評估工作組實施評估，徵求專家意見和反饋組織，撰寫評估報告。評估工作組依據組織報送的資料進行基本評估。如果是組織內部進行評估，可以只對部分內容進行評估，受組織委託的職責而定。如果外部評估，則要有委託部門的指令，按照計畫行事。
（4）評估工作組將評估報告報送專家諮詢組覆核，向評估組織機構（委託人）送達評估報告和選擇公布評估結果，建立評估項目檔案等。
評估工作正式開始前，評估工作組可以按照評估基本要求，組織組織有關人員進行自測。組織自測帶有自願和預備性質，自測報告應該有完整的工作底稿備查。
評估工作組取得的評估結論應該與組織自測結論進行對照，及時對評估結論進行補充和修改，對評議工作組的評估結論和組織自測結論相差較大的，要進行基礎資料的核對，找出差異原因，如依據充分應該對評估結論進行必要調整。
評估報告和結果運用
在信息化評估工作完成後，應該形成一個總的評估報告。評估報告是由評估工作組完成全部評估工作後，對信息化的效益狀況和價值貢獻等進行對比分析，客觀判斷形成的綜合結論的文本檔案。評估報告由正文和附錄兩部分組成。報告正文的主要內容包括組織系統基本情況描述、主要各項績效指標對比分析、評估結論、評估依據和評估方法等。報告附錄包括有關評估工作的基礎檔案和數據資料。評估報告要維護被評估組織的正當秘密。
評估報告必須客觀、公正、準確描述組織信息化的投入產出狀況、後續發展能力等，並做出發展趨勢預測。評估工作組在擬定評估報告過程中應該充分聽取專家組的意見。對影響經營的客觀情況應該在報告中予以充分說明。
評估報告應該由獨立的審計人員進行符合性審核，即：評估工作程式是否完整、評估方法是否正確、選用評估標準是否適當、評估報告是否符合規範等。
評估結果應該反饋給組織決策部門，作為信息化投資決策、管理改善和績效監管的參考依據；並作為對IT人員績效考核的依據，同時也為有關部門提供信息諮詢和管理參考
信息化績效評估的基本思路
信息化是一項較為複雜的系統工程。要建立一套科學規範的信息化績效評估體系，是一個涉及範圍廣，技術要求高、考慮因素多的複雜系統。一套規範的信息化績效評估體系一般需要遵循以下思路，如圖2所示：（1）必須明確信息化績效評估的目的；
（2）必須根據組織業務戰略對IT進行正確定位；
（3）評估貫穿於整個生命周期，而不僅是事後評估；
（4）根據不同的評估需求儘量選用成熟的參考框架；
（5）要分析影響IT績效的環境因素，充分考慮組織不同條件的差異；
（6）選擇合適的評估技術方法，並適應IT技術的要求，注重定量與定性評估的有機結合；
（7）將評估與監管結合，注重動態監控與管理。
資料來源：ITGov中國IT治理研究中心. itgov. org. cn
有效的信息化績效評估體系應該能夠服務於組織信息化工作，能夠幫助組織對信息系統進行合理的戰略定位，並在信息系統項目的立項、可行性研究、招投標、系統規劃、技術選行，項目驗收等階段給出有力的決策依據，能夠綜合權衡財務上的實施可能性，套用方面的合理性和有效性，並能夠通過持續的評估進行有效的過程控制，從而對信息化投資實施持續的過程管理和評估，保障投資的實際投放和效益反饋。總之，評估應該確保對組織在信息化方面的投資做出有益指導，使得組織能夠進行持續的提高和創新，並實現長期效益。
明確評估目標
評估首先必須要有目的，但評估本身不是目的，評估的最終目標是為了決策。根據評估主體的出發點不同，對信息化進行績效評估有如下一些基本的目的，但不是說每個評估都包含如下的所有目的：l IT目標出發點和組織目標相一致，使IT與組織目標與計畫統一起來
l 回答IT如何支持組織使命，如何支持組織戰略、客戶、內部需要
l 在決策層通過評估改善IT績效
l 區別IT對當前以及對未來發展的影響
l 保持各種IT因素之間的平衡
l 評估所有IT功能的整體績效，以及各部門IT投資的結果
l 在不同決策層實施不同的績效衡量機制
l 檢查系統的目標，功能及各項指標是否達到設計要求。
l 檢查系統的質量和使用效果，找出系統薄弱環節，提出改進意見。
l 能夠為糾正和檢查組織信息化存在的問題提供預警機制。
l 能夠為組織資源規劃與配置、信息服務、工作流程改進提供引導性支持。
l 能夠提供客戶、利益相關者等產品、質量、成本、時間等方面的信息反饋。
l 通過評估可以在決策者之間建立一個通用的結果導向的語言，組織可以依據評估的指標確定對IT資源進行怎樣的評估。
l 評估指標可以作為重要的IT控制目標，通過實施控制過程來達到期望的結果。通過指標可以使管理部門明確某些控制行為是如何滿足信息需求以及影響IT資源的。
l 通過控制來保證所有參與IT管理、使用、設計、開發、維護的人員能夠各施其職，並提供考核的依據。
以定量與定性評估相結合
以前信息化評估通常以定量指標為主，而且主要採用財務指標定量分析，通常採用投資回收期、投資收益率、淨現值等方法衡量信息系統套用的效果。當信息系統投資的目的是改善操作效率時，傳統的評估技術還可用。因為這種投資主要用於產生有形收益，並給予直接的項目成本。這種操作層的信息系統部署傳統上被用於實現效率上的收益。然而，當管理者意識到IT更廣泛的戰略收益，這種方法就凸現出其局限性：財務數據是歷史性的靜態數據，反映的是結果，具有靜止、單一和被動反應的特點。完全採用財務指標定量評估，是一種短期業績的計量。如果對組織信息化評估完全建立在這種定量分析的基礎上，就會助長組織經營者的急功近利思想和短期投資行為。由於IT績效的滯後性和無形性，其所帶來的企業文化的改善等許多內容是很難量化的，或者量化分析也難以準確。對於考察這些行為來講，以財務指標為主的傳統定量分析方法就顯得捉襟見肘。
而如果完全採用非財務指標進行定性分析，也存在著明顯的缺陷：與財務指標相比，定性指標設計時往往缺乏一個完整的理論框架。由於非財務指標涉及到各個不同部門或者環節，指標之間很難避免相互矛盾。
綜上可以看出，如果在評估時僅關注財務指標，則容易造成組織的短期行為，影響組織的長遠發展；而過分關注非財務指標，則會由於難以準確描述和操作而導致組織IT行為失控。在IT環境下，將定性與定量分析有機結合是一種最優的選擇。
以全過程為評估範圍
多數評估活動的驅動力都是傳統的系統開發生命周期，並分為事前評估、事中評估、事後評估等幾個階段。儘管多數組織認為評估的目的是改善系統開發的過程與已開發的系統，但實際上評估的實質已經成為結束項目而不是項目改進，尤其是實施後評估。目前對項目的評估一旦在信息系統啟動後就很少能夠引起關注，事實上根本就沒有執行持續的評估。對組織而言，信息系統是一項效益驅動的投資，因此，規劃階段是否適度、開發質量是否能夠保證，系統建成後運行效果是否達到預期目標，這些均對業務績效產生十分關鍵的影響。因此IT績效評估應該是涵蓋整個生命周期的持續性評估，而不只是判斷開始如何投資或者只是實施後的評估。
評估不是一次性快照，而是多階段的活動，貫穿項目開發與運行的整個過程。信息系統績效包括過程（系統的開發與實現）以及成果（有效滿足預期使命目標的結果）等方面的成效，包括前期的規劃與組織，建設與實施以及交付和運行等環節的實施情況，這樣有助於對系統進行改善與控制，從而沿著以績效為導向的方向前進。即就信息系統而言，績效評估是一個分析性的過程，通過該過程評估系統如何通過交付IT服務以實現組織賦予它的使命。績效評估只是在有規劃目標和期望結果的環境中才更加重要，因此需要有明確的規劃和所期望的結果來實現績效的改善。
注重動態監控與管理
信息系統評估是一個複雜過程，評估的環境、內容和過程之間的互動是多方面的；此外，信息系統不確定性導致評估需要考慮環境變更時的動態性。不同學者提出採用權變模型有助於更好理解信息系統在特殊環境下的作用與影響（如，收益、成本、風險、績效度量等）。傳統的評估通常都是靜態的。在穩定環境下，這種評估主要關注如何有效率地使用資源並達到預先設定的目標，而不是更廣泛的組織變更。傳統的實施後評估是一次性地考察信息系統部門交付的產品是否適合。
然而，在實際進程中，信息系統所影響的時間框架是高度不確定的，並且延長到傳統生命周期外（如，長期的基礎設施的影響）。這意味著如果在操作運行期間不進行定期重新評估，可能的收益就會減少。因此，需要從中長期持續的角度將評估工作作為一個監控機制。這也意味著需要一個更適合的模型評估生命周期以便於採用收益管理方法。
隨著項目開發日益朝原型化、疊代遞增交付式過程模型發展，用戶所設計的評估以及管理者對風險的評估更加頻繁。用戶與操作管理者被包含到評估中，評估技術如何支持日常操作，所建議的信息系統在操作層面上是否有效，這樣的評估活動更具有參與性並直接關注學習過程，使各階段的每一步學習過程都被納入到整個開發過程
參考成熟的標準體系
眾所周知，評估需要有一套科學的指標體系和理論方法作為基礎，並遵守一定的客觀規律和程式。否則，評估結果很難令人信服。目前，國際上一些從事IT治理和標準研究工作的一些組織建立了一些相關標準以及最佳實踐，這些通常是在實踐基礎上總結出來的框架體系，用其作為參考性評估體系使得評估更有依據，有助於增強可信性。由於關注焦點各不相同，這些可用於信息化評估的參考體系的側重點各有不同，分別套用於控制、審計、戰略實施、質量認證等不同領域，如表1所示。
表1 可用於信息化評估的體系及其側重點
| 評估框架 | 側重點 |
| Benchmark | 主要通過與最佳實踐或者標準進行目標檢查 |
| ISO9000 | 主要用於認證和審計 |
| EVA | 主要用於理解和實現利益相關者的價值 |
| CSF | 主要用於將戰略目標分解成為IT職能 |
| COBIT | 主要用於過程和目標的設定和控制 |
| ITIL | 主要用於管理和獲取目標 |
| CMM | 主要用於事實與成熟度檢查 |
| 6 Sigma | 主要用於質量控制 |
| ABC | 主要用於降低管理成本 |
| IT BSC | 主要用於戰略的財務和非財務平衡 |
| KPI | 主要用於績效指標的量化管理 |
資料來源：ITGov中國IT治理研究中心. itgov. org. cn
在選擇和運用參考體系框架時，需要認識到下列兩點：
（1）信息化評估的參考體系關注的焦點，在評估的具體運用時通常各有側重。在選擇框架時，需要根據組織的目標進行設定，綜合權衡各個評估框架的優勢和劣勢，然後將不同框架的目標進行整合來實現組織的需要。
（2）框架並不能代表評估，它只是參考性的指南，通常知時告訴你最好應該從哪些方面進行評估，而沒有告訴你如何去評估，因此，還需要根據具體情況設定評估體系。
分析評估環境因素
信息系統評估過程與內容相互交織，並與引入新系統後而導致的組織變化環境密切相關，評估環境與組織所處的多級系統與結構密切相關。影響信息化績效評估的因素有很多，包括：l 組織環境等是否支持信息化績效管理
l 信息化套用對於組織的重要性
l 信息技術在組織中套用的廣泛程度
l 信息化活動的分散與集中性
l 資源（技能、工具）的支持程度
l 組織高層領導是否參與使用信息化績效的有關信息
l 組織的健康性
l KPI指標中是否涵蓋IT績效
以上因素直接或間接影響信息化績效評估的複雜程度，績效評估的實施效果，以及績效評估的範圍和力度。要進行科學規範的信息系統評估，不得不考察這些因素對信息化的影響，從而得出全面正確的結論。研究影響信息化評估的環境因素，可以實現以下目標：
（1）了解評估主體、評估準則、評估方式、時間框架以及所用的技術與工具等，了解評估的利益相關者的主觀影響等，這些因素對評估的效果產生影響。
（2）針對影響因素，可以儘量改善評估的環境，創建和諧的信息系統運行環境，從而達到改善信息系統績效的目的。
（3）對不同組織的信息系統進行評估比較時，需要考慮到各自環境因素的影響度，這樣有利於分析結果的真實性。
