基本概念
評估要求
評估應具有實用價值,這就要求評估的準則、評估的方法、評估的效能指標要面向用途,以評估目標為導向,考慮到不同層次評估主體的不同需求。
評估質量
指評估結果的可信度衡量,可通過可用性和可靠性來描述,可用性:指評估結果的可用性和一定有效性基礎上的評估效率;可靠性:是指一定可利用性基礎上的評估結果的正確性。
評估時效性
評估結果具有時效性,指應從發展的觀點看待評估。由於情況條件的變化,認識的深入,評估結果有一定的變化,因此,評估應在實踐中反覆檢驗。
指標限定性
效能指標是在一定條件下得出的,具有一定的適應範圍,使命任務和系統的配置不同,其評估對象的效能指標也不盡相同,效能指標值總體構成約束條件空間內的動態曲線。
軟體簡介
系統評價的主要任務、應掌握的原則、注意的問題
主要任務
分析論證軟體系統的組成規模和方案優劣
檢驗軟體系統的完備性、一致性和正確性
論證軟體系統內部要素的相互關係和對系統總體效能的影響
軟體系統結構合理性分析
軟體系統效能指標的靈敏度分析
原則和觀點
系統的觀點:軟體系統的效能不是系統各個子系統效能的簡單總和而是有機綜合。
滿意的觀點:軟體系統是一個複雜的信息系統,嚴格數學意義上的系統最優概念是不存在的,只能求得滿意的系統和可行的解。
目標和準則的觀點:系統的優劣是相對目標和準則而言的。
注意問題
所闡述的問題是否為實際性的問題
評估過程中所作假定的合理性問題
效能度量與任務目標的相稱性問題
評估方案的合理性問題
評估模型正確性及敏感性問題
評估的可信度問題
評估分類
為了能夠對軟體系統作出科學的評估,需要綜合考慮軟體系統的各個方面的特性,對軟體系統進行全方位的評估,我們根據軟體系統的性能、效能、經濟性三個方面,把對軟體系統的評估分為三類:
經濟性評估
經濟評估主要從研製軟體系統的科技投資效益的角度來考慮的。從投資學角度來講,建設這樣的軟體系統,將花費多少費用,是否符合需求方的支撐能力?在追求系統高效能的同時,投資費用卻要受到限制,不能超出需求方的經濟水平,故只能採取折中的辦法。在投資前對多個被選方案分別進行經濟性能評估,然後由決策者從中選擇認為是最為可行的一種。經濟性評估的主要內容就是費用預測。
效能評估
系統效能,是預期一個系統滿足一組特定任務的程度的量度。它是系統的綜合性能的反映,是系統的整體屬性。效能評估,就是要對系統進行綜合分析,把系統的各項性能與任務要求綜合比較,最終得到表示系統的優劣程度的結果。
軟體系統的效能,可以細分為軟體系統的自身效能和套用效能。自身效能是軟體系統本身固有的性能,它體現了軟體系統本身的完備性;套用效能是軟體系統在套用過程中的體現的效能,是對社會的貢獻。
性能評估
系統性能評估是對系統的單項指標的評估,與效能相比,系統性能是絕對的,針對於產品。而效能是比較抽象的,針對於用戶的。對於複雜的軟體系統,系統的性能指標包括很多內容,有關文獻把其分為三個層次:
第一,用戶層次;
第二,系統負責人層次;
第三,子系統設計者層次;
不同層次的工作人員,對系統性能指標的側重程度是不一樣的。
存在問題
對軟體系統評估理論和研究現狀的認識是我們研究的起點,從中可以確定提高的方向,目前對軟體系統的評估普遍存在以下幾個方面的問題:
多元化的評估標準
這是指評估的觀點不一致,標準不統一,各種評估結果之間缺乏對比性。這種非制度化、非標準化、非規範化的狀態造成了評估權威性的失落,使得相當多的人對評估抱有一種“怎么都行”的態度。
效能指標的無限定性
這是指效能指標或者不與使命任務相聯繫,或者不和具體的套用環境相依存,脫離了約束條件而抽象存在。這種指標對於指導具體使用是空泛無力的。
向技術指標傾斜存
這是用若干技術指標構造效能指標,甚至直接用用技術指標代替效能指標的做法,即把效能指標建立在技術指標之上。這樣的評估要么不能綜合地反映系統效能,要么不能可靠地反映出複雜多變的系統行為效果。
評估過程的不可重複性
如果評估過程不具有可重複性,就會使評估結果失去必然性。
目前的評估方法和模型紛繁不一,其中影響較大的有SEA方法、系統動力學方法、Petri分析法、試驗床法、影響圖方法、步驟化指控評估結構模型和層次分析法等方法和模型,這些方法和模型以評價目的為中心,從不同的角度探討了軟體系統的評價問題,在實際的套用中得到了許多的積極成果,但也同時暴露出了需要繼續完善和進一步發展的地方。因此,我們有必要對對這種理論現狀進行分析研究,指明一些問題,在評估的思想和方法上闡明自己的觀點。
評估步驟
通常的軟體系統評估由七個步驟組成,即:問題定義、確定系統邊界、過程定義、靜態與動態集成、評估指標確定、數據產生、指標綜合。
1、問題定義(Problem Formulation):
就是針對特定的問題提出決策者的需求和目標。這一步驟的輸出就是對問題的一個更精確的說明和描述,而且這一說明和描述可以翻譯成系統要達到的目標。這個目標又應進一步具體化為系統的實際目標而且是可操作的。在這一步驟中,評價過程中涉及到許多的概念、想定及其它假定等。
2、確定系統邊界(System Bounding):
這一步驟就是確定與問題有關的各種要素,包括:物理實體(設備、軟體、人員等);結構(組織、套用環境、步驟、過程、協定、信息)