蘇聯時期，國家安全委員會的前身是1917年成立的全俄肅反委員會，簡稱契卡。1954年，契卡更名為蘇聯國家安全委員會，也就是大名鼎鼎的克格勃。它是蘇聯對外情報、反間諜、國內安全和邊境保衛等工作的主要部門，是一個凌駕於黨政軍各部門之上的“超級機構”，只對蘇共中央政治局負責。
契卡的第一任首腦捷爾任斯基，是列寧的親密戰友和蘇聯傑出的國務活動家。十月革命勝利後不久，為了保衛紅色蘇維埃政權，他倡議並領導成立了契卡。同大多數肅反委員會的初期領導人一樣，捷爾任斯基不是俄羅斯族人。他1877年出生於一個波蘭地主知識分子家庭，1896年放棄學業投身革命。在整個革命生涯中，捷爾任斯基從未有連續3年以上不被捕的時候。在經過了20年的囚禁、多年的流放和3次逃跑之後，捷爾任斯基終於獲得了自由，並加入布爾什維克。
在擔任肅反委員會主席一職的第一年，捷爾任斯基工作、吃、住都在自己的辦公室里。在他的領導下，肅反委員會同反革命力量做鬥爭的主要手段是沒收財產，遷移、吊銷供應證，公布人民敵人的名單等。1921年，列寧高度評價了肅反工作人員的工作，稱他們是反對敵人顛覆蘇維埃政權的有力武器。
在蘇聯國家安全委員會歷史上，另一位極具影響的領導人是安德羅波夫。
1914年，安德羅波夫生於一個鐵路工人家庭，25歲加入蘇聯共產黨（布），先後在一些州和加盟共和國擔任共青團領導工作，並相繼出任駐匈牙利大使、蘇共中央聯絡部部長。1967年，安德羅波夫任國家安全委員會主席，一連幹了15年。正是在他的領導下，克格勃發展迅速，成為世界上最龐大的情報機關——約3萬名外勤專職間諜分布在世界各地，刺探國外機密，連西方各大城市商品價格的漲跌，也一日不漏地報回國；在國內也時刻與外國間諜進行殊死較量。安德羅波夫很崇拜捷爾任斯基，書房裡一直掛著他的畫像。他自己也和捷爾任斯基一樣，全身心投入克格勃的事業，親自過問所有重大決策和行動。1982年11月，安德羅波夫當選蘇共中央總書記。從安全工作領導人升任為蘇共黨的最高領導人，這在蘇聯歷史上還是第一次。
說到克格勃，不能不提到俄羅斯現任總統普京。特工出身的他擅長摔跤、格鬥、射擊，還會開飛機，是克格勃的形象代言人。1975年，23歲的普京畢業於列寧格勒大學法律系，隨後加入了克格勃。9年後，他被送到莫斯科的間諜學校進行為期一年的培訓，並在培訓結束後被派遣到德意志民主共和國（東德）工作了近6年。
1991年10月，蘇聯解體前夕，總統戈巴契夫撤銷了蘇聯國家安全委員會。後來，俄羅斯重建了自己的安全力量，成立了俄羅斯聯邦國家安全委員會，由總統任主席，成員包括總理、聯邦安全局長、外交部長、內務部長、國防部長、總參謀長、緊急情況部長等。
現在，俄羅斯國安會更多地是一個多方力量的協調機構，負責審議重要的國家和社會安全事項，制定統一的國家安全政策。
