賽卡古托寺該寺座西向東，平面呈方形，外有圍牆環繞，東西長98米，南北寬48米。寺內主殿為被稱為噶哇久尼的大佛殿，寺內正中有九層高，達28米的碉樓，樓頂用金頂，另有僧舍等建築。
公元1080年前後，由西藏著名佛學大師瑪爾巴出資，命弟子米拉日巴修建碉樓，經米拉日巴千辛萬苦修築了色喀古托（意為“九層公子堡”）和碉樓下的噶哇久尼殿（意為“十二柱殿”）。到了16世紀上半葉，噶舉派大學者巴哇·祖拉陳哇對該寺進行了大規模的維修擴建，從而形成了現在的規模。據說擴建所成的杜康大殿的壁畫就是祖拉陳哇親手所繪。
五世達賴執政時噶廈政府規定對該寺每一繞迥進行一次維修。公元1944年桑珠寺的活佛主持了該寺最後一次維修。這次維修以後，色喀古托寺開始了以格魯派教法為主的佛事活動。色喀古托碉共九層。一、二層地下室及儲藏室；三、四、五、六、七層為原來的建築，八、九層是公元 1985年重建。除一、二兩層，各層均供有佛像，各層面積的三分之一均為樓梯部分。梯道左右相錯。
杜康大殿位於古堡西側，傳為公元16世紀上半葉，由巴哇·祖拉陳哇所建。杜康大殿前有二柱迴廊。扣除迴廊為30柱經堂，經堂四壁皆繪有壁畫，經堂後為4柱佛殿，佛殿西有一間兩柱的密宗殿，內塑有各種密宗神像，像高2.4米左右，神像大都血口獠牙，面目猙獰恐怖，披人皮或獸皮，掛飾人頭等。杜康大殿二層為僧舍及庫房等
