該城堡為一座四邊形石砌建築物,高7層,每層高度4.5~6米不等,蓋以冷杉木緩斜屋頂,襯有木板,其屋檐寬闊。房間外面有一排用美觀的柱子支撐的遊廊和9米多高的圍牆,從牆基到頂部,稍稍向內傾斜,蘭牆處有一排陽台,在陽台的下面有些小窗。南面和東面的兩個入口可通外面的一段階石,兩扇大門以鐵把手加固。在城堡中央是喇嘛首領的正方形建築物宅邸。左右兩邊的路都通往鋪以平滑石子的大廣場和喇嘛房間。
扎西卻城堡現在是基堪布喇嘛的夏宮。每年3月30日至9月30日(不丹日),基堪布都要率領中央寺院眾喇嘛從普那卡搬回扎西卻城堡度夏。