克拉倫斯宮建於1825年,與白金漢宮相距不遠,以當時國王喬治三世的兒子克拉倫斯公爵的名字命名。後來英國國王威廉四世於1830年至1837年曾在此居住。二戰期間,它曾被用作紅十字會的總部,並遭到炮火轟炸。當時還是英國公主的伊莉莎白和希臘親王菲利普·蒙巴頓(現為愛丁堡公爵,菲利普親王)1947年結婚後,第一個家就安在克拉倫斯宮,並在那裡度過了5年快樂時光。英國女王伊莉莎白二世加冕之後,王太后就搬進了克拉倫斯宮,在那裡度過了自己長達半個世紀的餘生,直至2002年逝世。
2003年8月,查爾斯花費數百萬英鎊將克拉倫斯宮裝飾一新,隨後與兩個王子以及情人卡米拉一起入住。為了取悅卡米拉,查爾斯甚至從自己腰包里掏出160萬英鎊,專門為卡米拉裝修了兩個房間,其中一個正是2002年去世的王太后生前睡了50多年的臥室。卡米拉當時興致勃勃地參觀了自己的房間,並像一個女主人一樣,對房間的裝修、家具的擺設等提出了諸多看法。