在諾曼第人征服英國以後，建造了城堡的要塞，後來又修建了眾多的中世紀防禦工事和住所。這座城堡曾經為許多貴族家族所有，直至1766年它通過婚姻傳到布特（Bute）家族手裡。布特家族的第二任侯爵使加的夫成為世界上最大的煤炭輸出港。
加的夫的歷史可以上溯至2000年前。當時的羅馬帝國跨過英吉利海峽征服了英格蘭與威爾斯，並在現在的加的夫城堡所在地修築了軍事設施。400年後，帝國發生內亂，羅馬軍隊撤離了英倫三島。之後凱爾特人、維京人、諾曼人、盎格魯.撒克遜人先後來到了島上，加的夫地區也多次易手。在此期間，加的夫城堡從無到有，從小到大，一直在軍事上和政治上發揮著重要的作用。130年前，一位來自蘇格蘭地區具有侯爵稱號的煤礦大亨買下了破舊的加的夫城堡，從英國、義大利、美國、士耳其等地聘請了知名的建築師開始對城堡進行重新裝修。 裝修後的加的夫城堡有上百個房間，主要建築內極盡奢華。在這裡有專門供成年男士使用的時間房。整個房間以時間為主題，裝飾色彩、圖案與物件上表現了一日、一周與一年之中的時間變化。成年男士用餐後齊集到此品嘗雪茄與美酒，因此在房內有可存儲200支雪茄的煙櫃和存儲40瓶威士忌的酒櫃。而在當年，這裡還專門為男士們保留了大量春宮畫。為表示拒絕女人入內，在門廳的屋頂特意安裝了一個魔鬼的雕像。 與專供男士使用的房間相對應，城堡內的還有專供女士餐後享用咖啡的房間，稱為阿拉伯屋。但實際上，整間房屋的裝修風格卻是土耳其式的。屋頂結構複雜，形成藻井，繪有大量的精美圖案。窗戶上的彩色玻璃色彩鮮艷，描繪出許多聖經中記載的神像。這裡還有專供女士們保存化妝品與香料的櫥櫃。當年保存著來自世界各地的化妝品、香料，其中有很多來自遙遠的中國。不過，在侯爵重新裝修前，這裡卻是城堡抵禦外來進攻的最主要戰鬥地點之一。 城堡內有一間專供侯爵招待少量貴客的小餐廳。餐廳中央擺放著一張特別的餐桌。橢圓形餐桌分為兩半，合在一起時中間有一個小小的圓孔，很像現在酒吧里露天座位上插放陽傘用的插孔。當時的貴族們為極盡豪華之能事，餐後水果要吃最新鮮的。於是在城堡內栽種了很多盆栽水果，比如葡萄。用餐時，將盆栽葡萄或其他什麼的放在中間，再把桌子合在一起，用餐的人就可以摘下最新鮮的水果加以享用了。不過最令人吃驚的是這張桌子的價值。現在這張桌子價值46萬英鎊。 城堡內最豪華的房間是侯爵本人的臥室，裡面設有當時最為豪華的衛生間，在100多年前就可以象現在的浴室那樣隨時放進冷水與熱水。牆上繪滿了精美的壁畫，窗上不是用彩色玻璃裝飾，就是安裝了精美的木製窗花。不過這裡只有一張單人床。原來當時的貴族婚後也是分居的，侯爵夫人有自己的臥室，那裡放置的是寬大的雙人床，其原因是保護懷孕期間女士的安全或是方便哺乳期的女人照料幼小的孩子。 城堡內最大的房間是一間既可以作大餐廳，也可以作舞廳的房間。寬大的房間內鋪滿了橡木地板，牆壁上與屋頂上同樣充滿了奢華的色彩與裝飾。據說當年侯爵先生為此房間耗盡心機，一間房裝修竟然用了整整18年的時間，由專門從義大利請來的設計師主持裝修。 在城堡的樓頂還有一個小小的露天花園，其形式頗像羅馬風格的公共浴室。四周連廓環繞著一個巨大的花池。為了不積聚雨水，花池內設計了簡單有效的十字型排水渠道，同時也構成了凱爾特風格的十字架圖案。在花園一端矗立一座微笑著的聖母銅像。聖母瑪麗亞懷抱嬰兒，面帶微笑，眼神里充滿了母性的慈愛。據說這樣的銅像全世界只有十座。 現在的加的夫城堡已不再歸侯爵家族所有。隨著威爾斯地區煤碳資源的耗盡，侯爵家族也離開這裡返回了蘇格蘭。臨行前，侯爵家族將城堡賣給了加的夫市政廳。目前這裡是全英國唯一一座由政府所擁有的城堡，其他城堡均保有在私人手中。
