主樓總面闊41米，總進深22米，建築面積2241平方米，高兩層，重檐廡殿頂，綠色琉璃瓦。水磨青磚砌牆，花崗岩石牆腳，以水泥仿木構斗栱和飛檐翹角，額枋、雀替用彩繪的瓷片裝貼，門框飾雕花，圍廊水洗石米圓柱高峻；台基仿清代宮式欄桿，雕式考究。正面門內兩邊有一轉曲樓梯直上內層三樓，室內有一道樓梯可上二樓和三樓。一樓後半段建有地下室。
圖書館建成以來，始終未正式對外開放。1946年，廣東省立藝術專科學校於8月至次年6月曾借舊址為校址。建國初期，舊址曾為廣州市博物館。1953年，該館移至鎮海樓，辟舊址為自然部陳列室。1957年，廣州美術館成立，以該館作館址，在大樓後新建畫廊。1990年，在正面興建迴環碑廊，鑲嵌海山仙館摹刻的歷代書法叢帖刻石。大樓前水池兩邊又各建一小陳列室，並在水池前、小山堆豎立體藝術雕刻各1座。
