巽來莊坐北朝南，一共有東、西、南三個樓門。南門為正門，在石匾額上刻“巽來莊”三個大字，在東門和西門上分別有“挹翠”、“迎春”二塊石匾額。土樓的外圍為二層樓建築，通高9.5米。第一層為花崗岩卵石砌成，厚2.5米；第二層為黏土夯築而成，厚0.8米。邊牆各開有13個窗戶，並置有槍眼。二層樓內為木構架，木板隔牆，平鋪樓板。設定有迴廊，可通往樓內各個房間、各個角落。整座樓的平面呈現出繁體的“�（回）”字形。
土樓內是閩南典型的居民建築，和古大厝相似。往裡望，自南向北依次為紅磚隔牆、石鋪天井、大廳和後院；兩邊有東西廂房，另外還有古井和馬廄、廁池等古老設施。迎面的一堵紅磚隔牆猶如屏風；而東西兩邊，分別又有一堵和紅磚牆相垂直的牆，說其牆，又顯得簡單粗糙了點，因為它是鏤空的，有非常漂亮的圖案，叫“六雀牆”，如今已是閩南不可多得的古蹟。
