歷史及結構至德公立學校之命名跟衙前圍村吳氏的“至德堂”而來:本族始祖泰伯,系出岐山,開國句吳,古者以地為姓,因而氏焉,孔子以其能全孝悌, 有三讓之美,嘆為至德,因以為堂號。學校由“吳成達祖”於1962年建立,是當時黃大仙區唯一一所照標準藍圖而建的國小,學校占地2,000平方米,樓高四層,共有12間班房,設有雨天操場、禮堂、 美勞室、音樂室等。全盛時期,上下午24班開齊,每班人數超過40多人。至1986年開始改為全日制上課模式。