布局
祠堂三進九大間,琉璃瓦、風火牆、飛檐斗拱、雕樑畫棟,體現勞動人民的卓越才能和和藝術創造力。跨過山門,過天井院,祭把大廳高懸"百世其昌"、"再造共和"、"國家干城"匾額。廳西壁嵌石明確標示段氏家祠為段芝貴所建。段芝貴別號"小段",其地位次於段祺瑞而輩分高於段祺瑞,故有"小段不小,老段不老"之說。祠堂天井院西牆有月門通往公館區和花園。
現狀
整個建築群據說共用去6萬多塊銀元。不幸的是,段家祠堂1974年毀於大火。災後重建辦公、宿舍樓,原在段家祠堂南邊辦公的新華社安徽分社搬了過來。其西邊的四合院式住宅建築,1985年7月被公布為市級文物保護單位,但終在90年代初被拆除蓋了單位宿舍樓。