據現存的《胡氏宗譜》等資料考證:胡氏在唐宋時期為名門旺族。宋靖康元年(公元1126年),金人進犯中原,迫使趙室南遷,此時山河破碎,生靈塗炭。紹興三十二年(公元1162年),主戰派將領虞允文奉朝命,帶兵前往採石抗金,一時缺糧遭困。此時,湖州駱駝橋富戶胡千二獻糧一批,親自押運至採石。
虞允文得糧後,重振旗鼓,打敗金兵。胡千二獻糧有功,被封為世襲知縣。胡挈家西行,來寧邑赴任。道經此地,見山水秀麗,遂命長子胡繼唐代其襲職寧國知縣,自己偕其諸子家人於雞冠山麓築室而居。小胡村即始於此時。小胡村歷史悠久,人文底蘊深厚,有著宋代山莊的美譽。“澗水來自千仞崗,廻廻曲曲抱村莊”,村落規劃布局、水系建築、楹聯碑記,宗譜族譜等珍貴的歷史文化遺存,無不彰顯著古村落厚重的歷史和深厚的文化底蘊。1984年,安徽省園林協會理事長、高級工程師吳翼等人親往小胡村實地考察,認定小胡村為“宋代村莊”。小胡村狀如扇形,典形的宋代風格格局,周圍是天然綠色“籬笆”。
村中的民居青磚黛瓦,古房為木質結構,古村的鼎盛時期,大約有300餘戶,近3000人口。房屋排列有序,錯落有致,古巷交錯縱橫,共有36條大巷,72條小巷。現今尚存著大巷、石板巷、木竹巷等,巷內均用青石鋪成、古色古香。
村內有省級文物保護單位——宋代花戲樓,它始建於南宋,又名萬年台,呈凸字形,前部表演區為單檐歇山頂抬梁式,可以三面觀看錶演,後台為硬山頂,台身磚木結構,四周共有柱16根,天花為木條的方格,檐柱斜撐刻以戲文故事及獅形,台基高1.85米,台寬12.7米,前台深4.4米,後台深5.1米。明清以來經數次維修,據文物專家鑑定現存建築屬明代風格。現在逢年過節或重大節慶期間,村民們都要請戲班來表演慶賀。村內還有區級文保——百步三道橋和徽式的三層樓。小胡村歷史上興建了諸多廟宇祠堂,現仍存有石王廟、月山廟、紅廟、胡氏東西二祠堂等遺址。整個村莊樸實中透出纖巧和靈氣,古色古香,生機勃勃。