據有關史料記載：湖村肇基發祥於明萬曆年間，距今已有400多年的歷史。這裡居住的是胡氏家族和章氏家族，打破了傳統徽州聚族而居的村落特徵，開同村多姓之先河。定居湖村的胡氏始遷祖是胡萬通，他是績溪縣龍川胡氏家族的第33代孫。這樣說來，湖村與龍川就有了根系本同的血緣關係了。胡萬通“生而英偉，才幹過人；義方是訓，術業堪輿”。他之所以要離開山清水秀的龍川而定居湖村，自有其道理。在胡萬通看來，湖村的自然地理風貌“別有一壺洞天”。“山川秀麗，水口迴環；獅象捍門，龜蛇攔水。北列銀屏之峻，南排珥筆之奇；堂開曠大，水出之玄。且來龍祖山高聳尊岩，像若真武臨座。蓋山亦與水而俱秀，人必與地而俱靈。如此優美的地理位置，堪稱風水寶地的居住環境，胡萬通當然鍾愛有加了。自此，湖村胡氏奕世相傳，恪守族規，本分做人。雖無達一官顯宦標著千古，卻有儒士賢能名傳後世。諸如“金玉其質，松柏其姿。服因食力，孝友怡怡”的配祖胡社克；“熟默五經，得力《左傳》，學究天人，仗義施善；教子有方，成名揚顯”的胡郁文；“穎慧明敏，過目不忘。初試案首，入泮游庫。博通經史，古作妙長”的胡佩蘭，等等。
較胡氏稍後定居湖村的章氏家族，本是邑中瀛州章氏的後裔，亦為名門望族，代有人出，譽稱鄉里。湖村章氏祖祖輩輩以農為本，商賈兼營。漢口、蕪湖、寧國、杭州、淳安等地均有章氏商賈的足跡。由於湖村商業活動頻繁，商業信息活躍，一度成為商賈的中轉站。勤勞節儉的章氏商賈，師傳徒授，父傳子授，一代接一代，在資本的不斷積累中形成一股較為強大的勢力，成為遠近聞名的徽州商幫中的一支，為其建造祠堂、豪宅打下了堅實的經濟基礎。湖村章氏人仕者不多，清代僅有兩位舉人：一是同治年間的武舉章剛，另一位是光緒年間的文舉章獻琳。儘管如此，章氏家族頗為自豪，為他倆各制一匾，曰：文魁、武魁，懸掛章氏宗祠內，也算是“文武雙全”，無愧於列祖列宗了。
胡、章兩姓共居湖村，各立宗祠，各祭己祖，倒也和睦。一些重大的節日盛會，胡、章兩家總會心平和作，從不抬己壓人。以和為貴、和氣生財的祖訓得以恭身實踐。湖村自古就有觀音勝會的大型活動，每年舉辦一次，每次連續5天。所謂觀音勝會，就是將觀音菩薩請到湖村來扶正避邪，保佑人了興旺。主要活動內容除了向菩薩許願外就是唱大戲，日一本，夜一本，有時還得加上兩段小劇目。來湖村唱戲的都是當地有名的大戲班，以京劇為主，兼唱一些徽腔。場面十分熱鬧、壯觀。所有費用四甲承擔，即每甲一日，最後一日是還願，所需費用由四甲共同承擔。湖村至今仍流行的“鞦韆”、“台閣”民間活動，就是由觀音勝會演變而來的。
