明永樂年間,董氏從雲南遷此建村。明末清初,鄭氏又從大水清溝遷來;後又有王、曲、于姓相繼來村,組成了多姓家族村, 鄭姓占村民70%,距今已有600餘年歷史。時因村西山丘流出一小溪,清澈見底,常流不息,環村而過,故名為小水清溝村。
原小水清溝村以小溪為界分為東西兩村,西為黃家營村,東為小水清溝村。黃家營村的形成,據傳明朝緣於一在京做官的黃姓官員,死後葬於村西小山丘下,先後雇王姓和孫姓為其看墳,逐漸形成二十幾戶人家,故名黃家(塋)村。
小水清溝村重視子弟教育。清代小水清溝村曾出了一位鄭姓太學士。民國時期,鄭氏後代鄭可書是國民革命時期黃埔軍校第十七期學員,曾任國民黨軍隊副軍長,卒於台灣。小水清溝村國小走出的畢業生中不乏名人,其中有原中國駐日本國大使館參贊、中國石油進出口公司總經理鄭敦訓,原化工部副部長鄭敦勛,原山東化工設計院院長鄭可棟等。