王氏始祖遷到栗木還有段故事。栗木的王氏原來居住在江桐源，這裡本來是塊風水寶地。男人在外為官經商，興旺發達，只是婦女在家思夫心切，讓風生先生給點破，於是為官不順，經商不發，男人紛紛回家，以致村落衰敗。一年秋收，族長正在曬穀，一陣龍捲風把他家一筐稻穀捲走了。人們第二天才在一里以外的眠牛坦找到，稻穀一粒不少裝在籮筐里。族長一看，心想可能是先祖給我們重新選定的陽基，於是他讓人栽了一株銀杏樹，若能活了，就在此建村。到了第二年春，銀杏報芽發枝，族長便帶著人們遷居下來。
為了牽制這頭“牛”的風水，們人在村東砌了一條80米長的石畔，又在石畔前砌了一座6米見方，高2.5米的石礅，喻意80米的村堘比作牛索，2.5米高的石礅比作牛樁，拴住這頭寶牛。日久天長這村堘栽滿各種樹木，形成了一道水口，遮天擋地，將栗木圍住。
