白雲莊原為明末戶部主事萬泰的祠莊，後因其子萬斯選著有《白雲集》，世稱“白雲先生”，故名。自黃宗羲到白雲莊講學後，甬上文人聚集於此，弦歌不斷，盛極一時。清末，書院及白雲莊均已圮廢，1934年邑人楊貽誠重建。
白雲莊建築面積650平方米，主體建築坐西朝東，前後二進，均系磚木結構的平屋。南面為故居，“浙東學派”另一主要人物萬斯同曾在這裡居住。西北為萬邦孚和萬斯選之墓。萬邦孚系萬泰之父，曾任左軍都督府僉事。萬斯選系萬泰第五子，是同輩人中的領袖人物，黃宗羲親自為他撰寫墓志銘。
白雲莊是浙江文化的象徵，以浙東學派的學術要地而馳名中外，前來瞻仰的學者絡繹不絕。
2006年05月25日，白雲莊作為明至民國時期古建築，被國務院批准為第六批全國重點文物保護單位。
