若水以“隨處體認天理”為宗，自稱“陽明與吾言心不同，陽明所謂心，指方寸而言，吾之謂心者，體萬物而不遺產也”。時稱“王湛之學”。正德七年（1512年）奉使往安南國冊封安南王。次年正月十七日到達安南國，歸國時婉謝安南王厚饋，深得遠人之心，歸後作《南交賦》。50歲時母親病逝，從京奉柩歸葬，在家守墓三年。滿服後到西樵山建書院，聚徒講學達4年。若水講學講究方法，要學生先習禮，明學規，現靜坐聚精會神，然後才授課。嘉靖元年（1522年）都御史吳廷舉、御史朱節向朝廷推薦起用若水,始回京復職，補翰林院編修，同修武宗實錄。次年轉翰林院侍讀。又次年任南京國子監祭酒，作《心性圖說》。歷四年，升南京吏部右侍郎，次年轉禮部左侍郎，預南北郊分祭議。68歲由禮部左侍郎升南京禮部尚書。71歲轉南京吏部尚書。 74歲轉南京兵部尚書，奉敕參贊機務。此時安南王莫登庸叛亂，嘉靖皇帝欲親征，若水上《治權論疏》，反對出兵，因與文武大臣之議不合、遂請求致仕。75歲致仕，從此結束宦途生活、沿東南山水，遊覽講學而歸。
回廣州後，在府第附近建“天關書院”講學（天關原名銅關，因若水曾任吏部尚書，俗稱“大官”，故人稱天關為“天官里”，即今廣州東風中路一帶）。若水官曆兩京，所至迭創建書院，著書、講學不息，回粵後更專心講學，故《廣東新語》稱：“甘泉翁官至上卿，服食約素，推所有餘以給家人弟子，相從士三千九百有餘。於會城（廣州）則有天關，小禺、白雲、上塘、蒲澗等書院”。或時到西樵，回增城、登羅浮、上南香講學。在西樵有大科、增城有明誠、南香山有蓮洞、新塘有讀崗和甘泉等書院。若水學識淵博，著述豐富，精工書法，生平著作及詩文積逾千卷。將致仕前曾在新塘江畔建鉤台，紀念其師陳白沙，並作講學、憩息之所。嘉靖三十九年(1560年)四月二十二日病逝於廣州禺山精舍，享年95歲。嘉靖四十二年十月廿五日歸葬天蠶嶺（增城永和鎮）。隆慶元年（1567年）追贈太子少保，諡文簡。
