楊森兵多器利,有統一四川捨我其誰之概。當時,民間流傳著一首順口溜,生動形象地刻畫了大軍閥楊森的權貴勢力:“頭頂玉帥(吳佩孚,號子玉),腳踏金螯(何金螯),背褙跛子(魏楷,是跛子),懷抱傻兒(范紹增,綽號范傻兒),跨騎白駒(白駒),左有二王(王瓚緒、王兆奎),右有二楊(楊淑身、楊漢城),前有吳行之光(吳行光),後有郭松之雲(郭汝棟,號松雲),又有楊家之將(楊森子侄),並有廣安之幫(楊森部下多廣安同鄉),前呼後擁,浩浩蕩蕩,將軍出征去也。作為楊森的得力幹將,白駒在四川曾權貴一方,名振一時。
歌樂山秀美的風景吸引了初履重慶的白駒,他在山泉流淌、翠藹濃濃的歌樂山麓,修建公館。幽居山間的公館,在林中若隱若現,令人浮想聯翩。白駒對這座充滿古詩意境的建築非常滿意,這座居所為他增添了些許文人墨客的氣質,使身穿戎裝的他又多了一絲風雅。白駒自稱是唐代詩人白居易的後裔,並以白居易的字號“香山”為新公館起了一個雅號——“香山別墅”。