江門的警捐一向依章繳納,也算無事,但葉顯認為原來警捐訂得不合理,要從新估價徵收。這“估價警捐”就是根據地方面積來估價,也可以根據所在地點來估價,又可以根據建選材料質量、營業額、營業性質來估價。總之,每一間鋪戶都要增收警捐,一般的比原來增加10至20倍,各商戶為之咋舌譁然。同時,葉顯又創立一種“鮮魚捐”,導致魚價上升。
建築江門長堤及堤路,本是一件建設善舉,可是葉顯自己一手包辦築堤工程,陰謀假公圖利,中飽私囊。商民對於工程規劃、經費支付,一無所知,只憑市政府張貼的布告,就要沿堤商店,按照施工的劃線指示辦理拆卸店鋪房屋。當時如書院路、新椰街、上步路等店鋪,鋪面通到鋪尾是很長很深的,鋪面在正街,直通鋪尾是河邊、廚房和廁所是建在岸邊上。按照工程面積劃線,鋪戶要拆卸約為三份之二。工程是暗中以高價由一建築商承建,葉顯從中撈了一大筆。由於商民事前被蒙在鼓裡,事後才知,便群情洶湧,不肯拆卸。葉顯強行用武力解決,出動大批軍警及消防隊,把沿江店戶的建築物弄到斷牆塌瓦,破損不堪。
由於工農革命運動的影響,當時江門的民族資產階級也感到三大敵人的壓迫日益加重,也組織成立了江門市商民協會,會址在今太平路太平國小。商民協會在全市張貼“工農兵聯合起來”、“打倒貪官污吏、土豪劣紳”、“取消苛捐雜稅”等標語口號,議定將估價警捐及強行拆鋪情況,向公眾控訴和呼籲,掀起了反抗葉顯的高潮。葉顯惱羞成怒,逮捕了商會會長陳毓棠。事態越鬧越大,驚動了省府,省府只好把葉顯的市長職務撤了。