秀木擁翠；亭、榭、橋、廊，各得其所；池、泉、石、徑，曲盡其妙。山野風光，匠心建築。是江南獨具城市山林優勢之綜合性公園和國家森林公園。
園內有舒捲如雲的捲雲石，石上題詞：“刳神胎．出靈氛，一舒一卷，為天下雲。”下有九曲橋、湖心亭、雙茅亭、文昭榭。沿岸碧桃垂柳，金粼綠荷，亭榭相映，構成佳景。山坡上有抱翠亭、聽松泉、聽松亭、玉石谷亭、支邊亭、忠王碑亭，以及半山軒。各景之間山道曲折盤旋，地勢高曠而不露，樹木繁茂而不悶，深邃寧靜。高大寬暢的環翠小築為品茗之所。庭前有沁雪石，此石質黑，額上一方“著雪即消”，系元代畫家趙孟頫“鷗波亭”舊物。位於公園大門內側有別開生面的倚晴樓、稱為園中園．樓為兩層雕花磚木結構。院內有湖石假山、水池、小亭、石橋，小巧玲現，與迴廊相通，遍植花卉草木，景色幽靜秀麗。
公園內辟有盆景園，陳列上千樹樁、山石盆景、品種有松柏、榆櫸數十種。具有傳統特色的“三彎九曲一頂”的典型常熟盆景，造型各異，製作精巧，千姿百態、集大自然之美於一盆之中。
此園倚山並沿城牆構築，緊靠虞山東麓。景觀隨地形起伏跌宕，建築物錯落層疊，間以林木泉石，自然風光與人工點綴渾為一體。全園分前、中、後三部。前部有景點倚晴樓、栗里茶室和捲雲石；中部以水面為中心，是全園景色精華，亭、榭、曲橋四布，富有江南園林特色；後部虞山亘綿，秀木擁翠，以自然山石為主，山野韻味甚濃。1948年汪青萍《常熟手冊》曰：“公園在旱北門內，依山傍城而築，風景具天然之勝。亭榭點綴，栗里環翠，茶居遙對，遊人憩息所也。”舊時景點主要有中山廳、民眾教育館、北廊草堂、湖心亭、九曲橋、雙茆亭、挹秀山房、新亭、栗里、環翠小築、飲綠軒等。至解放前夕，園景荒蕪已甚。
1950年更名為人民公園，此後陸續整修湖心亭、九曲橋、雙茆亭，重建公園大門、環翠小築，新建挹翠亭、支邊亭、聽松亭、忠王碑亭、夕照榭諸景，並辟書亭、兒童樂園等。1960年建虞紅亭。1979年起，又重建栗里茶室，設王石谷亭，新建倚晴樓、半山軒、花木商店，開闢花圃建溫室。1984至1985年建“倚晴園”，園內建歸飛亭、晚翠亭；半山軒處建爬山廊，擴建兒童樂園，辟盆景園。1984年4月，復名為虞山公園。此園不僅是居民休閒、娛樂的綜合公園，也是虞山風景區的主要組成部分。
七十年代末，虞山公園大致可分為面積各半的新、老兩個區。北部老區建築陳舊，且多而雜，造型又差，布局較亂，遊人集中；南部新區均為山坡松林，新的景點，自然條件好，開發的潛力大。
作為城區最大的綜合性公園，已遠遠不能滿足日益增多的遊人的需求，更沒有給城市創造出美麗的街景。1982年7月，在上海同濟大學園林教研室司馬銓指導下，由上海同濟大學建築系園林專業師生設計，完成了虞山公園的總體規劃，以充分利用原有基礎，保持地方特色，發揮天然優勢，體現時代精神為原則，將虞山公園建成具有江南園林色彩的山林式的綜合公園。總體布局按功能和景色特點分為三個景區——前部花坪景區，中部溪塘景區，後部山林景區。花坪景區是以大塊的花壇、草坪、花木叢、草花帶為主體，構成開放的景域，並以具有地方特色的園門、倚晴樓、栗里茶室、環翠餐廳和水石園亭等組成該景域的外圍觀賞輪廊；溪塘景區是以水面為中心，布置亭、榭，圍以疏林花木，構成半開敞的景域，有江南園林特色的亭、榭、曲橋，散置綠蔭，成為遊憩景點；山林景區是以大片松林為主體，構成密閉的景域，自然山石結合亭廊，組成具有山野天然趣味的景點。公園設定前後兩個大門入口，以前門為主。主要園路從前門至後門縱貫公園前、中、後三部分景區，便利管理、運輸和遊人集散。三個景區分別設環狀步行遊園路，並與主園路密切聯繫。
市園林管理處根據總體規划進行了改造，主要項目有：栗里茶室場地改造，添置石台石凳；環翠小筑前後庭院改造，點綴湖石、翠竹，圍以粉牆，形成雅靜的盆景園；半山軒增建爬山曲廊；倚晴樓配套工程建設，成一富有江南園林特色的園中園。1996年4月，市園林管理處投資16.5萬元在園後山坡上長約600米的明代城垣牆基通向烈士墓、“普仁秋爽”入口處，修復城牆一段，增添古城一景。1998年4月總投資35.8萬元，對虞山公園後山南部山林景區進行了改造，利用黃石裸露的大片天然石坡為主景，建造石亭，重建支邊亭，鋪設步行道554米，林相改造淘汰原有樹種380種，成片種植形成了紅楓林、桂花林、楊梅林、山茶林，在林下種植杜鵑、石蒜、沿階草等地被植物，顯現季相變化。步入其中，野趣特濃。近期還將規劃建竹類園，構想引進百餘種散生竹、叢生竹、混生竹等亞熱帶、熱帶觀賞竹，並構想利用現有的山林環境，規劃建鳥類園，養殖各種鳥類。
1993年4月9日，為配合市政府1993年度十件實事之一的北門大街拓寬工程，市園林管理處向市計畫委員會提出關於翻建綜合樓及虞山公園擴建工程立項的申請，經市計畫委員會批覆，同意虞山公園自籌資金遷建大門及附房，新建業務、商業綜合房項目，總建築面積2450平方米，總投資250萬元。遷建改造工程由上海市園林設計院規劃，本市趙市建築工程公司承建。 拆除原城郊鄉政府、省中職工宿舍等公園園門左右兩旁的房屋後，公園大門及入口處商店向北作了遷移。新設計的大門形式吸取傳統建築的特點，與南面言子墓古蹟的建築相協調。擴大入口廣場，北端設腳踏車停車場，形成大門壯觀氣勢。進入園門後，鋪設面積3771平方米草坪，成一綠地廣場，方便人流集散，便於開展各類綜合性活動，提供遊客寬敞的運動、健身空間，體現公園的個性。同時，正對大門建噴泉、樹雕塑，投資45萬元。雕塑由《青春》、《一家人》兩組主題組成，由上海大學雕塑系章永豪教授設計，市楊園綠化工程公司承建。雕塑後堆土坡，遍植桂花。1995年，市園林管理處還自籌資金5.5萬元，建造了虞山公園後門（南大門）及附房，園門建築外面覆以松木，與森林景觀相協調。園路與虞山風景區上山路相連線，保持了景觀的連續性、可看性。
經改造後的虞山公園，今已占地10餘公頃，為初建時數倍。分區合理，豐富了文化內涵，提高了的園林的旅遊價值。
公園主要景點有：
捲雲石位於栗里茶室前。此石高3米，最寬處約1.5米，其狀舒展如雲，形態奇特，正中鐫刻邑人、燕谷老人張鴻題書“捲雲”兩大字，旁鐫“刳神胎，出靈氛，一舒一卷為天下雲，丙子六月燕谷老人題”。捲雲石靈秀輕盈、臨風欲飛。此石系從辛峰巷燕園移來，原為明代錢謙益宅後花園中遺物。清雍正時析縣，琴川河以東劃入昭文縣境，錢宅部分被改建為昭文縣衙及城隍廟等。民國後，又在其地興建虞陽國小，石即立於城隍廟後之學校操場一角。約30年代初，縣長譚翼?嚼┙?監獄至操場，遂將其移至正籌建中之常熟公園。
九曲橋、湖心亭建園時所築，橋作九曲，亭在湖心。這一帶池水為舊時“觀音潭”遺蹟。亭上曾懸南社詩人朱劍芒書“在水中央”匾額一方，十年浩劫時，朱因此增一大罪狀，匾亦毀去。池中近年投放了2000多尾觀賞魚。繞池四周，遍植了楓樹、桃樹。泛舟湖中，頗多佳趣。
雙茆亭在湖心亭南，隔水相對。建園時擬在此處築一船廳，未果，改作紫藤棚架，兩端之亭合稱為“雙茆亭”。此雙亭呈六角形，竹結構，頂部覆以茅草，饒有野趣。
夕照榭位於湖心亭北，為半舫式小榭，亭、榭臨水，相映成趣。每當落日斜照，景色優美。亭中有石台一座，厚二寸許，石質桌面呈褐色，中有深色竹葉紋，極似瑪瑙，重實，非十來人不能移動，為罕見之物。
王石谷亭1973年遷建，在園中西部山腰間。亭作長方形，在松風亭上，拾級可登。邑人王石谷為清初名畫家。此亭從北門大街50號原王石谷祠中遷來。亭內正壁上原嵌有《石谷先生騎牛還山圖》，為王石谷於清康熙三十二年（1693年）離開清宮畫苑時，宮廷畫家揚州禹之鼎為表惜別之情繪贈，後裔孫鐫於石置王石谷祠內。此一珍貴文物，已由市文管會取下保存。
松風亭、聽松泉在園之西北角舊城牆旁，亭為六角形之半，也叫半亭。附近多松樹，可聽松濤，旁有泉，即名聽松泉。
忠王碑亭建國後建，位於環翠小築東南，為太平天國時期據守常熟將領為忠王李秀成歌功頌德而立，名“報恩牌坊碑”。碑文長達四百九十多字，為太平天國時期所刻碑文字數最多、字型最佳的一種。此碑原在南門外天朝牌樓處，幾經遷移。後建亭虞山公園之中，保存此碑。供人瞻仰。十年浩劫中，石碑移至市文管會保存，現藏碑刻博物館。1986年初，該亭移至公園後山虞紅亭南30米處。
盆景園位於兒童樂園西，其內“六台三托一頂”常熟流派盆景千姿百態。1993年7月，市園林管理處投資23.8萬元，增建了長廊68米，假山3座，鋪設卵石路98平方米，草坪280平方米，新建四方亭、六角亭，翻建圍牆，形成了別具一格的園中園。
環翠小築環翠小築原在兒童樂園現址，現新建於盆景園內、原飲綠居茶室舊址。環境幽美，造型古樸雅致。在屋前有三塊名石。一為“沁雪石”，宋吳興趙皇親家私人花園蓮莊舊物。元代時，蓮莊為著名書畫家、詩人趙孟?嗨?有。“沁雪石”植於該園鷗波亭前。明代流入常熟，幾經波折才搬入虞山公園。“沁雪”石名由來，眾說不同。一說：“沁雪質純黑，遇雨潤，則白色隱起如雪，故名”。另一說：“石質黑，而額上一方雪著即消”。二為“響石”，如輕輕敲擊，此石能象鐘磬一樣發出清脆的鳴響，餘音裊裊。三為“水浪石”，有清風拂水、微波掀起的意境。三石均為元代舊物。“環翠小築”一匾，為張鴻（隱南）所題。
栗里茶室捲雲石北，掩映於高大的栗樹林中。栗里之名，取陶淵明“栗里故居”遺風之義。建築陳設清雅宜人，室外花木扶疏，遊客在此品茗憩息，園內景物歷歷在目。
半山軒在園之西部山腰，於1980年建成。1985年8月由市園林管理處又投資9.02萬元實施半山軒配套工程。用爬山曲廊及矮牆將兩幢房屋相連圍合，形成明顯的景點空間，同時將院內天然岩石加以整理造型，鑿松林泉，辟石徑，栽花草，構成以觀賞天然山岩、黃石為主題的山谷園，供遊人弈棋、品茶、靜息。
倚晴園1985年，拆除前民眾教育館，建倚晴樓。園以此為主景，樓分兩層，傳統建築形式。由上海同濟大學建築系司馬銓教授設計，陳從周教授題額，市古建築公司承建施工。園中場路鋪設與環境構建由董浜建築站和常熟市園林管理處基建組實施。實際工程額為10.21萬元。建造了晚翠亭、歸飛亭，建曲廊94.36平方米，樓前鑿小池、疊湖石，植桂花、修竹等，外面以青磚黛瓦打造有漏花窗的矮圍牆102米。此園成一封閉庭院，結構精緻，小巧優美，環境幽雅，景點薈萃，可稱微型園林傑作，也是我市園林中獨具特色的園中園。
兒童樂園 1956年建，1981年，由市婦聯、團市委牽頭，蘇州師專、國棉廠、印染廠、色織二廠、色織三廠、色織四廠等單位為兒童樂園贊助，添置了電動飛機、電動木馬、螺旋滑梯等活動器具，使兒童樂園成為當時蘇南城鎮中設備新穎、較有影響的兒童活動場所之一。現有高架車、碰碰車、貝貝飛船、猴子拉車、群馬、觀覽車等二十一項遊樂項目，深受兒童、家長的歡迎。在今兒童樂園原址，1973年10月曾建有動物園，養有猴子、棕熊、梅花鹿、駱駝等動物，後於1985年6 月起逐步淘汰動物，直至停園。
虞山公園內還有不少古蹟。門首一對石獅子，為現西門大街東端（原稱寺前街）舊稱牌樓檔的宋代遺物，1931年修築公園時，移至於此。原進門通道左首，有假山一座，為“童子拜觀音”假山的部分。此假山為紅娘子橋（今人民體育場）一帶明季周氏養親別業，亦即北苑舊址所有，高八尺余，太平天國時曾損毀一角。後移入虞山公園，惜多數散置，未能壘起。
