浮山所始設於明初，洪武二十一年(1388年)鰲山衛建置後，成為該衛統轄的兩個千戶所之一，所城築於建文四年(1402年)，與雄崖所同時修成。所城周三里、高二丈五尺，為土夯城牆，有三座城門，所城內置衙署、倉廒、廟宇等。浮山所設千戶一員(正五品)、副千戶一員(從五品)、百戶一員(正六品)，有京操軍、守城軍、屯田軍共2000餘人，轄有4個軍寨、18個墩堡，另有軍屯9處，土地870餘頃，是當時青島地區的邊防重鎮。清雍正十二年(1734年)裁撤浮山所，其地併入即墨縣，改設巡檢防守，清代膠州水師營亦在浮山所分防設汛，是青島發展以前的一所重鎮，據清同治十一年統計，浮山所屯計有159戶、684人。
隨著青島市的形成，浮山所也在不斷變化。1922年中國收回青島時，浮山所已有居民350戶、1300餘人，主要從事蔬菜和糧食作物生產。中華人民共和國成立後，浮山所的圍牆才全部拆除乾淨，如今只存有東門內的一株銀杏。浮山所現在是青島市的新市區，中共青島市委和青島市人民政府的辦公大樓就建在原浮山所城的西南角，在它的周圍，高樓林立，街道寬闊，面貌日新月異。
