位於宣武區西北部。東起校場口胡同,西到下斜街。因位於老牆之下得名。
老牆根地名久遠,一說老牆根是北京城中較為古老的一條街巷,街名約起於遼代。叫老牆根是因為此街處於遼時南京城東垣的內垣,說白了就是在南京城牆根底下。據傳上世紀三十年代時,老牆根街尚有古城遺址。據《燕京訪古錄》載:“宣武門外老牆根有半截廢城一段,長一丈八尺,高九尺。城磚堅固,石基如新,平嵌一石……上刻隸書‘通天’二大橫字,左刻‘遼開泰元年’五字,右刻‘北門’二字,均隸書。考此處為遼時內城東北隅也。”
一說它是明代惜薪司南廠南牆根。清時將南廠拆除,南牆牆根正在現今的街上,形成一條街。街西口清時還有柴木廠,其南牆亦在現在的街上。
街中段南側有玉虛觀。民國時調查:建於乾隆年間,私建,房殿五十餘間,日偽時期對患霍亂病的病人和屍體強行運此火化或運走。解放後改為日用化工廠(北京日化四廠)。