創立哈爾濱格拉祖諾夫高等音樂學校的是一對猶太人夫婦,丈夫是著名小提琴演奏家戈里德·施京,時任校長,早年畢業於聖彼得堡音樂學院小提琴專業,後赴德留學;夫人猶太鋼琴家V.I.迪龍是一名優秀的鋼琴家,畢業於德國萊比錫音樂學院。20世紀初,二人一起在德國組織了音樂藝術家演出團,併到俄國高加索地區從事傳播高雅音樂工作,後來又到基斯沃德斯克、皮亞蒂戈爾斯克、葉欣圖克等地巡迴演出,並獲得成功,影響巨大。同時,他們還被邀請到南高加索的巴庫創辦音樂學院,成為著名音樂家、音樂教育家。1925年7月,戈里德·施京夫婦在炮隊街(現道里區通江街86號)創建了全國第一所正規的高等音樂學校——格拉祖諾夫高等音樂學校 。
1925年,格拉祖諾夫高等音樂學校創辦後,很快聚集了一大批聲樂教育家、器樂教育家,開設了鋼琴、小提琴、大提琴、巴松、黑管、手風琴、雙簧管、小號、圓號、打擊樂、歌劇班、音樂史、音樂理論等專業,完全按照俄羅斯皇家音樂學院(後更名為莫斯科音樂學院)的教學大綱教學。該校專業教師的猶太音樂家有小提琴教師戈里德施京、希費爾布拉特、西多羅夫,大提琴教師烏里施捷因、施皮爾曼、斯圖賓,合唱教師拉伊斯基等,培養出以大提琴家鮑斯特列姆為代表的一大批音樂人才。學校成立之初,由於校舍好、教育水平高,受到了學生和家長們的歡迎。當時,學校的教學特點是注重實踐和個人基本功的訓練,經常排練一些柴科夫斯基、貝多芬、莫扎特的樂曲到商務俱樂部、鐵路俱樂部演出。為解決貧困學生的學費來源問題,他們還組織募捐演出活動。這些活動一方面鍛鍊了隊伍,另一方面也促進了教育水平的提高。
早年間的格拉祖諾夫高等音樂學校曾為哈爾濱培養了眾多音樂人才,學校停辦後大部分教師及畢業生去往上海發展,在一定程度上成就了“上海音專”在中國音樂史上的地位。曾在格拉祖諾夫音樂學校任教的佘甫磋夫 ,後到上海工部局樂隊任大提琴首席,同時兼任上海音專大提琴組主任、教授,他培養了中國第一代大提琴家;聲樂家蘇石林也曾在該校任教,後去上海音專教聲樂,培養出了中國第一代歌唱家高芝蘭、周小燕、溫可錚;前蘇聯著名鋼琴家維傑爾尼科夫在哈爾濱出生,並在這裡學習鋼琴,10歲時在哈舉辦了鋼琴獨奏音樂會。
2013年學校建築修繕前為哈爾濱朝鮮第二中學教學用樓。