高遠城的出名與戰國大名武田氏有著莫大的關係,武田信玄於1555年奪取高遠城,並任命秋山信友為城主。1562年,信玄四子勝賴繼承諏訪家,並以高遠城為居城。
後來武田勝賴繼承家主,遂讓弟弟仁科盛信為城主。1582年2月,隨著武田氏的衰亡,高遠城也迎來了武田的悲歌。織田信長嫡子信忠率領五萬人包圍了高遠城,而城內僅有3千餘人。信忠勸降盛信,被後者拒絕,盛信英勇作戰,奈何實力懸殊,城池很快陷落,而盛信也陣亡。信忠也佩服與盛信的忠勇,厚葬了他。高遠城的陷落敲響了武田家滅亡的鐘聲,僅僅兩個月後,武田家主勝賴於甲斐天目山自盡,名門武田氏滅亡了。