艦名的出處是以日本宮崎縣與鹿兒島縣一帶的霧島山來命名。日本海軍的命名慣例是參照日本艦船命名慣例的。
本艦於1912年3月17日在三菱重工業長崎造船所動工。1913年12日1日下水,1915年4月19日服役。艦籍佐世保鎮守府。於1927年、1934年經過兩次大幅度改裝後變成高速戰列艦。

在太平洋戰爭中頻繁隨航空母艦機動部隊出擊,表現活躍。先後參加了偷襲珍珠港,印度洋作戰,中途島海戰,第二次所羅門海戰(美方稱所羅門以東海戰),第三次所羅門海戰(美方稱聖克魯斯海戰)
1942年11月13日,霧島隨比睿參加支援瓜達爾卡納爾島並炮擊亨德森機場的作戰。在凌晨與美軍巡洋艦艦隊的混戰中,比睿遭重創後自沉,霧島撤回。
1942年11月15日,霧島返回瓜達爾卡納爾島炮擊亨德森機場,在與美軍艦隊交戰中,霧島號與日本其他軍艦集中火力射擊,取得重創美軍南達科他號戰列艦的戰果(霧島號兩枚主炮炮彈命中了南達科他號)。其後午夜時分由於霧島號打開探照燈照射南達科他號暴露了自己,在八千碼的距離上遭到美軍艦隊中未被發現的另一艘戰列艦華盛頓號的打擊。霧島號起火,兩座主炮塔被摧毀,舵機受損船舵卡住,水線部被打穿進水導致艦體左傾。15日凌晨三時,霧島號被放棄,在薩沃島西南處沉沒。(亦有說法稱霧島並非自沉,而是因無法控制進水而被美軍擊沉)
在12隻參加太平洋戰爭日本戰艦中,是在戰艦炮戰中被擊沉的第一艘戰鬥艦。
本艦是當時擁有最大螺鏇槳的艦船。
同年12月20日除籍
在近年的海洋考察中發現了霧島完全覆轉的船體。
歷代艦長
艤裝員長
志摩猛 大佐(大正4年/1915年4月19日就任)
艦長
志摩猛 大佐(大正4年/1915年12月13日就任)
松村純一 大佐(大正5年/1916年12月1日就任)
中村正奇 大佐(大正6年/1917年7月16日就任)
三村錦三郎 大佐(大正6年/1917年12月1日就任)
勝木源次郎 大佐(大正7年/1918年11月10日就任)
橫尾尚 大佐(大正8年/1919年11月20日就任)
安村介一 大佐(大正9年/1920年1月8日就任)
寺岡平吾 大佐(大正10年/1921年12月1日就任)
安東昌喬 大佐(大正11年/1922年12月1日就任)
坂元貞二 大佐(大正12年/1923年11月6日就任)
藤田尚德 大佐(大正13年/1924年12月25日就任)
加藤隆義 大佐(大正14年/1925年10月20日就任)
本宿直次郎 大佐(大正15年/1926年12月1日就任)
岩村兼言 大佐(昭和2年/1927年12月1日就任)
古川良一 大佐(昭和3年/1928年3月10日就任)
廣田稔 大佐(昭和4年/1929年2月8日就任)
藤澤宅雄 大佐(昭和4年/1929年11月1日就任)
菊野茂 大佐(昭和5年/1930年12月1日就任)
宇野積三 大佐(昭和6年/1931年12月1日就任)
北岡春雄 大佐(昭和7年/1932年12月1日就任)
高橋伊望 大佐(昭和8年/1933年11月15日就任)
丹下薰二 大佐(昭和9年/1934年11月15日就任)
三川軍一 大佐(昭和10年/1935年11月15日就任)
牧田覺三郎 大佐(昭和11年/1936年12月1日就任)
金澤正夫 大佐(昭和12年/1937年12月1日就任)
多田武雄 大佐(昭和13年/1938年11月15日就任)
久保九次 大佐(昭和14年/1939年11月15日就任)兼任
友成佐市郎 大佐(昭和14年/1939年12月27日就任)
河野千萬城 大佐(昭和15年/1940年11月15日就任)兼任
山口次平 大佐(昭和16年/1941年8月15日就任)
岩淵三次 大佐(昭和17年/1942年4月20日就任)
同型艦
金剛
比睿
榛名