持統天皇十一年（文武天皇元年）八月初一（697年8月22日），持統天皇讓位給文武天皇，稱“ 太上天皇”起（皇極天皇曾讓位給其弟孝德天皇，但當時並未出現“太上天皇”此稱號，只是臨時尊她為“ 皇祖母尊”。另外，後來她亦重祚為齊明天皇），到江戶時代後期光格天皇讓位給仁孝天皇為止，總計曾有59位太上天皇。
另外，日本歷史上也有過因自己的子女成為天皇或其他原因，本人沒有即位而被追尊為太上天皇的例子，這種情形會稱“ 準太上天皇”。鎌倉時代後堀河天皇的父親“ 後高倉院”，與室町時代後花園天皇的父親“ 後崇光院”，都是適例。附帶一提的是，光格天皇曾因打算對未即皇位的父親贈與太上天皇的尊號，遭大臣的反對而發生了日本史上著名的尊號事件。
傳統認為天皇在位時駕崩是不吉利的，故此天皇臨駕崩前讓位以進行手續接受太上天皇尊號，然後才等待去世的。例子有在位8日的醍醐上皇、在位10日的一條上皇和在位3日的後朱雀上皇。
大多數天皇在讓位後很快就會奉上太上天皇尊號，但退位的天皇則不會自動加上太上天皇頭銜的，如仁明天皇退位給文德天皇后1至2日駕崩時、淡路廢帝（淳仁天皇）的政變廢位、被廢黜的安德天皇與九條廢帝（仲恭天皇），其即位相對曖昧不明，太上天皇的頭銜就不被加上了。
反過來，光嚴天皇和崇光天皇則是廢位後才加上太上天皇尊號。足利義滿死後，朝廷贈與太上天皇尊號，最終其子幕府將軍足利義持辭去了這個封賜。正安三年正月二十八（1301年3月9日）到嘉元二年七月十六（1304年8月17日）其間，共有後深草上皇、龜山上皇、後宇多上皇、伏見上皇、後伏見上皇5位太上天皇並立，是歷史上最多的一次。
在文化十四年三月二十四（1817年5月9日）光格天皇讓位給仁孝天皇，是為日本最後一位太上天皇（天保十一年十一月十八（1840年12月11日）或十九（12日）駕崩）。由於從明治時代開始實行的皇室典範因不承認天皇讓位的情況，因此除非修改制度，否則並無出現太上天皇的可能。
大寶律令時，天皇以上者並無明文規定，太上天皇和天皇一樣可以發布院宣（宣旨），這可能會影響天皇政治意向。他們也可以開設院廳、設立 院藏人等機關。
平安時代末期，以天皇母子關係為基礎的攝關政治瓦解，以天皇父子關係為基礎而設定的上皇施行院政開始。歷史上有名的上皇多屬於這個時期。當時對這些對不在位但掌握實權的上皇稱為治天之君（日語：ちてんのきみ）。
