相傳為漢高祖劉邦的主要謀臣,“漢初三傑”(張良、蕭何、韓信)之一的張良,輔佐劉邦成就帝業後,就“激流勇退”,託名“辟穀”,隱居於此。後人仰慕他“明哲保身”的策略和“功成不居”的高風,在這裡建廟奉祠。因他曾封“留侯”,故名“留候祠”,俗稱“張良廟”。
張良為“漢初三傑”之首,劉邦自己就這樣說過:“出謀劃策,決勝千里,我不如張良;安撫百姓,籌集糧餉,我不如蕭何;統帥百萬大軍,戰必勝、攻必克,我不如韓信。此三位都是人傑。”但張良深知和劉邦共事只可共患難不能同安樂,所以當西漢立國之時,正是張良“辭漢”之日,留在秦嶺深處的紫柏山上潛心修道辟穀成仙。此舉正中劉邦下懷,當他當了西漢開國皇帝之後,就敕封張良晉侯。400年之後的東漢之末,張良的第10代孫張魯做了“漢中王”,為了尊崇先祖不以功高蓋世而討封,不以位極人臣而自居的超群拔俗之德,便修建了這座“漢張留侯祠”。從那時起,這裡就成為道教活動的勝地中心,四方攬勝者絡繹不絕,爭相觀光。這座古廟猶如一面歷史的鏡子,反映著張良其人其事以及世代百姓對他的崇敬。