家庭成員為妻子和2個女兒。其弟柱谷哲二（39歲）為原日本隊後衛，現擔任浦和俱樂部教練。波霸女主持搞垮日本名帥 柱谷涉嫌緋聞下課ぁ 日本《寫真周刊》爆出J2山形俱樂部主教練柱谷幸一與NHK山形電視台著名女主持人古瀨繪理有染的緋聞報導，當天主教練柱谷即向經營山形俱樂部的“山形縣體育振興21世紀協會”理事長、山形縣副知事金森義弘提出休養的申請並得到批准。但隨著事態日趨嚴重，俱樂部也認定其事實上是卸任，柱谷幸一幾乎不可能再回去任職，俱樂部5日同新瀉的比賽已經改由手倉森治擔任主教練，柱谷幸一也成為J聯賽有史以來第一個因緋聞下課的主教練。
俱樂部單方宣布“休養”
山形俱樂部所在地山形縣以及J聯賽方面在得知這一訊息後都極為震驚。“山形縣體育振興21世紀協會”金森理事長隨後向各新聞社發出文書：“由於報導的社會影響巨大，同時也使多數與球隊有關的人員受到困擾，因此決定讓柱谷臨時‘休養’。”當天金森理事長還帶著氣憤和歉疚的表情參加了緊急記者招待會：“柱谷作為主教練，站在一個為年輕人打開夢想的立場上對球員們的私生活進行嚴格的指導，但現在卻發生這樣的事情，我們感到非常遺憾，也非常氣憤。”
根據《寫真周刊》的報導，已有妻室的柱谷與當地NHK山形電視台著名女主持人古瀨繪理在柱谷位於山形市內的個人居所（單身赴任中）頻繁出入，“是熱戀的不正常關係”。俱樂部方面認為，事態嚴重並向柱谷進行了質詢，柱谷承認了與古瀨繪理的朋友關係，但不承認有不正常關係，隨後柱谷提出休養要求，俱樂部表示同意。俱樂部總務部長佐藤平次表示：“單刀直入地說，首先是讓他離開球隊，因為他本人沒有否定交友關係並承認了過失。雖然這是個人問題，但球隊必須全力阻止這樣的事態繼續發展。”
各界反應不一
柱谷拒絕承認
實際上，柱谷在就任球隊主教練的3年來，在球隊引進人才和培養年輕球員方面起到了至關重要的作用，是球隊中不可或缺的組成部分。目前已經返回琦玉縣家中的柱谷對俱樂部和協會的做法表示不滿：“我沒有得到發言的機會，所有情況都不是出自我的口而是通過21世紀協會作出了錯誤的公布。”柱谷說，由於俱樂部只發表“本人承認過失”的講話，而沒有進行詳細說明，因此誤導了視聽。柱谷6日在其個人主頁上也發表了題為“給所有支持者”的文章，文中還提到“休養”是俱樂部的一面之詞，“根本不是休養，只是謹慎起見，前一天我還在指揮訓練並準備第二天的比賽，怎么可能自己主動放棄”。柱谷還在電話採訪中表示，將重回山形召開記者招待會以澄清事實：“我還是希望繼續執教山形隊，我不會因為這樣的事情辭職。等到正式處分決定宣布之後我會向大家解釋清楚。”
