切斯特和埃倫的第一個孩子威廉·劉易斯·阿瑟生於1860年年底,當時他的父親還在軍中任職。夫婦兩人和孩子住在紐約“百老匯大道和二十二大街附近的一家裝飾豪華的家庭旅館裡”。由於妻子出生於南方,而丈夫在軍隊里當兵,後來又成為聯邦軍,導致國家內戰的緊張關係無疑也影響了他們的家庭關係。
這個孩子在兩歲半時死去,夫婦倆“悲痛不已”。在給與兒子同名的哥哥的信中,切斯特寫道:“我要告訴你一個非常不幸的訊息。我們失去了親愛的兒子。昨天早上在我們住的英格伍德旅館,他死於因大腦疾病引起的痙攣。這一切大突然了。埃倫為之心碎。我很擔心她的身體。你知道這給她帶來了多么沉重的打擊。”
他對妻子的擔憂是正確的。雖然他們又有了兩個孩子,但阿瑟當選總統時,卻只剩了他孤身一人,帶著兩個年幼的孩子。
人們把這第一個孩子的死歸咎於他的父母,認為是由於這對年輕的父母對孩子要求太嚴,使他難負重荷。雖然在那個時代兒童早死並不罕見,但威廉的早逝使他父母害怕再次失去一個孩子,因而對下一個孩子又過分溺愛。