晚清時期
19世紀末，香港已成英國的殖民地，港英政府開始向清政府提出九龍—廣州的鐵路修築計畫，以方便英國將貨物和人員快速運往內地市場。1898年，英國強索廣九鐵路的貸款權，並在英國的壓力下，清政府鐵路大臣盛宣懷與英商怡和洋行於1899年簽定了《廣九鐵路借款草契約》。按這份草約，廣九鐵路計畫修築121英里，中間以深圳（當時實為新安縣）羅湖橋為界，分為英、華兩段。其中香港境內的英段鐵路（今港鐵東鐵線）長22英里，由英國政府負責修建，資金由英國政府在香港發行公債籌集；華段鐵路（今廣深鐵路）長度為89英里，由清政府負責修建。
宣統三年（1911年），廣州第二條鐵路——廣九鐵路全線建成通車，並在大沙頭設站，因是廣九鐵路的起點站，故名為廣九車站，又稱大沙頭火車站，採用西方近代建築風格。當時的廣州建成區包括了廣州城、東關、南關、西關及河南五大片區。大沙頭（島）位於廣州的東南角，即東關以東的山體（今東山一帶）南麓。廣九車站則選址在大沙頭島西側對岸，即築橫沙南側，成為了當時廣州城東南方的城界標誌建築物。
民國時期
1924年的大沙頭火車站1922年3月21日，廣東革命軍總參謀長鄧鏗將軍乘坐火車從香港返回廣州，在到達廣九車站準備離開時，被兩名兇徒殺害。一般認為，事件原因是鄧鏗在孫中山和陳炯明兩者的矛盾、政爭中，被陳炯明視為眼中釘，從而被陳炯明的部下陳覺民、陳達生等人策劃刺殺。同年夏季某天，孫中山來到了廣九站，乘火車趕到50公里外的石龍坐鎮指揮圍剿陳炯明的戰鬥。
1937年8月，國民政府為連通廣九、粵漢兩路，利用原設計修築黃埔支線的一段路基，修建粵漢鐵路西聯站至廣九鐵路石牌站的一段鐵路，稱為“廣北聯絡線”。1940年，侵華日軍為擴建天河機場，將廣九鐵路東山（梅花村）至石牌間3公里線路拆除，改由東山向東北方經沙河連線石牌站，在與廣北聯絡線接軌處設天河站（今廣州東站）。
抗日戰爭結束後，廣九鐵路局撤銷，廣九鐵路華段劃歸粵漢區鐵路管理局管理。至1947年，為配合當時中華民國交通部粵漢區鐵路管理局對粵漢鐵路、廣三鐵路、廣九鐵路全面管理，修築了一條由廣北聯絡線雲麓至廣九鐵路永村的聯絡線，兩端設雲麓、永村線路所，稱為“雲永聯絡線”。至此，粵漢鐵路上的客運列車可以直達大沙頭火車站，大沙頭站擴張為廣九及粵漢兩路的旅客列車的始發、終到站，並改名為廣州東站，僅負責客運業務。同時，粵漢鐵路的原終點站黃沙火車站更名為廣州南站，主營貨運及列車編組。
至1940年代末，該時期的廣州雖然已經向南發展到今瀝滘村所在地，但其他方向基本沒有延伸。大沙頭火車站從城市東南角轉變為東部標誌物，漸漸被城市包圍。由於火車站仍處於城市邊緣地帶，對市內交通沒有太大影響；而且臨近城市中心區，故其有日益壯大之勢。而車站站前的白雲路全長0.5公里，由於地處火車站門前，在1949年前一直是廣州市最寬的馬路，且為首次嘗試中間設綠化帶的複式馬路，當時成為模範馬路。
中華人民共和國時期
1949年之後，廣州地區鐵路運量逐年增大，廣州鐵路分局也對鐵路及站場進行整體改造。1951年，廣州東站更名為廣州站，確定為廣州地區的鐵路客運專用站，但廣州民眾通常仍然慣稱“東站”。
隨著1957年武漢長江大橋建成，京漢鐵路和粵漢鐵路合併為京廣鐵路，以及1960年廣州西南大橋（後更名珠江大橋）建成，廣三鐵路與京廣、廣深兩路接軌，廣州站客流量越來越多。且當時廣州鐵路樞紐內的其他車站皆主營貨運，故廣州站成為了廣州市內最主要的鐵路客運站，客流壓力極其沉重。1962年全年傳送旅客317萬人次，日均近1萬人次，節日高峰每天2萬至3萬人次。當時車站擁有股道11條，站場狹小，存車線不足，旅客列車的到發和存放、車輛檢修、整備均共用股道，甚至沒有正式的候車室，因此站內十分擁擠。每逢節日更需借用站前馬路搭建臨時候車與行包棚。
1950年代，為配合當時廣東省省委書記陶鑄將廣州建設成為“東方巴黎”的構想，廣州新客站（今廣州站）的建設規劃被提上日程。1958年，選址流花橋的廣州新客站動工；至1962年由於大躍進運動對中國國民經濟造成的損害，中央壓縮建設投資規模，新客站工程暫停。同年，廣州站發生了一起特別事件。1962年6月，由於當時中國大陸正值經濟困難時期，而國民黨也利用這個機會派特務到廣州散布謠言、煽動民眾，引起了1962年廣東各地“逃港潮”，甚至謠傳“英女王生日，六一大放（入境）三天”、“邊境開放三天，不用通行證可以去香港”，結果在當年6月1日，一千多人沖入火車站，等候購買往平山、深圳的火車票，晚上增至兩千餘人，稱“廣州站事件”。廣州市公安局派出宣傳車進行教育勸導。人群中有人挑動民眾起鬨鬧事，繼而發生騷動，到現場了解情況的時任廣州市副市長孫樂宜也被數百人包圍。6月2日零時，市公安局組織警力強制收審鬧事人員，才平息事態。
1972年廣州新客站復工；1974年4月12日，新廣州站建成啟用，廣州鐵路樞紐布局也相應作出調整。廣州新客站正式命名為廣州站，位於大沙頭的原廣州站恢復名為廣州東站，其所有客運業務逐步移至新廣州站，暫時作為簡易客車技術整備作業站保留。1984年9月，位於廣州站西北的廣州客車技術作業整備站（廣州客技站）竣工投產，同時原廣州東站客技整備所停用，永村至廣州東站間線路全部封閉。
至1980年代，伴隨廣州的城市發展，昔日處於城市邊緣的大沙頭火車站已經被城市包圍。1984年11月，大沙頭原廣州東客技站至天河一段原廣九鐵路被拆除，雲永聯絡線隨之撤銷。這段線路上的東華東路、署前路、達道路、梅花村、東風東路等8處市區內的繁忙平交道口同時拆除，改善了市區交通，如今成為了內環路的一部分。而大沙頭火車站也成為了一個“遺留”的車站，再也沒有鐵路連線，於1985年初被清拆，此地仍權屬廣州鐵路局（今廣州鐵路集團）。1997年，大沙頭火車站原址上建成了三棟高層廣鐵集團鐵路宿舍住宅樓，和一棟廣東省交通廳辦公樓（廣東交通大廈）。
2010年，越秀區園林綠化局按照《白雲路綠化升級改造方案》，將白雲路中間的綠化帶，打造成為廣九火車站紀念公園。在綠化帶東端設定花崗石蒸汽火車頭雕像，綠化帶兩端用石制的枕木、鐵軌和火車輪圍邊，橫過綠化帶的人行道鋪設仿鐵軌金屬凹槽。工程在2010年7月完成。
