18歲那年,郭霖走出大山,到縣城新制高級國小讀了一年半後考入湖北省立第三師範學校,每科成績都是名列前茅。23歲考入國立唐山工學院(即西南交通大學的前身)。在學校讀書時歷經那場中國人民徹底反對帝國主義、封建主義的“五四”運動的冼禮,也進一步加深了郭霖的愛國主義思想,他立志工業救國。
1921年赴英國格拉斯哥大學習機械造船,1924年獲海軍建築學士學位,後入該校研究院任潛艇研究員。1926年任英國維克斯造船公司工程師。1927年回國,在馬尾造船廠和上海江南造船廠任工程師。1929年8月至1942年2月,一直任國立武漢大學工學院教授。