他十一歲開始寫詩,十五歲加入共青團。在父母的薰陶下,他自小喜歡閱讀。1954年任《我們的話》和共產主義刊物《時刻》的編輯,兼中國新華社記者。1956年,他的處女作《小提琴及其它問題》一出版就受到了評論界的讚揚。為了實現自己的人生理想,他參加過共產黨、貝隆主義革命黨、城市游擊隊等組織,後來便是流亡、兩次被判死刑、平反,直至在兒子、兒媳被害多年之後,與孫女團聚。
在幾十年艱難坎坷、不屈不撓的人生歷程中,他一直堅持是個創作。繼《小提琴及其它問題》之後,他先後發表了《我們的遊戲》(1959)、《戈探》(1962)、《霍亂牛》(1965)、《關係》(1973)、《向南方》(1982)、《在下》(1985)、《致母親的信》(1989)、《曾是與將是的國家》(2004)、《漫遊》(2007)等近40部詩集。
赫爾曼與中國有著不解之緣。1959年到1964年,他曾任我國新華社記者,為西語世界報導中國的情況,並受周恩來總理的邀請兩次來華,還曾經“重走長征路”。
2014年1月14日,阿根廷詩人胡安·赫爾曼於墨西哥因病去世,享年83歲。