《漢書·古今人表》記載，堯帝時有隱士方回，與舜為友。《後漢書·周盤傳》記載：“昔方回、支父薔神養和，不以榮利滑其生術。”注引《列仙傳》云：“方回者，堯時隱人也。堯聘以為閭士，煉食雲母，亦與民人有病者。隱於五柞山中。夏啟末為宦士，為人所劫，閉之室中，從求道。回化而得去，更以方回掩封其戶。時人言，得回一丸泥塗門，戶終不可開。方回頤生，隱身五柞。咀嚼雲英，棲心隙漠。劫閉幽室。重關自廓。印改掩封，終焉不落。”這是說，方回是堯舜時期的隱士，善養生之術，帝堯曾經聘請他在五柞山中練食雲母，而這位方回的壽命很長，歷堯、舜時代至夏啟末年才化做仙人而去。《淮南子·俶真訓》載：“故許由、方回、善卷、披衣得達其道。”註：“方回、善卷、披衣，皆堯時隱士。”《帝王世紀》亦有“堯與方回遊陽城而崩”的記載。依此，則堯、舜及夏初，今登封東南部仍然是方雷氏支族方氏活動的中心區域。
後世的《方氏族譜》都說，炎帝榆罔長子名雷，因幫助黃帝打敗蚩尤有功，封於方山，後人因以方字為姓。如河南固始縣《金紫方氏族譜》記載：方氏“始得姓者曰雷，神農八代孫帝榆罔。黃帝伐蚩尤，以功封方山，姓方。在夏曰相佐。周曰叔。”清朝人張澍《姓氏尋源》引《宋文憲方氏譜序》云：“方氏出榆罔，榆罔之子曰雷，封於方山，後人因以為氏，比他姓為先。黃帝有方明，在七聖之列。其後有（方）回，為舜友。”何光岳認為：“方回即方雷，因甲（骨文）金文的回字與雷字相似。堯都山西平陽，方回居於汾陽，兩相鄰近。到夏啟時都於陽城（今登封告成鎮），方回部落後遷至嵩縣之方山，又與夏啟為鄰。”
