後來，祖逖發奮讀書，“博覽書記，該涉古今”。他遊歷京師，所見者都說他有經時輔國之才。
後祖逖寄居在陽平。
晉太康十年(公元289年)，祖逖二十四歲時，陽平郡察舉他當孝廉，司隸進而舉薦他為秀才，他一概不應。
不久，祖逖與司空劉琨一起出任司州(治洛陽)主簿。兩人“情好綢繆，共被同寢”，關係十分融洽。
時值西晉“八王之亂”的前夜。大族擅權，政治黑暗；豪強縱橫，民不聊生，表面上的繁榮已經掩蓋不住日益加深的社會危機了。
一天半夜，祖逖被野外傳來的雞鳴聲吵醒了，便用腳踢醒劉琨，說：“此非惡聲也”。於是，兩人相邀到戶外，拔劍起舞。這就是流傳至今的“聞雞起舞”的佳話。
祖逖與劉琨“並有英氣”，對每況愈下的政局充滿了憂慮，經常議論國家大事，有時夜深還不能入睡，擁被起坐，相互勉勵說：“若四海鼎沸，豪傑並起，吾與足下當相避於中原耳”。
晉元康元年(公元291年)，一場歷時十六年的戰亂終於爆發了。在“八王之亂”中，祖逖和劉琨萍飄蓬轉，各自東西。當時晉王室相互爭鬥，祖逖為諸王所重視，先後擔任齊王司馬冏大司馬府的掾屬、長沙王司馬乂驃騎將軍府的祭酒和主簿，稍後又遷任太子中舍人、豫章王從事中郎等。
晉永興元年(公元304年)農曆7月，洛陽禁衛軍在東海王司馬越的統率下，擁晉惠帝討伐成都王司馬穎，祖逖隨軍北伐。但在盪陰戰敗，惠帝被俘，被挾持到長安，祖逖又隨軍退還洛陽。
西晉宗室諸王為了爭奪帝位，使中原地區橫屍遍地，生靈塗炭，在宦海中浮沉了多年的祖逖對此深感失望。所以當關東諸王，如范陽王司馬虓、高密王司馬略、平昌王司馬模等人競相招引他出來做官時，均被他回絕了。東海王司馬越又命他擔任典軍參軍、濟陰太守，適遇其母病世，他乾脆守喪不出。
晉永嘉五年(公元311年)農曆6月，洛陽陷落，北方人民紛紛逃亡到南方避難，祖逖也被迫帶著親族宗黨幾百家南下淮泗(今江蘇徐淮地區)。一路上大家風餐露宿，歷盡艱辛，祖逖主動把車馬讓給老弱和病人，又把糧食、衣物和藥品分給別人。他和大家同甘共苦。他還常常想辦法，解疑釋難。大家既感激他，又敬佩他，一致推舉他擔任流人隊伍的“行主”。
當祖逖走到泗口(今江蘇徐州)時，坐鎮建鄴(今江蘇南京)的鎮東大將軍、琅砑王司馬睿(晉元帝)任命他為徐州刺史。
晉建興元年(公元313年)，又徵召他擔任軍諮祭酒，於是，祖逖就在京口(今江蘇鎮江)定居下來。
西晉政權被推翻後，祖逖常懷“振復之志”，他手下的賓客義徒都是暴傑勇士，祖逖待之猶如子。時揚州鬧災荒，這些人便常常劫掠富戶。祖逖有時問他們：“比復南塘一出不”？這些人中，有人若被官吏揭露捕獲，祖逖便去解救。人們為此非議他，但祖逖仍若無其事，我行我素。
晉建興元年(公元313年)農曆4月，晉愍帝即位，以司馬睿為左丞相，讓他率兵二十萬直攻洛陽。農曆6月復遣使催促。當時，司馬睿致力於開拓江南地區，根本顧不上北伐。而祖逖雖出身北方大族，並可以在司馬睿偏安一隅的小朝廷里本可以安享尊榮，步步高升的。但是，他不願苟且偷安，不貪戀安定舒適的生活。在南北門閥士族熱衷於新政權的權力再分配的時候，在他們熱衷於求田問舍，進行新的兼併的時候，祖逖義正辭嚴地提出收復半壁河山，拯救中原同胞於水火的強烈要求。祖逖向他進言：“晉室之亂，非上無道而下怨叛也。由籓王爭權，自相誅滅，遂使戎狄乘隙，毒流中原。今遺黎既被殘酷，人有奮擊之志。大王誠能發威命將，使若逖等為之統主，則郡國豪傑必因風向赴，沈弱之士欣於來蘇，庶幾國恥可雪，願大王圖之”。
祖逖的要求，代表了人民的願望，但無異於給司馬睿出了一個難題。司馬睿自移鎮建鄴，一心在拼湊江南小朝廷，他和擁戴他的門閥士族都無意北伐。從司馬睿來說，雖然國土淪喪，他仍不失為偏安之主；如果北伐成功，這皇帝的寶座還不知究竟屬誰呢？但面對祖逖大義凜然的請求，他又不願落下阻止北伐的惡名，於是，便消極對待此事。為了敷衍天下人耳目，司馬睿乃任命祖逖為奮威將軍、豫州刺史、前鋒都督出師北伐，只撥給他一千人的糧餉，三千匹布，不給鎧甲兵器，而不給一兵一卒，讓他自募士眾，自製刀槍。
司馬睿的冷漠態度並沒有動搖祖逖北伐中原的決心，他率領跟隨自己南下的流人隊伍百餘家，毅然從京口渡江北上。船到中流，祖逖眼望面前滾滾東去的江水，感慨萬千。想到山河破碎和百姓塗炭的情景，想到困難的處境和壯志難伸的憤懣，豪氣乾雲，熱血涌動，於是敲著船楫朗聲發誓：“祖逖不能清中原而復濟者，有如大江”！意思是若不能平定中原，收復失地，決不重回江東!祖逖“辭色壯烈”，部屬為之慨嘆。
祖逖渡過長江後，暫駐淮陰，起爐冶鐵，鑄造兵器，同時又招募到二千多士兵。
晉建興四年(公元316年)農曆11月，晉愍帝被漢國俘虜，西晉滅亡。司馬睿被迫移檄四方，約期北征，祖逖欣然應命。
當時北伐的形勢十分嚴峻。祖逖面臨的對手不僅是割據冀、豫一帶，擁兵十多萬的羯族首領石勒，河南地區還盤踞著為數眾多的漢族地主豪強武裝，即所謂“塢主”。這些塢主修築塢堡，自稱刺史、太守，稱霸一方，依違於晉、趙之間，情況非常複雜。他們可能成為北伐軍的盟友，也可能成為北伐軍的敵人。這種形勢決定祖逖北伐的道路是一條充滿了艱難險阻的道路。
公元317年，祖逖進駐蘆洲(今安徽亳縣)，果然，北伐軍首先遭到流人塢主張平、樊雅的阻遏。張平、樊雅是兗、豫一帶的豪強，乘亂起兵，張自任豫州刺史，樊自任譙郡太守，各據一城，有眾數千人。張平部下還有董瞻、於武、謝浮等十多支小部隊，各有數百人。張、樊名義上臣屬於司馬睿，接受司馬睿給予的四品將軍頭銜，實際上不受約束，自行其是。祖逖派遣參軍殷乂去聯絡張、樊，殷乂有些看不起張平，指著他的住房說這隻配作馬廄，又指張平的一口大鑊說這可以鑄鐵器。並說張平不能保住頭顱。張平大怒，殺死殷義，勒兵固守。張平“阻兵固守”，殷乂誠然不能辭其咎，但根本原因恐怕還是這位自封的豫州刺史不能容忍朝廷派來的豫州刺史。這類豪強，雖然他們原來也經常受到敵人的攻擊，但當他們的既得利益稍許受到危害，他們則寧肯站到敵人的立場攻擊自己的同盟者。祖逖率軍進攻，仍不能下。於是祖逖便用離間計，從張平部下分化出謝浮，謝浮借與張平商討軍情之機，殺死張平，率眾歸降。
張平雖死，樊雅仍占據譙城，祖逖進據太丘(今永城)，因軍中乏食，處境十分困難。樊雅派兵乘夜來襲，攻入營壘，拔戟大呼，直逼祖逖營帳，軍中大亂。祖逖臨危不亂，安排左右拒敵，督護董昭英勇殺敵，終於打退了樊雅的進攻。祖逖率部追討，張平余部幫助樊雅迎擊祖逖。為了儘快攻下譙城，祖逖向蓬塢堡主陳川、南中郎將王含求援。陳川派李頭、王含派桓宣來援，王含也命參軍桓宣領兵五百助戰。祖逖一面發兵進攻，一面派對桓宣說：“卿先已說平、雅，信義大著於彼。今復為我說雅。雅若降者，方相擢用，不但免死而已”。桓宣遂入譙城勸降。見到樊雅，桓宣說：“祖逖方欲平盪二寇，每何卿為援。前殷乂輕薄，非豫州意。今若和解，則忠勛可立，富貴可保。若猶固執，東府赫然更遣猛將，以卿烏合之眾，憑阻窮城，強賊伺其北，國家攻其南，萬無一全也。願善量之”。樊雅這才出城歸降。經過一年多的苦戰，祖逖終於攻占譙城，在豫州站住了腳跟，並打通了北伐的通道。
正當祖逖以譙城為根據地，且戰且耕，逐步擴大戰果時，發生了蓬陂塢主陳川叛歸石勒的事件。陳川本是號稱“乞活”的流民集團的首領，自稱寧朔將軍、陳留太守。這支流民武裝長期割據浚儀蓬陂，曾經投降石勒，又受晉官號。陳川部將李頭攻打譙城立功，祖逖遇之甚厚，正好祖逖獲得樊雅一匹好馬，李頭很想要又不敢說，祖逖知道他的心思後，便把馬給了他。以後李頭經常感激地說：“若得此人為主，吾死無恨”。陳川聞後大怒，遂殺李頭。李頭的親信馮寵鼓動所屬四百多人投奔祖逖，陳川更加怒不可遏，大掠豫州諸郡以為報復。祖逖則針鋒相對，命衛策在谷水伏擊，盡獲其所掠之車馬子女，祖逖下令，將車馬子女全部歸回原主，軍隊一點也不截留。陳川大為驚恐，於東晉大興二年(公元319年)農曆4月以浚儀(今河南開封)投降石勒。
當時石勒建基於襄國(今河北邢台)，活動於黃河流域，因實力所限而推行北攻南守方針。南面所要對付的主要是祖逖所率領的北伐隊伍。而要阻止祖逖北進，首要的也在於爭奪各地的塢堡組織。
祖逖得知陳川叛晉後，遂於五月進攻蓬關(蓬陂，今河南開封)。石勒派養子石虎率領五萬大軍救授陳川，與祖逖軍戰於浚儀。祖逖戰敗，退守淮南(今安徽壽縣)。石虎在豫州進行了一番洗劫之後，也帶著陳川回師襄國，只留下將領桃豹戍守蓬陂塢。農曆10月，祖逖派督護陳超攻打桃豹沒有成功。農曆11月，石勒自立為趙王(史稱後趙)。
東晉大興二年(公元319年)農曆6月，石虎派桃豹據浚儀，屯兵西台，從南門出入，祖逖則派韓潛據東台，由東門出入，兩軍相持四十日。祖逖決定設計智取。當時，雙方糧草供應都很緊張，祖逖命令把沙土裝在糧袋裡，假裝成米，讓一千多人像運送軍糧一樣，忙忙碌碌運上東台。又故意讓幾個人真的挑著大米，走在後面，佯裝疲憊在路上休息，等敵軍來搶米。桃豹的軍隊缺糧已久，見晉軍運糧，以為有機可乘，突然衝過來搶糧，那幾個人扔下糧袋倉皇逃跑。桃豹軍士搶得糧米後，以為祖逖士兵都能吃飽，而自己長久飢餓，於是更加恐懼，士氣低落。這時，石勒部將劉夜堂用一千頭驢運糧食給桃豹，祖逖偵知訊息，派部將韓潛、馮鐵等部在汴水截擊，盡獲其糧食和腳力。桃豹聞訊，連夜退兵東燕城(今河南延津)。祖逖乘勝進軍，派韓潛進屯封丘(今河南封丘)，威逼桃豹，馮鐵部進據二台，自己統兵鎮守雍丘(今河南杞縣)。並屢次派兵截擊後趙軍，後趙很多城鎮紛紛叛趙歸晉。
農曆7月，石勒不甘心失敗，派遣一萬多精銳騎兵反撲，但又被嚴陣以待的北伐軍所敗。又經過一年多的反覆爭奪，祖逖取得北伐戰爭以來最重大的勝利。
祖逖在北伐中不僅善於分化瓦解敵軍，而且善於團結可以團結的豪強武裝集團和塢壁主，這是他能夠以弱小兵力多次打敗敵軍的重要原因。偵察兵常俘獲濮陽人，祖逖總是優待他們，送他們回去，這些人感謝祖逖的恩德，聯絡了鄉里五百家來歸附。當時河南境內有趙固、上官巳、李矩、郭默等割據集團，他們各據一方，經常以兵戎相見。祖逖多次派人從中調解，曉以大義，消除他們之間的矛盾，使他們都服從自己的統一指揮。
黃河以南，原有一些塢堡主，迫於石勒強大的勢力，不得不臣服於石勒，送其子弟到襄國為人質。祖逖允許他們表面上仍歸附石勒，任憑他們兩邊交往，並常派些小部隊假裝攻打他們，以表明他們並未歸附晉朝，從而消解石勒的疑心，減輕塢堡的壓力。各塢堡主感戴祖逖的恩德，經常幫助北伐軍刺探情報，因而祖逖在戰場上始終處於主動地位，屢戰屢勝，威名遠播。
祖逖禮賢下士，善體恤民情。即使是關係疏遠、地位低下之人，也施布恩信，予以禮遇。將士“其有微功，賞不逾日”。祖逖在統治區內勸督農桑，恢復農業生產；在軍隊中一直實行且戰且耕，以耕養戰，以減輕人民的負擔。祖逖自身生活儉樸，自奉節儉，不畜私產，其子弟與戰士一樣參加耕耘、背柴負薪。他還收葬枯骨，加以祭奠。因此，北伐軍得到河南地區人民民眾的擁護和愛戴。
一次，祖逖擺下酒宴，招待當地的父老兄弟，一些老人流著眼淚說：“吾等老矣！更得父母，死將何恨”！乃在座上歌曰：
“幸哉遺黎免俘虜，三辰既朗遇慈父。玄酒忘勞甘瓠脯，何以詠恩歌且舞”。
由於祖逖策略得當，民眾歸心，所以不出幾年，基本上收復了黃河以南地區。劉琨在寫給親戚的信中，大力稱揚祖逖的威德，晉元帝也下詔擢升他為鎮西將軍。
在極端困難的條件下，祖逖領導下的北伐軍正是依靠民眾的支援，同占據絕對優勢的敵人苦戰四年多，終於收復黃河以南的大片土地；北伐軍也由小到大，越戰越強，成為一支使“石勒不敢窺兵河南”的勁旅。石勒懾於北伐軍的威力，轉而採取守勢，他下令幽州官府修祖氏墳墓、成皋縣修祖逖母親墳墓。並寫信給祖逖，請求互通使節、互市貿易。祖逖格於形勢，沒有回信，但聽任雙方互市，收利十倍，於是官方和私人都富足起來，兵馬也日益強壯。
祖逖的目標是清定中原，他不敢稍有懈怠，抓緊練兵積穀，準備“推鋒越河，掃清冀朔”。正當祖逖準備渡河北進，完成統一大業之時，晉元帝聽說祖逖在河南深得民心，屢建戰功，怕將來不利於自己的統治，便於晉太興四年(公元321年)農曆7月任命戴淵為都督兗豫雍冀並司六州軍事、征西將軍，出鎮合肥，以牽制祖逖。祖逖認為，戴淵是南方吳人，雖然有名望，但並無遠見卓識，加上自己目前已剪除荊棘，收復河南，而戴不費氣力，即來統御，心中頗為不樂。這時，又傳來王敦跋扈，朝廷內部矛盾日益尖銳的訊息，眼看內亂將起，北伐還有什麼希望！祖逖心力交瘁，憂憤成疾。於是，把家眷安排在汝南大木山下。當時中原的士大夫都認為祖逖應該進據武牢，沒想到他卻把家屬安置到了險要之處，紛紛勸阻他，他不聽。
祖逖心中雖然憂憤，但仍“圖進取不輟”，抱病營繕虎牢城。虎牢城北臨黃河，西接成皋，地理位置非常重要，他擔心城南沒有堅固的壁壘，易被敵人攻破，特意派堂侄祖濟(汝南太守)汝陽太守張敞、新祭內史周閎等率眾築壘。營壘尚未修成，祖逖病危，農曆9月，祖逖病死在雍丘(今河南杞縣)，終年五十六歲。
祖逖死訊傳出，豫州人民痛哭流涕，譙梁百姓還自發為祖逖修建祠堂，紀念這位熱愛祖國、熱愛人民、不畏強敵、百折不撓的愛國名將。朝庭追贈祖逖為車騎將軍。
《晉書·祖逖傳》對其評價如下：祖逖散谷周貧，聞雞暗舞，思中原之燎火，幸天步之多艱，原其素懷，抑為貪亂者矣。及金行中毀，乾維失統，三後流亡，遞縈居彘之禍，六戎橫噬，交肆長蛇之毒，於是素絲改色，跅弛易情，各運奇才，並騰英氣，遇時屯而感激，因世亂以驅馳，陳力危邦，犯疾風而表勁，勵其貞操，契寒松而立節，鹹能自致三鉉，成名一時。古人有言曰：“世亂識忠良。”益斯之謂矣。天不祚晉，方啟戎心，越石區區，獨御鯨鯢之銳，推心異類，竟終幽圄，痛哉！士稚葉跡中興，克復九州之半，而災星告釁，笠轂徒招，惜矣！贊曰：越石才雄，臨危效忠，枕戈長息，投袂徼功，崎嶇汾晉，契闊獯戎。見欺段氏，於嗟道窮！祖生烈烈，夙懷奇節。扣楫中流，誓清凶孽。鄰醜景附，遺萌載悅。天妖是征，國恥奚雪！
祖逖北伐戰爭，是中國戰爭史上第一次北伐。雖未有劉裕“金戈鐵馬，氣吞萬里如虎”和岳飛“直搗黃龍”的氣勢，也未能像朱元璋那樣一統中華。但祖逖的北伐可以說是比較成功的，由於是白手起家，祖逖以戰養戰的策略是非常正確的。祖逖雖未能收復失地，但他的愛國主義精神將和宗澤、岳飛、文天祥、于謙等人一樣，永遠留在人民的心中。
