早期
（1886年至1910年）
阿森納於1886年由一群在東南倫敦伍爾維奇地區的戴爾廣場（Dial Square）一家名為“皇家阿森納”的武器製造所的工人所成立，初時按地區命名為“戴爾廣場”（ Dial Square）。 球隊由蘇格蘭人大衛·丹斯金（David Danskin，球隊第一個使用的足球為他所提供）和傑克·坎布爾（Jack Humble）為班主；隊員中的前諾丁漢森林門將弗雷德·比爾茲利（Fred Beardsley）和摩里斯·巴迪斯（Morris Bates）獲前俱樂部送贈紅色球衣，這便是阿森納使用紅色球衣的原因。
戴爾廣場的首場比賽於1886年12月11日舉行，在惡犬島（Isle of Dogs）的空地對東部流浪隊（Eastern Wanderers），結果大勝6比0。 12月25日聖誕日，球隊易名為“皇家阿森納”（Royal Arsenal）。最初，球隊在普林斯迪公地（Plumstead Common）比賽，但很快便更換了主場，先搬至普林斯迪（Plumstead）的體育人運動場（Sportsman Ground），1888年搬到附近的曼諾運動場（Manor Ground）。由於不滿曼諾的差劣設施，俱樂部於1890年再搬至就近的恩域塔運動場（Invicta Ground），但是恩域塔的租金太貴，3年後便返回曼諾。
在這段期間，皇家阿森納開始贏得一些本地的獎項，例如在1889/90球季贏得的肯特高級杯（Kent Senior Cup）和倫敦慈善杯（London Charity Cup），1890/91球季則贏得倫敦高級杯（London Senior Cup），在1889/90球季中，球隊更首度打進足總杯。可是，阿森納的規模和英格蘭北部球隊的差距漸大，而阿森納的業餘球員面臨被那些金錢掛帥的職業球隊挖角。1891年足總杯，德比郡與阿森納作賽後，便嘗試以職業契約簽入兩名阿森納球員。有見及此，皇家阿森納在同年決定轉型為職業俱樂部。同時，球隊亦改名為伍爾維奇兵工廠（Woolwich Arsenal）。
伍爾維奇兵工廠轉會職業隊後，引來一些南部的業餘俱樂部不滿，俱樂部被禁止參加倫敦足球協會（London Football Association）舉辦的本土賽事。伍爾維奇兵工廠只能參加友誼賽和足總杯，球隊嘗試自行組織南部的足球聯賽，但最終失敗。球隊的前途被看淡，直至1893年，賽會邀請伍爾維奇兵工廠加入競逐聯賽，球隊才有一線生機。阿森納成為南部首支參加聯賽的球隊，首季參加乙組作賽。為了表達對球隊轉為參加職業聯賽的不滿，俱樂部中部份業餘球員，拒絕轉為職業，並希望成立一支工人隊僅代表皇家阿森納，結果另立一支名為“皇家軍械工廠”（Royal Ordnance Factories）的短命球隊。
伍爾維奇兵工廠已在乙組作賽11個球季，在哈利·巴梳爾（Harry Bradshaw）出任領隊之前，逐漸爬升到聯賽榜的中游位置。巴梳爾簽入大量球星，包括門將占美·艾殊確（Jimmy Ashcroft，阿森納首位英格蘭國腳）和隊長占美·積遜（Jimmy Jackson），成功在1903/04球季升班至甲級。但巴梳爾卻在1904年5月在球隊升級後轉至富勒姆。儘管在足總杯有很優秀的表現－1905/06及1906/07球季同樣打入四強，但阿森納始終沒能力挑戰聯賽錦標，在1904年至1913年這十年之間，只有兩次能以頭十名內完成球季。
戰績不好的主因，就是球隊面臨財政危機，儘管20世紀初期的足球市道好轉，但俱樂部在地理上被孤立，處於普林斯迪（倫敦一個偏遠市郊區）的一個人口稀少的地區，意味著球迷不多，收入亦相應地低。為免經濟困難和負債，伍爾維奇兵工廠被逼賣掉陣中部份球星，包括艾殊確、添·高文（Tim Coleman）和貝特·費利文（Bert Freeman），慢慢地跌下聯賽榜尾，這反令球隊的經濟問題更嚴重。升上甲級的首個10年完結後，曼諾的平均觀眾只有11,000人，只是1904年時的一半多一點。結果，俱樂部接近破產，1910年選擇自動清盤。幸好，球隊後來獲一群商人組成的財團注資，而大股東就是地產大亨亨利·諾里斯爵士，他同時是富勒姆的主席。
遷至海布里
（1910年至1925年）
諾里斯擁有這方面專業的知識，很快便知道伍爾維奇兵工廠的地理位置是問題所在，他極想改善球隊的收入。首先，諾里斯嘗試將伍爾維奇兵工廠和他的球隊富勒姆合併。但由於聯賽賽會不批准，諾里斯便放棄合併計畫，他想盡辦法，希望能將球隊搬至別處，最後，他找到北倫敦的海布里。儘管伍爾維奇的球迷和海布里的居民極力反對，諾里斯仍堅持搬遷。據報他花了12.5萬英鎊（按RPI的通漲率計算，此價錢相當於2005年時的820萬英鎊）以興建新球場，地址為一家神學院的體育場，由阿奇巴爾·雷奇設計。伍爾維奇兵工廠在1912/13年球季位列聯賽榜末，降班至乙組聯賽，而1913年的休季期，正式遷至海布里球場 1914年4月，他們放棄球隊名字中的“伍爾維奇”，雖然官方名字為阿森納（Arsenal），但報章將其命名為特爾·阿森納（The Arsenal）。
1919年，俱樂部在爭議下重返甲級聯賽。原來球隊在1914/15球季乙組聯賽中只能以第6名完成，但該屆是第一次世界大戰前最後一季，而且，因得失球差計算錯誤，其實球隊是以第5名完成的，至1975年才獲得平反。賽會加上在一戰後將甲級聯賽的參賽球隊由20隊擴展至22隊，新加入的兩隊球隊由聯賽常務會議（AGM）投票決定。選出的第一隊是原本在甲級聯賽位列19、需要降班的切爾西。餘下一個名額由熱刺（甲級聯賽榜末）、伯恩斯利和伍爾弗漢普頓流浪（乙組聯賽分別排名第三和第四）爭奪。但賽會反而選擇乙組第5名的阿森納，原因是具有歷史價值，而諾里斯則以球隊“長期在足球聯賽服務”，和為南部的首支加入聯賽的足球隊為理據。賽會接納，投票方面，阿森納以18比8一面倒的票數壓過鄰會熱刺， 此事件後來速進了兩隊的怨仇，兩隊自此成為宿敵。熱刺方面則宣稱諾里斯和賽會進行秘密交易或者賄賂了賽會，指諾里斯串通他的朋友約翰·麥肯拿（John McKenna），而麥肯拿是利物浦和聯賽賽會的主席，有傳他極力向常務會議有投票權的成員推薦阿森納升班。
雖然諾里斯的一些和這次的升班無關係的商業交易啟人疑竇，但無確實的證據證明阿森納有犯錯。1929年，諾里斯突然辭去主席一職，並離開俱樂部，足球總會指他因商業不正當行為內疚而付上的責任。後來，他被發現濫用他的費用帳戶，以及侵吞了售賣隊巴的收入。自1919年升班以後，直至現在這刻，球隊一直保住甲級的一席位置，這是英格蘭足球壇上逗留在頂級聯賽最長的紀錄。
遷往海布里之後，球迷大幅增長，阿森納在海布里的首季便錄得23,000入座率，比在曼諾時高出超過一倍，自升班之後，球隊的經濟大為好轉。可是，阿森納重返甲級時並非立即取得成功。在萊斯利·禮頓（Leslie Knighton）的帶領下，球隊從未突破過前九名，而1923/24球季更頻臨降班邊緣，排名第19名的阿森納，僅僅比“降班區”多出一分之微。1924/25球季，阿森納的表現並未見好轉，僅以第20名完成（儘管球隊反常地和降班區有7分距離），諾里斯忍無可忍，最終在1925年5月將禮頓解僱了，並聘請哈德斯菲爾德的領隊赫爾伯特·查普曼代替他的位置。
查普曼時代
（1925年至1934年）
查普曼改良了俱樂部大部份的練習技術，包括將訓練現代化、引入物理療法和食物療法。在1928年8月，他採用有號碼印在背面的球衣。而1933年3月，他更改了球衣的顏色，在紅色的球衣加上白色袖子。查普曼堅決要求記者將特爾·阿森納（The Arsenal）中的特爾（The，冠詞一種）移去，只以阿森納（Arsenal）稱呼球隊。而他亦成功爭取將當地原名“基利士比路”（Gillespie Road）的倫敦捷運站改名為“阿森納站”（Arsenal tube station）。同時，查普曼擁有大筆資金，這是因為新球場帶來大量收入，另外，以往審慎用錢的諾里斯亦表示，他很樂意花大量金錢來羅致新球員。
查普曼的首個收購為效力桑德蘭的老將查理·布查（Charlie Buchan），除在球場上作出貢獻，布查在場外亦有所為。在1925年10月，俱樂部以0比7大敗予紐卡斯爾聯之後，布真提議改變原有的陣式，以適應越位放寬後的踢法，他調整了阿森納的陣式成為“WM陣式”，將中衛球員移後以加強防守，而邊衛則移前至翼鋒。經歷一段時間後，查普曼改良陣式，加強前鋒線的步速，翼鋒切入內線，成為一名富創造性的控球中場球員。
在查普曼執教的首季，阿森納取得了第二名，是歷年來最好成績，但這只是曇花一現，之後的幾季只能在中游位置浮沉，原因是查普曼還在調整球隊的陣容，他買入幾名球員，包括翼鋒祖·侯美（Joe Hulme）、前鋒傑克·林伯特（Jack Lambert）和後衛湯姆·柏加及靴比·羅拔斯（Herbie Roberts）。1926/27年球季，阿森納首次殺入足總杯決賽，僅因門將丹·劉易斯（Dan Lewis）大意將對手的一次軟弱無力的打門拍進球門而失球，以0比1敗給加迪夫城。這是足總杯歷史上唯一由非英格蘭球隊奪得冠軍。
查普曼並沒有絲毫退縮，繼續打造自己的球隊，簽入後來成為隊長的艾迪·夏普特（Eddie Hapgood），以及三名攻擊球員，包括大衛·傑克（David Jack）、阿歷斯·占士（Alex James）和基夫·巴斯廷（Cliff Bastin），其中以占士的表現最好，他是球隊的中場指揮官，為翼鋒和前鋒線作出大量輸送，被球員尊稱為“發動機”（ engine）。1929/30年球季，在阿森納首次打入足總杯決賽後三年，球隊再次進軍溫布萊球場，這次遇上領隊查普曼的舊主哈德斯菲爾德。決賽日上半場，德國的“ 齊柏林飛船”剛飛越球場上空“觀賽”。阿森納並沒有因此而分心，最後由占士和林伯特的進球，以2比0輕取對手，此為球隊的首個大型比賽冠軍。
不久後，阿森納再取得成功。球隊贏得1930/31年球季的甲級聯賽，阿森納和另一支勁旅阿斯頓維拉像在進行進球競賽般，但球隊的表現比維拉好。他們曾錄得多場大勝，包括7:1勝布萊克浦、7:2勝萊斯特城和9:1勝甘士比等， 保持了球隊在頂級聯賽的紀錄。結果阿森納提早兩輪賽事贏得聯賽冠軍，球隊以127個進球刷新俱樂部紀錄，雖然對手阿斯頓維拉一共射入128球（至今仍是英格蘭頂級聯賽中的進球紀錄），但仍無阻球隊奪得冠軍。
1931/32年球季，阿森納再次打入足總杯決賽，輸掉一個極具爭議性的失球，以1:2敗給對手紐卡斯爾聯。球隊先憑卜·約翰（Bob John）的進球領先1:0。其後，紐卡斯爾聯的球員大腳長傳，皮球已越過底線位置，但紐卡斯爾聯的翼鋒占美·李察遜（Jimmy Richardson）將球撈回禁區，前鋒傑克·艾倫（Jack Allen）就是這樣為“喜鵲”射入扳平一球。戰至下半場，艾倫梅開二度，為紐卡斯爾聯以2:1反勝。使阿森納的“痛苦”加劇，1931/32賽季的聯賽由埃弗頓贏得冠軍；極差的聯賽開局，意味著阿森納在餘下賽事必須拚命追趕榜首球隊，最終以2分之差落敗。
阿森納在1932/33年球季成功反彈，贏得球隊第二個聯賽錦標。阿森納雖開局較差，但其後力追對手阿斯頓維拉，4月阿森納于海布里主場以5:0痛宰維拉，鎖定聯賽冠軍。但此時查普曼入主後簽入的首批球員已開始老化，所以放眼於未來的查普曼晉升喬治·馬里（George Male）成為一隊球員，頂替湯姆·柏加的位置，簽入雷·保丹（Ray Bowden）以取代大衛·傑克。但卻為球隊帶來一個聲名狼藉的污點，就是在足總杯竟然敗給丙組北賽區的球隊華素爾，那場賽事有5名正選球員分別因受傷和感冒而無法上場，被逼以預備組球員代替，儘管球隊仍有6名正選球員，仍以0:2落敗，成為足總杯最大的爆冷。其中一名球備球員湯美·布力（Tommy Black）因魯莽犯規輸掉十二碼，使華素爾射入第二球而備受指責，在賽時完結後還不滿一星期，查普曼便將布力賣至普利茅夫。另外，前鋒查理·華殊（Charlie Walsh）亦在一周后轉會至賓福特。
聯賽三連冠
（1934年至1939年）
1933/34年球季聯賽，阿森納的開局頗為順利，但查普曼卻於1934年1月因肺炎突然逝世。雖然如此，但由代領隊祖·梳爾（Joe Shaw）帶領下，阿森納仍能衛冕聯賽冠軍。而兩名進攻球員侯美和占士卻因傷患問題大部分時間缺陣，所以該季阿森納只取得75個聯賽進球。
喬治·阿利森（原擔任俱樂部總監）於1934年夏季接任領隊一職，接任後即簽入不少新血，包括前領隊查普曼時期已經開始傾談契約的翼鋒傑克·基斯頓（Jack Crayston）和威夫·高平（Wilf Copping），以及前鋒泰特·達基（Ted Drake） 。擴軍之後，阿里遜已訂下聯賽三連冠的目標，阿森納的進攻能力在本季大大加強，新加盟的達基獨取42個聯賽進球，而球隊繼1930/31年球季之後，再次錄得多場大勝，包括7:0勝伍爾弗漢普頓流浪、8:1勝利物浦和分別以8:0大勝萊斯特城和米德爾斯堡。當時阿森納的實力很強，1934年11月，球隊共有7位球員代表英格蘭隊作賽，結果以3:2擊敗當時的世界冠軍義大利隊（亦稱為海布里之戰），自今仍保持一支俱樂部最多球員同場為英格蘭國家隊上陣的紀錄。
阿森納不斷的成功吸引了越來越多支持者。球隊的主場海布里球場被完全重建，建於1913年由列治設計的看台被拆卸，取而代之的是現代的裝飾藝術運動看台，直至現時還有部分保存－－在東看台的立面，被列入二級歷史建築（listed building），而兩面的立面仍被保留，成為將海布里重建成住宅大廈的一部份。同時，“北岸”（North Bank ）和“大鐘”（Clock End）露天階梯看台則加上頂蓋。重建後的球場的最高入座率是於1935年3月9日對桑德蘭，有73,295人入場觀賽。 阿森納十年來一直為英格蘭足球的“龍頭大哥”，在1935/36年賽季，球隊憑達基的進球以1:0擊敗謝菲爾德聯，第二次贏得足總杯獎盃。但是，自從取得1934/35年賽季冠軍之後，阿森納在聯賽的表現褪色，自阿歷斯·占士退休後，俱樂部沒有一個能頂替他的接班人。另外，好幾位主力球員如靴比·羅拔斯和祖·侯美等受到長期傷患困擾，令球隊的實力減弱。雖然如此，但球隊仍能在1937/38年球季的最後一周壓過伍爾弗漢普頓流浪贏得冠軍，為十年來的成功時期寫上完美句號。
二次世界大戰
（1939年至1945年）
第二次世界大戰於1939年爆發後，所有英國的頂級足球賽事都暫停，而1939/40年球季亦取消了。海布里球場被英國軍隊徵用作空襲警報站以放置阻攔氣球（barrage balloon）在南看台之後。在倫敦大轟炸其間，北看台被炸彈破壞了頂蓋，炮火把座位燒成碎片。海布里關閉以後，阿森納借用同市宿敵熱刺的白鹿徑球場比賽。戰期的賽事並沒有官方統計，球隊只會參加地區成比賽以及不會完成整季賽事，很多足球員加入軍隊成為訓練員或指導員，他們會離開自己的俱樂部一段長時間，所以他們間中會在其他俱樂部中作賽。阿森納在戰時贏得1942/43年球季的南部戰爭杯足球聯賽（Football League War Cup South）以及1939/40年、1940/41年、1941/42年和1942/43年球季的倫敦或南部（London or Southern）聯賽冠軍。
1945年11月，聯賽仍然暫停，阿森納友賽蘇聯球隊莫斯科戴拿模。由於球隊還有不少球員服兵役，阿森納的球員已用盡，並加入了6名“訪客”球員包括史丹利·馬菲斯（Stanley Matthews）和史丹·摩頓遜（Stan Mortensen）等，戴拿模方面則自稱球隊是對戰英格蘭國家足球隊，但該隊“英格蘭隊”其中三名球員是威爾斯人。此時，戴拿模亦借用莫斯科中央陸軍的球員威斯活特·保布夫（Vsevolod Bobrov） 來增強實力。這場球賽在白鹿徑舉行，有很厚的霧，整體來說是一場華麗及高水平的賽事。阿森納在半場領先三比一之下，竟被戴拿模反勝4:3。
賽果雖然獲普遍承認，但其後發現部份數據計算有誤，即是對進球者的身份有爭議。英格蘭有報導指戴拿模可能同場有12個球員在陣，以及在落後時嘗試向球證施壓以令球證偏坦他們，前蘇聯方面則指控阿森納在球賽中不斷犯規，又宣稱阿森納領隊喬治·阿利森下注球賽（但有關人士後來收回有關指控）。比賽過後針鋒相對的言論，吸引了英國大作家喬治·奧威爾於1945年發表演說“體育風氣”（The Sporting Spirit），他認為所謂的體育精神（sportsmanship），只是一場沒有子彈的戰爭（war minus the shooting）。 由於濃霧遮蔽了大部分比賽，加上言語障礙和冷戰早期的互相猜疑，恐怕難以找出真相。
戰後時期
（1945年至1966年）
二戰奪去了阿森納9個球員的生命，為眾列強當中最深受其害的，戰爭亦縮短了幾位球員的職業生涯，包括巴斯廷和達基。此外，興建海布里的借貸和維修戰爭破壞加重了球隊的財政負擔，聯賽於1946年復辦後，阿森納不斷努力掙扎。成績方面，阿森納在1945/46年足總杯第三圈兩回合計居然大敗西漢姆聯1:6。而戰後首屆的1946/47年聯賽，阿森納只能以第13名完成，是17年來表現最差的一季。 喬治·阿利森在球季完結後退休，由他的助手湯姆·惠特克接任，惠特克為球隊長期服務，他曾在前領隊查普曼任教時擔任訓練員。
惠特克接手後，球隊表現以180度大轉變，取得1947/48年聯賽冠軍，隊長祖·梅沙的穩健防守，加上兩名射手列·劉易斯（Reg Lewis）和魯尼·盧基（Ronnie Rooke）源源不絕的進球，使球隊從十月開始一直將領先優勢帶到季尾，最終以7分差距贏得冠軍。可是，阿森納部份主將的年紀漸大，其中祖梅沙、盧基、丹尼斯·甘頓（Denis Compton）和萊斯利·甘頓（Leslie Compton）等主將的年齡已過三十，倚重這些球員絕不能令球隊得到長期的成功。所以，惠特克著手於新球員，買入道·列殊文（Doug Lishman）、阿歷士·福布斯（Alex Forbes）和基夫·荷頓（Cliff Holton）等年輕球員。雖然以阿森納的陣容沒有能力挑戰聯賽錦標，但憑几名新力軍，球隊贏得1949-50年足總杯冠軍，其中列·劉易斯於決賽梅開二度，使阿森納在決賽以2:0擊敗老牌勁旅利物浦。
1951/52年球季，阿森納差點便能贏得雙料冠軍，但最後居然空手而回，球員不斷的受傷和季尾極嚴密的賽程等種種原因，使阿森納連輸兩場關鍵比賽，包括聯賽的最後一場作客老特拉福德球場對最終盟主曼聯 以1:6慘敗，和托特納姆熱刺同分，但因得失球差不及對手，最終只能以第三名完成賽季。一周之後，阿森納於足總杯決賽對戰紐卡斯爾聯，有數名傷勢復原的球員為趕忙返回一隊陣中，威利·班尼斯（Walley Barnes）於35分鐘便因扭傷膝蓋而退下火線，但換人名額已用完，所以只能以10人應戰。後來荷頓、當·魯柏（Don Roper）和雷·丹尼爾（Ray Daniel）亦相繼傷出，最終只有7名球員在陣。紐卡斯爾聯因人數上的明顯優勢，最終憑喬治·羅比度（George Robledo）的進球一箭定江山，以1:0擊敗阿森納，取得冠軍。
儘管上季最終的成績令球員們不快，但阿森納在1952/53年球季立即洗脫上賽季的陰影，在最後一輪和普雷斯頓同分，但因得失球差勝過對手而驚險贏得冠軍。在賽季的尾二場，阿森納作客對普雷斯頓，卻以0:2淨敗，此時奪冠的主導權落在普雷斯頓身上。但在聯賽末場，阿森納在落後下反勝伯恩利3:2，以得球率0.099球壓過普雷斯頓贏得冠軍。但這個聯賽冠軍，為17年來阿森納最後一個錦標。領隊湯姆·惠特克於1956年10月逝世，使球隊開始衰落。
由於俱樂部開始衰落，阿森納發現自己沒能力留住陣中球星。除了威爾斯門將傑克·基爾西（Jack Kelsey）之外，大部份球星包括大衛·赫特（David Herd）等都離隊他投，而繼任領隊的包括如傑克·基斯頓（Jack Crayston）和喬治·史雲甸（George Swindin）等因未能繼承惠特克的成就而黯然離開。阿森納在這段時期表現明顯比之前差，只取得一次季軍（1958-59球季）和兩次第五名（1955-56球季和1956-57球季），阿森納往往在聯賽中游位置浮浮沉沉。在足總杯方面，阿森納的表現也不好在那裡。自1951-52球季打入決賽之後，阿森納便連準決賽也未進過，直至1970/71年球季才中止這個厄運。可悲的是，在阿森納衰落的時期，偏偏為同市宿敵托特納姆熱刺冒起之時，熱刺隊在1960/61球季取得雙料冠軍。
1962年，阿森納由球員時代曾為英格蘭和伍爾弗漢普頓流浪擔任隊長及取得極大成功的比利·懷特（Billy Wright）出任新領隊，但他欠缺出任領隊或教練的經驗和在俱樂部居先的經驗。像兩位前任領隊一樣，懷特並不是非常成功，雖然阿森納在懷特的帶領下首次進入歐洲賽（在1962/63球季聯賽取得第7名後打進1963/64年歐洲博覽會杯）。1965-66年，為懷特帶領阿森納的最後一屆賽事，阿森納竟以14名完成，為俱樂部36年來最差的一次。同時，這屆賽事亦打破了海布里球場入場人數的新低－－1966年5月5日對利茲聯的聯賽只得4,554名球迷入場觀賽 英格蘭在舉辦1966年世界盃並取得冠軍的隊伍中，只有喬治·伊斯鹹（George Eastham）入選大軍名單，全程居然一場賽事也沒有上陣過。在1966年夏天，阿森納辭退了懷特， 並由物理治療師貝蒂·美爾接任俱樂部領隊一職。俱樂部的管理者並沒有想到，阿森納會在美爾的調教下取得重大的成功，在未來5年他帶領俱樂部贏得多次聯賽甚至歐洲賽的冠軍。
