最終是在發配南方後病死。
岳飛的第一個妻子：劉氏，她也是岳雲和嶽雷的生母。劉氏與岳飛大約於徽宗政和八年結合，這是根據岳雲的出生年月推算出來的。可惜此女不能守節忍受艱苦，先後兩次改嫁，
第二個妻子：是吳玠破費兩千緡買了一個士族女子送給岳飛。岳飛知道這事情後，沒有見這位名姝，只是讓她立在屏風後面，告訴她：我們家上上下下皆穿麻衣，吃的也只是鹹菜粗糧，您要是能和我同甘共苦就留下吧，如若不然，還是請回吧。那個女子吃吃的笑了，岳飛就把她打發回去了。
第三個妻子：李娃，在岳飛去世後的三十五年中，流放日子中的李娃，從紹興十一年到紹興三十一年，二十一年間李娃率領岳飛的子女在嶺南苦度日月。他們遭受的是對流放人最為嚴厲的編管刑，嚴格限制人身自由，需要沒月到監管人處呈身。最終是在發配南方後病死了。
1、岳飛妻子：李娃。
2、李娃（1101年-1175年），字孝娥，宜興（今江蘇宜興）人。公元1130年春，岳飛在宜興張渚娶李娃為妻。
3、李娃是南宋抗金英雄岳飛第二任夫人，岳飛夫婦倆感情也是極好，李娃可以說是岳飛的賢內助，她聰穎賢惠、有膽有識，她日夜協助岳飛佈置軍事，受到將士們的讚譽。如此德才兼備的女子，也十分受朝廷賞識，從李娃的封位便可得知。岳飛遇害後，與嶽雷等流放岑南二十年。
岳飛像
嘗軍行遇雨，武穆下馬徒步行，僚屬皆從。至一廟宇……廟旁有山險峻，武穆問曰：“諸公識黃龍城乎？其城若此山之高。某舊能飲，嘗有酒失，老母戒某勿飲，主上亦命戒之，某自此不復飲。他日至黃龍城，當與諸君痛飲。”
【解說】
《金佗續編》：南宋岳珂撰。正編28卷，續編30卷，系岳飛傳記的資料彙編。岳珂系岳飛之孫，為其祖岳飛辨冤而作。本書蒐集岳飛的詩文、表奏、戰報、高宗的御札等原始資料，旁及傳記佚事等。岳珂別業在嘉興金佗坊，故以名書。
《宋史·岳飛傳》亦有“金將軍韓常欲以五萬眾內附。飛大喜，語其下曰：‘直抵黃龍府，與諸君痛飲耳’”記載。
岳飛（1103～1142年），字鵬舉，相州湯陰（今河南湯陰）人。南宋初年的抗金名將，家貧力學，好《春秋左氏傳》及孫武、吳起兵書，少年從軍。紹興十年（1140年），金人再度南侵，岳飛任少保兼河南、北諸路招討使，大敗敵兵，進軍朱仙鎮（在今河南開封市南）；秦檜恐飛阻梗和議，一日內降十二道金牌召還。次年以“莫須有”之罪殺害。作品多見於岳珂《金佗粹編》。《宋史》卷365有傳。
岳飛曾“豪於飲”而有酒失，其母及高宗趙構都讓他戒酒，他也聽從了勸告，立即斷了酒，但他卻發下誓願：“直搗黃龍府（金國的都城），與諸君痛飲耳！”戒酒能斷，是大丈夫，而“與諸君痛飲耳”更充滿英雄豪情。