在2000-01賽季總決賽第二場比賽，艾弗遜率領的76人輸給了湖人。比賽前一天是他26歲生日，可他沒能用勝利來慶祝。在接受采訪時，艾弗遜抱著他的兩個孩子：5歲的女兒蒂娜和2歲的兒子杜斯。“我的兩個小鬼，很淘氣。我愛他們，我希望他們比我當年過得好，我還希望他們擁有鋼鐵般的意誌，就像我一樣，能夠渡過生活中的難關。”這是艾弗遜對孩子們的希望。
生活給了艾弗遜太多考驗。當他在喬治城大學打上主力時，母親和妹妹還住在原來的小破屋裏。“當你取得一定成就時，也意味著更大的責任和壓力。家是我最珍惜的東西，我愛他們，我必須為他們而努力。”艾弗遜說。家庭似乎總是困擾著他，生父離他而去，養父又被判刑入獄，他成了家裏唯一的男人。接著，他又入獄一段時間，然後就去了喬治城大學，母親和兩個妹妹一直住在漢普頓的廉價公寓，妹妹莉薩的病更是快叫家裏破產了。
1995年，艾弗遜又多了一項責任。女兒蒂娜出世了，他當了爸爸。這一切，促使他產生了提前加入NBA的念頭：“對我來說，家庭意味著一切，我不能看著它日漸沒落。我必須挽救它，我珍愛我的家。”
在喬治城，艾弗遜生平第一次體會到了與同齡人在一起的快樂，但他知道，該是告別的時候了，他必須把家庭責任放在第一位。NBA的商業開發引誘著眾多球員早日加入百萬富翁行列，在艾弗遜升入大二時，就有謠言說他要參加NBA選秀。但在此之前，喬治城大學還沒有一個人在畢業前加入NBA，其中包括1985年的狀元秀帕特裏克_尤因、1987年第四順位的雷吉_威廉姆斯、1991年第四順位的穆托姆博和1992年的榜眼阿隆佐_莫寧。
湯普森教練知道，艾弗遜有那個能力，但不希望他過早成為職業球員。“如果艾弗遜要去NBA，他一定會征得我的同意。可現在我們還沒下決定，真不知你們媒體是如何知道的？”湯普森認為，媒體的炒作會增加艾弗遜的壓力：“這對艾弗遜很不公平，一個理應享受美好大學生活的孩子，卻要麵對這樣的難題。”現在，艾弗遜的朋友、奉承者和媒體都在勸說這位年輕人：加入NBA吧，那裏有更多回報。湯普森看到了這些，決定保護艾弗遜，他說：“我相信艾弗遜的決定不會讓我吃驚，沒有什麽值得擔心。艾弗遜要走，也會是在我同意之後。也許明天我就會告訴他是時候了，也許明年。”