阿倫_艾弗遜的母親安一直都熱愛籃球，但阿倫不是。她回憶說：“記得我第一次帶他去學籃球，那年他才9歲，哭著喊著就是不想去，因為這是我強迫他做的事情。”
艾弗遜更喜歡的運動是橄欖球———一種更粗獷的運動。“我那時候真的是一百個不願意，我覺得籃球太‘溫柔’了，媽媽甚至還給我買回了價值不菲的喬丹鞋，她命令我說，‘這是你的籃球鞋，今天你必須去練習籃球。’我說，‘噢，我討厭籃球！’我哭著被她拖到了籃球場，在那兒我卻驚奇地發現，我的橄欖球隊友們都在籃球場上！那天回家後，我十分開心，連連說，‘謝謝你，媽媽！’從此，我就開始了籃球生涯。”
不過，艾弗遜仍然說：“我一直惦記著橄欖球。一開始我根本就沒有打NBA的念頭，我的目標是成為職業橄欖球隊員。”
有些人要花好長時間才能找到屬於自己的運動，有些人能馬上做到，艾弗遜就是後者，盡管他的身材對於籃球來說矮了點，但他很快就喜歡上了籃球，並且開始受到關注。
那時候，艾弗遜就讀於弗吉尼亞州漢普頓的阿伯丁小學，他就在附近的安德森公園裏打球。“在那裏，我常常觀看我的叔叔及其朋友們的比賽，真是酷斃了！我必須一放學就去練球，要不到了太陽下山時場地就被叔叔他們霸占了。”艾弗遜很想加入叔叔他們的比賽，但總是遭到拒絕，“我猜想，是他們認為我技術不夠好，或者是身材不夠高吧。”
這一切，在艾弗遜上9年級時完全改變了。當地早已傳聞四起，說這個天才籃球少年運球時好似一陣風，他要得分時無人能敵。阿倫_艾弗遜成了當地家喻戶曉的人物。“那時，每個教練都想把我招入他的球隊，於是他們互相威脅說阿倫已經是自己球隊的人了。這種感覺好極了，在球場上連對手都會和我打個招呼，因為我可能成為他們的隊友。”