在“最小的自我”①這篇強調當代移民遷移的中心和經驗的文章和最近的兩次訪談(一次是和陳光興的訪談，另一次是與酒井直樹的訪談)中，②霍爾描述了自己作為一名在20世紀50年代移民到英國的牙買加人的經曆，特別強調這些經曆對於塑造他的身份感所起到的作用。如霍爾所指出，通過新的身份敘事被迫永久地從原來的地方流離失所和被迫無休止地重建自己的身份的經驗，導致了他“意識到一個事實，理論上說，早在我明白以上任意一點之前，身份從一開始就被創造出來”①這一被增強的身份建構感的起源，甚至可以較遠地追溯到霍爾在牙買加的成長經曆，那裏是一個充滿殖民和階級關係緊張的環境。比如，霍爾的父親任職於聯合果品公司，並晉升到以前隻有白人雇員的管理崗位。由於他的父親最初來自有色的、中下層階級背景這一事實，他的社會地位被進一步複雜化，而霍爾膚色更淺的母親成長於一個受過教育的中產階級種植園的環境，並認為自己是“實際上的‘英國人’”②。
正如霍爾指出，成長在“一個中下層階級家庭，一個試圖成為牙買加中產階級以及試圖成為一個英國維多利亞時代的家庭”③,很早就教育了他差異的問題。他的家庭是殖民者文化的身份而不是牙買加的文化，他們執著於種族和膚色的差異(霍爾描述了他局外人的地位，作為家庭裏最黑的成員，回憶起他的父母拒絕讓他與更深膚色的同學混在一起),意味著霍爾經曆了非常個人化的殖民主義文化的矛盾。他回憶起積極地從他的父母和他們的階級以及殖民願望中疏遠。比如，作為一個年輕的學生，當他的父母感傷舊殖民地時代的離去，霍爾卻強烈認同當時羽翼未豐的牙買加獨立運動的反帝目標。然而，與此同時，他卻在傳統的英語應試教育體製中遊刃有餘。與較窄的經典教育通常允許的範圍相比，霍爾的閱讀範圍更廣(他在學校的最後一年裏學習了弗洛伊德、馬克思和列寧的作品),他承認他“非常喜歡成為殖民地知識分子中的一員”①。從他早年，霍爾經曆了兩個非常不同的文化係統識別的緊張狀態。雖然在取得霸權主義和殖民教育體係的學術成果中，他獲得了越來越多的自信，但與此同時，他繼續對加勒比地區民族主義運動抱有興趣並且持續認同。