強烈的美國個人主義像DNA一樣滲入到埃爾布裏奇·科爾比的骨髓。他總是自豪地將自己的血統追溯到1630年清教徒律師約翰·溫斯羅普所指揮的11艘航船，船上有700多名逃離英國宗教迫害的移民。4月8日溫斯羅普指揮的“阿貝拉號”船從懷特島啟航，在潮濕、寒冷的船艙中，安東尼和蘇珊娜·科爾比縮成一團。安東尼大約於1605年出生在塞姆普靈漢姆附近的林肯郡——林肯伯爵的領地，當地人的名冊記載著他的名字。蘇珊娜·哈頓·科爾比，踏上旅程的時候年僅22歲，是被列為“索爾茲伯裏古老家庭”中的女兒之一。
6月13日，“阿貝拉號”船在塞勒姆登陸。溫斯羅普在肖馬特半島建立了他的馬薩諸塞灣殖民地，這是繼詹姆士頓和普利茅斯後，英國的第三個殖民地，也就是後來的波士頓。安東尼作為第一教會的成員，一個自由人，與他的妻子在波士頓生活了三年，然後向西遷移到了劍橋的布拉圖街，並在那裏擁有了兩所房屋和六英畝的土地。1639年，他賣掉了在劍橋的產業，搬到了東北部，在靠近馬薩諸塞州海岸的索爾茲伯裏和埃姆斯伯裏開辦種植莊園並獲得成功。1660年去世後，他給妻子和七個孩子留下了一筆較為豐厚的遺產。
科爾比的後代一直居住在馬薩諸塞州，從事的行業也是三教九流，包括幾個種植園主、一名酒吧老板、一名鐵匠、一名印第安鬥士、數名參加過美國獨立戰爭的軍人、幾名造船商、幾名廢奴主義者和一名銀行家。根據家譜記載，還有一名“欺淩良家少女”的敗家子。科爾比家族在第四代的時候出現了第一個知識分子，出生於1855年的查爾斯·愛德華茲·科爾比。小時候是個神童，對電學和化學有著濃厚的興趣，曾留學海外，最終在紐約哥倫比亞學院成為著名的有機化學專家。他的學術生涯前途可謂一片光明，卻不幸患了腎病而英年早逝，享年42歲。身後留下了妻子艾米麗·琳恩·卡林頓·科爾比和一個兒子、兩個女兒。這位年輕的寡婦是位強悍的新英格蘭人，在紐約亨特學院的招生辦公室找到一份工作，精打細算地將孩子們撫養成人並讓他們接受了教育。