在達爾文的科學考察之前，澳大利亞還發生了很多事情。澳大利亞的第一批殖民者是英國的罪犯和士兵，包括564名男性、192名女性罪犯和大約200名士兵。他們在植物灣登陸，但是殖民地長官菲利普船長認為這裏不適宜居住，於是下令搬到悉尼附近的傑克遜港。
船上還帶來了牛、馬、羊、豬和一些家禽，以及農作物種子、農具。一開始，他們發現想要維持生計非常困難。後來又來了更多的罪犯，很多年後，他們才知道如何耕種土地並舒適地定居下來。
1793年，一些不是罪犯的人也開始前往新南威爾士，在那裏得到了土地和食物。很快，悉尼發展起來了。19世紀初，那裏已經有了學校、教堂、劇院，還出版了一份報紙。
悉尼幾英裏外的內陸是一片山脈，很長時間以來，這些山脈阻止了人們去探尋內陸究竟有什麽。1809年麥格理船長成為總督之後，就帶領人們在山區開辟了一條小路，從而發現了遠處肥沃的牧場。有一位軍官向人們展示那裏是牧羊的好地方，於是殖民者紛紛湧向了新的土地。
澳大利亞的其他地方，北部的昆士蘭、南部的維多利亞，以及西澳大利亞都變成了收容罪犯的殖民地，因此，這些地方在某些時候麵臨著巨大的危險。管理第一批罪犯的方式完全不同於普通的殖民者。白天，他們在戶外幹活，蓋房子、耕地、牧羊；晚上，天黑之前他們被帶回來，之後他們睡在像兵營的房子裏，在士兵的看守下度過漫長、炎熱的夜晚，直到次日早晨到來。
有時候，表現良好的犯人會被派去給農民或者牧羊人幹活，這樣就會得到更多的自由。他們會像其他的農場工人一樣工作，然而有時候也會受到控製他們的農民的虐待。不管怎麽說，這些人生活沉悶，看不到任何希望，想要從城鎮的監獄中逃脫十分困難，但是從農場裏逃跑卻很容易，特別是偷一匹馬逃跑。後來很多這樣的人逃跑了。