與這些例子相比，武家的遷徙一般本人並不情願，大多是外在壓力下的結果。然而在最終讓農村變得寂寥、都市變得優雅華美上，其作用遠超商人與工匠的離村，而且迄今的大規模人口變動的開端，也正在於此。當然，之前也有“番役”①,以及一年數次的拜禮之日，和平時期其往來也頗頻繁。但在其家眷還生活在村裏、自己也從事農業勞動的監督之時，武士既有地主的威望，又能享受山野的自由，而農民也能得到理解，使役的次數較少，並且可以朝夕身處鄰人之間，比較愉快地從事勞動。等到武士全都被強製居住於城主周圍後，城下町興盛起來，而武士的風氣卻衰弱下去。不到幾代人的時間，他們的生活方式便發生變化，“知行地”②隻被視為交納“年貢米”的百姓的居所，在很多藩國，甚至其計算也交給住在城裏的“勘定方”①,這樣就與領“扶持米”②沒有區別了。被分配到這樣的主人家裏做工而離村的村民，實在悲慘。如果藩國麵積大，來回路費也會十分驚人，如果是被叫到江戶，情況就更糟。
無論多麽古老的慣例，也有須得改變的時候。如果希望在勞務的負擔上實現公平，那就隻能像屢屢在各藩的法規上能夠見到的那樣，規定對於“百姓”一名，一個月需有一人到“地頭”家服役③。但如果是這樣，時間便全花在了路上，不可能適應陌生的都市生活。於是由村裏商量，盡量選出一名機靈的代替其他人連續服務半年到一年的情況漸漸增多。其中也有人被叫到江戶，不得不在預料之外體驗都市生活，從而漸漸遠離農業。江戶時代初期各藩宅邸中有很多這樣由各地前來從事雜役的人。或是大名帶著管轄地的貧困農民到都市從事土木工程的勞動。作為“年季奉公”的“仲間”“小者”,以前也盡量從管轄地的子弟中雇用那些希望安頓下來的人，但其人數較多，旅費等花銷巨大，而另一方麵，所謂“町奴”之類自由選取其主的人漸漸增加，越來越多的人覺得特地從遙遠的管轄地召集勞力在經濟上不劃算，更願意把負擔換算為現金，在需要時雇人。於是進入江戶時代後，下人、勞力的供給方法為之一變。有名的幡隨院長兵衛①的人員派遣業，便是在這種情況下開始的，而都市的勞動力管理輸給自然的傾向，不得不一再品嚐失業的苦澀這一弱點，也即將顯露。