實行耗羨歸公，也包含著解決紳衿與平民耗羨負擔不合理的問題。錢陳群說， “康熙年間之耗羨，州縣私征，往往鄉愚多輸，而縉紳士大夫以及胥吏豪強聽其自便，輸納之數較少於齊民”。田文鏡指責某些地方官“征收錢糧，濫加火耗，紳衿上役不令與民一體完納，任其減輕，而取償於百姓小戶”。地方官不按田糧向紳富征收火耗，把他們的耗羨銀轉攤到貧民身上，這種不合理現象的出現，是官吏在施政過程中給予紳衿的不成文的一種特權。他們還享有法定的和其他不成文的特殊權利。
清廷入關之初，依照官員品級優免該戶一定量的丁役，免除士人本身的差役和一切雜辦。地方官在收稅時，就把官員和士人稱為“官戶”“儒戶"“宦戶”,各地叫法不一，而且不斷變化，所謂“紳監衿吏戶名，朝改暮遷”,大概來講，秀才稱為“儒戶”,監生稱作“宦戶”。這些紳衿戶都享受法定的免役權。
紳衿還自行搶奪權利，雍正說“**檢逾閑不顧名節”的士人， “或出入官署，包攬詞訟；或武斷鄉曲，欺壓平民；或抗違錢糧，藐視國法；或代民納課，私潤身家。種種卑汙下賤之事，難以悉數”。
紳衿應有的徭役負擔落在小民肩上，這就在賦役問題上造成貧民與紳衿之間的矛盾重生。由此可見，貧民與維護紳衿特權的滿清政府的對立，這又是雍正即位之初的一種社會矛盾。
雍正認為政府、紳衿、平民三者的矛盾，起因於不法紳衿，就把矛頭指向他們，希圖剝奪和限製他們的非法特權，使他們同平民一體當差。雍正二年(1724)二月，下令革除儒戶、宦戶名目，不許生監包攬同姓錢糧，不準他們本身拖欠錢糧，如敢頑抗，即行重處。雍正深知地方官易同紳衿勾結，特地告誡他們認真落實這項政策： “倘有瞻顧，不力革此弊者，或科道官參劾，或被旁人告發，查出必治以重罪。”過了兩年，雍正再次嚴禁紳衿規避丁糧差役，重申紳衿隻免本身一丁差徭， “其子孫族戶濫冒及私立儒戶、宦戶，包攬詭寄者，查出治罪”。為了適應這項方針，雍正還製定了一些具體的政策。