相貌醜陋的紀曉嵐卻偏偏又碰上乾隆，所以即便他再才華橫溢，也難得到真正的重視，難以參與重大的政治決策，隻能以文字安身立命。紀曉嵐隻能做乾隆的詞臣，而難以做乾隆的寵臣、重臣。紀曉嵐一生中兩次任鄉試考官，六次任會試考官，三次任禮部尚書，均是這種際遇的體現。這種官職並無重權、實權，隻是大清朝廷的擺設而已。
乾隆十九年（1754年）至三十三年（1768年），是紀昀在翰林院春風得意、酣酒高歌的日子。這時與他交遊的朋友中有王鳴盛、錢大昕、朱筠、盧文弨、王昶等。乾隆二十年，紀昀在北京歙縣會館拜見了戴震。兩人一見如故，並折節與交。
乾隆三十三年（1768年）六月，據《清高宗實錄》記載，兩淮鹽政盧見曾因有營私貪汙行為而被革職查辦。紀昀則因為通風報信而被發配烏魯木齊。這件事《清朝野史大觀》的記載更為生動有趣：當時紀昀得知消息，想預先通知盧家。但又怕引火燒身，不敢輕易傳話、寫信。他想出了一個絕妙的辦法，把一點食鹽和茶葉封在一個空信封裏，裏外未寫一字，星夜送往盧家。盧見曾從中終於悟出其中的隱語：“鹽案虧空查封”。後經劉統勳等人的嚴密偵緝，紀昀終於敗露，同年十月，被遣戍烏魯木齊贖罪。
在乾隆三十六年六月奉召回到京城之前，紀昀在新疆呆了兩年多。在這兩年多時間中，其大兒子紀汝佶病亡，愛妾郭彩符在紀昀東歸不久也撒手人寰。在這段日子裏，紀曉嵐對人生有了更深切的感悟，體會到了君主的無常、官場的險惡與世態的炎涼。一種人生的空幻感與彌漫感傷的情緒時時縈繞於心際。
兩年的大漠風沙沒有使他意誌頹唐，卻讓他更加參透了人生的三味，讓他變得更豐厚、更紮實了。一百六十首《烏魯木齊雜詩》，洋溢著他的才情，也蘊藉著他對人生的大思考。