1921 年12 月底，列寧得了重病，暫時離開了領導崗位。
1922 年4 月，斯大林被一致選為俄共（布爾什維克）中央委員會總書記，負責黨中央的日常領導工作。黨中央政治局委員有列寧、托洛茨基、加米涅夫、克列斯廷斯基和斯大林，斯大林是五個委員之一。斯大林又是組織局委員，負責黨的組織工作。斯維爾德洛夫去世以後，斯大林主持書記處工作。和托洛茨基、季諾維也夫和加米涅夫等人相比，斯大林資曆比較淺，年齡比較輕，隻上過中學，但他同樣是一位老布爾什維克，鬥爭經驗豐富，對革命無限忠誠，在革命的經曆中功績突出，犯的錯誤卻很少。
當時，托洛茨基負責軍事工作，季諾維也夫負責共產國際的工作，加米涅夫負責人民委員會的工作，斯大林負責黨的工作，各有分工，互相配合。
幾十年以後，有些人說列寧“不同意”斯大林擔任總書記，斯大林“背著”列寧作出了決定。曆史檔案證明，參加會議的人也證明，是列寧親自提名斯大林擔任黨的總書記的。
擔任總書記以後，斯大林用了很大精力整頓黨的各級組織，挑選和安排幹部，把一批批經過國內戰爭考驗的年輕幹部充實到各級領導崗位。
領導崗位上出現了許多新幹部，例如莫洛托夫、古比雪夫、基洛夫、伏羅希洛夫、奧爾忠尼啟則、卡岡諾維奇、米高揚等人，他們都經曆了十月革命和國內戰爭的考驗，在重大的問題上擁護列寧，支持斯大林。
斯大林用很大的精力繼續處理複雜的民族問題，他處理有些問題過於簡單化，打擊麵過寬，引起了列寧的不滿和尖銳的批評。在起草蘇聯憲法時，列寧對斯大林的一些意見有不同看法。在對外貿易問題上，斯大林主張放開，而列寧主張國家集中控製。這些都是工作分歧，也暴露了斯大林的一些弱點：他對同誌態度粗暴，和一些同誌發生過激烈的爭論，有時是爭吵。處理問題比較簡單，比較熱衷於通過行政手段，而不是反複的研究討論取得一致。對這些問題，列寧深入地進行了思考，想得很多、很深、很遠。