1874年2月17日，他生於美國紐約州北部一個貧困的農民家庭。為了減輕父母的負擔，他17歲就進入社會，替一家五金店老板走街串巷，推銷縫紉機成為他第一份工作。
1914年，沃森遇上了IBM前身的奠基者弗林特。弗林特是華爾街最紅火的金融家，號稱“信托大王"。他對沃森的才幹早有所聞，旋即聘任他為計算製表記錄公司的經理。到1919年，公司的銷售額高達1300萬美元，利潤也升至210萬美元。
1924年2月，已經身為公司總經理的沃森決定將公司更名為國際商用機器公司，簡稱IBM。從此，他抹去了同任何人有關聯的最後痕跡，開始了自己與IBM融為一體的後32年生涯。
1946年，IBM推出第一台電子計算器，1948年，又推出一台部分電子部分電機的數字計算機，這台機器安裝在IBM紐約總部，直接向參觀者進行實際操作表演。
1956年，剛剛完成權力交接的沃森因為心髒病去世了。而1955年是他生命中最完美的一年，公司收益7億美元，幾乎是1946年的6倍。
在他的領導下，IBM從一個中型公司成長為世界最大的企業之一，而且他還將IBM從機械製表機引入了計算機領域，並在這一領域稱霸一時。
1937年，美國經濟正在逐步恢複，IBM公司的穿孔卡片係統差不多壟斷了美國和全世界的穿孔卡片市場，銷售額高達4100萬美元，其中海外收入達到1200萬美元。
這一年，他當選為國際商會主席。他十分珍惜這一殊榮，決定攜妻子前往歐洲，出席在柏林召開的國際商業大會，參加那次大會的代表有1200多人。
大會舉行的第三天，沃森受到希特勒的接見。他們進行了一次私人談話。沃森在會見結束後接受記者采訪時，真誠地讚揚希特勒。他告訴大家，希特勒在幾分鍾前向他保證：“不會有戰爭，沒有哪個國家希望打仗，也沒有哪個國家能夠承受得起。”納粹政府還授予沃森一枚德國鷹十字勳章。這種勳章是德國剛剛設計出來的，專門頒發給那些對德意誌帝國有貢獻的尊貴的外國人。