柔克義於1853年4月1日出生在美國費城的一個律師家庭，但第二年父親的去世改變了他的命運。9歲那年，他隨母親移居法國巴黎，開始就讀於當地一所中學。中學畢業後，柔克義以名列第九的成績考入法蘭西第二帝國中央工藝學院。1871年，通過美國駐法國大使的幫助，進入法國聖西耳軍校學習。在1871—1873年就讀聖西耳軍校期間，柔克義除學習軍校課程外，還師從在法蘭西學院任教的哲學和曆史學家、閃美特語言學家歐內斯特·勒南(Ernest Renan)學習東方語言，並在勒南的引導下，閱讀了法國神父古伯察(M.Huc)的《韃靼西藏旅行記》,萌發了遊曆西藏的念頭。此外，他還在課餘前往法國國家圖書館，在法國東方學家裏昂·費裏(Lenon Feer)的指導下研究西藏問題。1873年軍校畢業後，柔克義又在阿爾及利亞法國外籍兵團服役三年，於1876年退役並返回美國，與卡洛琳·泰森喜結連理。1881年又舉家前往瑞士投奔其母親，重新潛心學問。1883年，柔克義出版了他的第一部藏學著作，把一部藏文佛經《自說品》(Vdonvargx)譯成英文出版。次年，他又把另一部藏文佛經《解脫經》(Pratimoksbasutra)譯為法文出版，並根據藏文資料，編譯出版了《佛陀的一生》。這些研究成果的出版，使得柔克義在年僅30歲時便在西方漢學界嶄露頭角。
懷著對中國特別是西藏的興趣，柔克義自1883年開始謀求以武官的身份來北京學習漢語和藏語。1884年4月，柔克義終於實現自己的夢想，來華任美國駐華使館二等秘書。1885年7月晉升為使館秘書；1886年12月至1887年4月前往朝鮮漢城署理朝鮮事務。在北京使館工作的四年裏，柔克義一直跟隨一位來自西藏拉薩的北京雍和宮僧人學習藏語。1888年柔克義因與公使田貝(Charles Denby)不和，辭去公使館秘書職務，12月17日啟程前往中國內地遊曆，5月抵達西藏，曆時6個月，行程4900英裏。1891年12月1日柔克義又自北京出發，開始第二次中亞之旅，曆時10餘月，行程8000餘英裏，於第二年10月回到上海。根據這兩次旅行經曆，柔克義不但在美國史密森學會(Smithsonian Institution)主辦的《世紀》(The Century)雜誌上發表了一係列考察報告，而且於1891年和1894年由史密森學會先後出版了《喇嘛的地域》(The Lands of the Lamas)和《1891—1892年蒙藏旅行日記》(Diaryof a Journey through Mongolia and Tibet in 1891 and 1892)兩部遊記，獲得國際漢學界的廣泛讚譽，他也因此於1893年獲得英國皇家地理學會金質獎章。