希爾頓2歲時，大妹伊娃降生；4歲時，弟弟卡爾也接踵而來。希爾頓的父親的生意也日漸興隆起來。
7歲半時，希爾頓由姐姐費莉絲監護著去上學，對那所學校，他沒有留下任何印象，糊裏糊塗讀了幾年。在這段時間裏，父親經常給孩子們講一些有關人們運用勤奮和聰明才智開創事業的故事，他的用意很可能是讓孩子們從這些故事中得到這樣的啟迪：事業的成功是建立在勤奮和智慧之上的。父親的教誨，深深地印在了希爾頓的腦海中。
12歲那年，父親作了一項關於希爾頓的重要決定，讓他一個人到阿爾布開克市的高斯軍事學校去讀書。該學校設在郊外一座小山上，規模不大。希爾頓在這裏接受所謂的三R教育，即讀、寫、算三種訓練，並寄宿在學校。學校除了進行三R教育，還要聽高斯上校受訓。希爾頓對受訓不感興趣，而對學習卻產生了興趣，尤其在數學方麵收獲頗大。第二年夏天的暑假，希爾頓回到了父母身邊，繼續為父親打工，職位是助理店員，月薪為5美元。父親認為希爾頓作為學徒，應該努力學習，學習如何經營，如何滿足社區顧客的需要，而這一切的獲得隻有通過實踐才能得來。隻有在工作中才能揣摩出“您要什麽，我們就有什麽”這句招徠顧客的廣告詞的含義。就在希爾頓13歲的那年夏天，希爾頓從父親身上學到了一種十分可貴的品質，這種品質在希爾頓以後的從商生涯中發揮過重要作用，使他終身受益。
那年夏天，邊陲的許多拓荒者手裏都有槍，而希爾頓的父親卻一向拒絕帶槍。對父親的這種行為，希爾頓實在無法理解。因為，在當時，除了附近的印第安人常襲擊過往客人外，父親還常常和一些酒鬼、亡命徒之流做生意，生命時刻受到威脅。“聽我說，康尼。”父親有一回對希爾頓解釋道，“我隻有兩條路可供選擇，一種是永遠帶著槍，一種是永遠不帶槍。不帶槍是靠你的智慧，帶槍是靠你的拔槍速度。隻要你帶槍，你就會拔槍，可是，有多少人因為拔槍慢了點兒永遠倒下了。”盡管父親說的話很在理，但希爾頓認為在那種環境中帶槍還是應該的。