大凡可以稱為大師或奇人的人，一定有著不同尋常的人生經曆和過人之處。
晚清道光年間，南海泌衝有這麽一個人，父親和外祖父都是學養深厚的“數學愛好者”，自然而然給了他那個年代少有的數理啟蒙教育。他自小受在鄉村私塾教學的父親的影響，十歲時，就接觸了《周易》《九章算術》《周髀算經》等。年紀稍大，他開始學習經史子集。對傳統文化寬泛的認知，加上他對算術濃厚的興趣，為他日後研習西方文化和科學知識埋下了興趣的種子。
他悟性極高，就像後人對他的評價一樣：“聰敏絕世，覃思聲音文字度數之源。尤精天文曆算，能薈萃中西之說而貫通之，靜極生明，多具神解。”當西方科學知識傳入廣東後，他通過自學，將中西方文化精粹加以融合，對光學、數學、天文學、測繪學、力學、化學及地理學進行了研究。
1836年，也就是他17歲那一年，他讀《夢溪筆談》時，《夢溪筆談》中關於塔倒影與陽遂倒影同理的章節，讓他一下子著了迷並陷入其中。湖光塔影在別人看來，也許司空見慣，但於他而言，卻是有待捕捉定格的奇幻勝景。就這樣，他對透鏡成像產生了濃厚興趣，一頭紮入對光學的研究之中，研究出了光的折射、反射、散射原理，以及小孔成像、透鏡聚焦成像原理。
1844年，他一邊研製攝影器具，一邊結合國外有關感光、顯影、定影、衝洗等工藝，發明並製造出了中國第一台照相機，率先將其運用到地圖繪測拍攝中，並設計了攝影繪地圖法。
地球球形說在15世紀末已經得到了西方的廣泛認可，中國接受這個學說比西方整整晚了二百多年。當時，甚至仍有許多人反對球形說。但他沒有被反對說左右，欣然接受了這個理論，並迅速進入研究階段。