大凡可以稱為大師或奇人的人，一定有著不同尋常的人生經曆和過人之處。
晚清道光年間，南海泌衝有這麽一個人，父親和外祖父都是學養深厚的“數學愛好者”，自然而然給了他那個年代少有的數理啟蒙教育。他自小受鄉村私塾教學的父親的影響，10歲時，就接觸了《周易》《九章算術》《周髀算經》等。年紀稍大，他開始學習“經史子集”。對傳統文化寬泛的認知，加上他對算術濃厚的興趣，為他日後研習西方文化和科學知識埋下了種子。
他悟性極高，就像後來人對他評價時提及的一樣：“聰敏絕世，覃思聲音文字度數之源。尤精天文曆算，能薈萃中西之說而貫通之，靜極生明，多具神解。”當西方科學知識傳入中國後，他通過自學，將中西方文化精粹加以融合，獨自對光學、數學、天文學、測繪學、力學、化學及地理學進行了研究。
1836年，也就是他17歲那一年，他讀《夢溪筆談》時，書中關於塔倒影與陽遂倒影同理的章節，讓他一下子著了迷並陷入其中。湖光塔影在別人看來，也許司空見慣，但於他而言，卻是有待捕捉定格的奇幻勝景。就這樣，他對透鏡成像產生了濃厚興趣，一頭紮入了對光學的研究之中，證明了光的折射、反射、散射原理，以及小孔成像、透鏡聚焦成像原理。
1844年，他一邊研製攝影器具，一邊結合國外有關感光、顯影、定影、衝洗等工藝，發明並製造出了中國第一台照相機，率先將其運用到地圖繪測拍攝中，並設計了攝影繪地圖法。
地球球形說在15世紀末已經得到了西方的廣泛認可，中國清代接受這個學說比西方整整晚了二百多年，當時，甚至仍有多數壓倒少數的聲音反對球形說。但他沒有被反對說左右，欣然接受了這個理論，並迅速進入研究階段。他認為，地球兩極半徑比赤道半徑小，是橢圓形的，在測算時，應“以橢圓曲率算之”，他以曲線來表示經緯線的畫法，使繪圖技術趨於準確，也為古老中國實地實測、勘測地表地質打開了一扇塵封之門。他同時撰寫了《度算版釋例》，闡明了度算版的原理和使用方法。