白南在廣州期間，有時候是住在潘家大院，有的時候則是回到貨船上居住。畢竟盤點商貨，事務繁多，白南也不怎麽得閑。潘有度倒是想請他娛樂娛樂，大有後世談生意時泡腳、逛夜總會的模樣，不過這時候也就是逛青樓，聽聽戲曲什麽的，白南對此興趣不大。
潘家這筆生意賺大了，有意結交大唐商旅，便提出為大唐商人建立會館。這種會館實際上有些像是外國商館，甚至是領事館，當然領事館的特權是沒有的。外國人可以於此居住，處理事務，當然高額的租金是要付的，而且物權也不屬於外國人。
這種提議白南自然不無不可，感謝了潘家的幫助，建設大唐會館需要一定周期，白南向潘家提供了一筆錢，由他們代為修建。潘有度卻是想要拒絕白南的資金，不過白南堅辭讓潘家收下，潘有度也隻能收了白南這筆建設資金。
隨著采辦的茶葉等貨物采購和裝船接近尾聲，白南也不能繼續在廣州停留了。雖然兩廣總督李侍堯對他頗有好感，但定法不可破，貿易完成後必須離港。令白南頗為滿意的是，因為控製了香港的漁民，發放了封口費，所以香港已經被唐人控製的消息沒有外傳。
距離白南準備帶領船隊離開廣州前三天，白南已經從潘家離開，完全居住在富邦號上麵了。富邦號上已經屯滿了茶葉等貨物，四艘蒸汽輪船也得到了來自廣西的煤炭補充，這也是動用了潘家的關係才搞到的。沒有煤炭貨船就不能，好在中國采煤曆史已久，雖說量大了一些，但是白南使了銀子，還比較順利。
潘有度也據此了解到了，唐人的大船能夠無風自行，靠得是一種燃燒煤炭的器物，他倒也想弄一兩台來裝在船上，但是航行所需煤炭數量大，而且噴出滾滾黑煙實在礙眼，再加上潘家本身並不經營遠洋船隊，所以最終也是作罷。