誌摩死後，徐申如每月給陸小曼兩百塊錢生活費，可小曼還拖著表妹吳錦一家三口，她自己沒有工作能力，賣畫又非長久之計。沒過多久，徐申如連這兩百塊錢都不給了，原因是翁瑞午在小曼家逗留至深夜。
陳巨來在《安持人物瑣憶》中描述說：“誌摩死後，小曼家中除瑞午外，常客隻餘及大雨夫婦及瘦鐵與趙家璧、陳小蝶數人耳。當時每夕瑞午必至深夜始回家中，抗戰後他為造船所處長，我為楊虎秘書，均有特別通行證者，隻我們兩人談至夜十二時後亦不妨。一日，時過了二點了，餘催瑞午同走，他雲：汽車略有損壞，一人在二樓煙榻上權睡一宵罷，自此遂常常如此，小曼自上三樓，任他獨宿矣。及那月底，徐申如送來三百元附了一條雲：知翁君已與你同居，下月停止了雲雲。後始知徐老以錢買通弄口看門者，將翁一舉一動，都向之作匯報的。當時翁大怒，毫不客氣，搬上三樓，但另設一榻而睡者，自此以後小曼生活，由其負擔矣。”
1931年11月，徐誌摩在北上前曾經和翁瑞午長談，希望他能好好照顧小曼，後來誌摩飛機失事，再沒回來，從那之後，一直是翁瑞午在照顧小曼，直到自己去世。
剛開始，翁瑞午是造船廠會計處處長，收入豐厚，後來得了肺病，離職在家，他和陸小曼的生活開始變得拮據，兩人的主要經濟來源是翁瑞午賣掉的古董和他香港的二女兒翁文光寄來的錢。
一天晚上，翁瑞午正小心翼翼守護著小曼，胡適來了，直接進入屋內，對翁瑞午完全不予理睬。清高的才子哪看得起這類淪落之人，可小曼卻知道他的好。胡適直到抗戰勝利後仍不死心，寄信給小曼：可從速來南京，由他安排新的生活。小曼看後，說：“瑞午雖貧困至極，始終照顧得無微不至，二十多年了，吾何能把他逐走？”