西晉以後，中華地域出現南北對峙的政治局麵。南朝一詞正是在這種特定的背景下出現的，因此它不見於西晉以前諸正史中。晉室南渡以後，南朝之詞才成為指代南方某個政權的稱謂。
《晉書》卷71《孫惠傳》記載：
（東晉）元帝遣甘卓討周馥於壽陽，惠乃率眾應卓，馥敗走。廬江何銳為安豐太守，惠權留郡境。銳以他事收惠下人推之，惠既非南朝所授，常臣讒間，因此大懼，遂攻殺銳，奔入蠻中。[2]
這是較早出現在正史中的關於南朝一詞的記載。孫惠是吳國富陽人，生活的時代在兩晉之間。他起先投靠西晉宗王司馬越，後來投奔東晉元帝司馬睿。孫惠曾經響應東晉將領甘卓討伐周馥的舉動，並且建立過功勳，但事後卻遭受讒言陷害，不得不逃亡蠻中。從這段文字所述的情節可知，其中所謂南朝，是指代東晉而言。以南朝指代東晉，雖然是出於表述上的方便，但也可見當時的人們已經具有區分中原政權與江南政權的觀念。不過，值得注意的是，與此處所謂南朝相對應的，是東晉之前的西晉，並非北方的其他政權，更非後來所謂北朝。
東晉以後，南朝一詞逐漸在南北軍政官員交往時選用。《魏書》卷43《劉休賓傳》記載，北魏獻文帝時遣大將慕容白曜攻伐南方宋朝的梁鄒之地，魏軍拘執了宋軍守將劉休賓的妻兒作為人質，用以要挾劉休賓歸降魏朝。劉休賓為此發表豪言壯語道：
妻子幽隔，誰不湣乎？吾荷南朝厚恩，受寄邊任。今顧妻子而降，於臣節足乎？[3]
南北相爭之際，互不承認對方為正統王朝。因此，劉休賓以南朝指代江南的宋朝，既對本朝不失禮節，也能被正拘執其妻兒的魏軍接受，實為不卑不亢之言辭。
《南齊書》中也出現過南朝之詞。南齊武帝曾經積極備戰，意欲北伐，由於舉動較大而被北魏發覺，因此受到抗議。《南齊書》卷57《魏虜傳》記載：