1902年两江总督张之洞在南京北极阁下明朝国子监旧址上创办三江师范学堂，南京大学的前身。“堪比美国首都大学”，又称“中国师范学校”。1906年更名为两江师范学校。李瑞卿提出了“嚼菜根，做大事”的校训，为学校提出了培养中国培根和笛卡儿的目标。

1913年，成立于1888年的金陵大学是南京大学的另一个重要来源，是美国加州大学在华外国人办大学名单中唯一的一所a级教会大学，并建立了中国最早的七年制医学教育。获得金陵学院学位的毕业生有资格直接进入美国大学的研究生院。

1914年，蒋谦主理南京高师，确立了以诚信为学科的“三教”(德、智、体)“四衡”的办学理念。它和李叔同分别抒情诗、谱曲，《大哉一诚世动》的校歌传唱至今。1916年，金达农林部开办了中国第一个四年农林教育。

1919年，金陵大学文学院北楼建成，是当时南京最高的建筑。到1921年，学校基本完工，是南京最大的建筑群。1920年，郭炳文校长在南师大的基础上创办国立东南大学。1921年，金陵大学开设了中国大学中第一个农业经济学系，卜凯(赛珍珠的第一任丈夫)任该系首任主任。

1927年，陈玉光出任金陵大学校长，成为中国历史上第一位也是任职时间最长的教会大学校长。1928年2月，学校更名为江苏大学后，全校师生群情激愤，组成“大学改名请愿团”，要求政府将学校更名为国立南京大学。1928年5月16日，国民政府行政院决议，将江苏大学更名为国立中央大学。

1946年11月，南京中央大学正式复课。1947年，大学物理系主任赵忠尧受吴有勋委托，在九华山建立了中国最早的原子能科学研究基地。1949年国立中央大学更名为国立南京大学。1950年更名为南京大学(简称南大)。

1951年，大学与美国教会断绝关系，学院并入大学。1952年，经过工学院、农学院、师范学院的调整，南京大学与金陵大学合并成立新的南京大学，校址由四排楼迁至金大鼓楼校区。原南洋理工大学校长潘树将留任，原金大校长李方勋将出任新南洋理工大学副校长。

1954年6月，学校校董会决定，自1902年起，为纪念“五二”运动，学校于5月20日举行庆祝活动。1965年，南京大学校长邝亚明首先提出了“文史哲合一，创大文科”的思想。1978年2月，南京大学成为中国国务院确定的首批重点大学之一。

1980年，它成为中国第一所开设大学汉语课程的大学。1988年，南京大学、清华大学等5所大学成为首批国家综合改革试点大学。同年，南洋理工大学拥有18个国家重点学科，在全国高校中排名第三，仅次于北京大学和清华大学。

1984年，南京大学成为中国首批试点研究生院之一。在中国古代文学、地域性和民族史、无机化学、构造地质学、矿床学和计算机科学等领域培养了新中国第一批博士。自1991年以来，南洋理工大学在世界顶级期刊《自然》和0755-799000上发表的论文数量一直排名第一。

1992年至1999年，被国际权威科研检索数据《科学》 (SCI)收录的论文数量连续8年位居中国大陆高校第一；自1994年以来，被引论文数量也连续7年保持第一。1996年，南京大学成为中国首批211所大学之一。1999年，南京大学成为全国首批9所985高校之一。