马相伯是中国最早创办私立大学的教育家之一，先后创办震旦、复旦两所大学。

他1840年出生于江苏丹阳马家村，5岁入私塾，12岁进入上海徐家汇圣依纳爵公学（今徐汇中学）读书，继而入小修院、大修院，攻读法文、拉丁文、希腊文、哲学、神学、数理和天文等学科。1870年获得神学博士，加入耶稣会，成为神职人员。1874年，他调任徐汇公学校长兼教务，讲授经史子集，兼耶稣会编撰。二年后，离开教会，先后前往日本、朝鲜、美国、法国和意大利等国从事外交和洋务活动。在此期间，日本维新的变法和朝鲜的因循守旧对比，使他深受启发。他认为国家要想富强，就必须提倡科学，兴办实业。随后，他多次上书朝廷，却如泥牛入海、毫无回应。

1899年，他辞官回沪，潜心于科学研究和翻译，并帮助弟弟马建忠完成了中国现代语言学的奠基之作《马氏文通》。

马相伯主张，“自强之道，以作育人材为本；救才之道，尤宜以设立学堂为先”。他决定毁家兴学。1900年，他将自己的全部家当——位于松江、青浦等地的三千亩田产捐献给天主教会，作为创办“中西大学堂”的基金，并立下“捐献家产兴学字据”，规定该产业只供中西大学建成后学生助学金使用。

1902年11月，南洋公学发生“墨水瓶事件”。文科教习郭镇瀛因五班教室内的一只空墨水瓶，迁怒于学生。几经波折，校方宣布开除五班全体学生，引起轩然大波，200余名学生和总教习蔡元培愤然离校，集体退学。蔡元培介绍同学们向马相伯求助。马相伯便租用徐家汇老天文台的房舍，于1903年创办震旦大学院，自任监院（院长）。“震旦”是梵文“中国”的意思，还有“东方日出，前途无量”之意。他编写《拉丁文通》、《致知浅说》等教材，亲自授课。震旦大学院奉行“启发民智，教育救国”的理念，在管理上实行学生自治，校务由学生推选干事自行管理。学校还倡导学术民主、思想自由，鼓励学生自由研究。以“广延通儒，培养译才”为宗旨，学制两年，专业分为文学、质学（科学）两类，后发展为文学、致知（哲学）、象数（数学）、形性（理科）四大学科。梁启超评价：“今乃始见我祖国得一完备有条理之私立学校，吾欲狂喜。”

1904年夏，震旦学院来了个名叫“刘学裕”的新生。他其实就是因刊印《半哭半笑楼诗草》，讥讽时政而被清廷通缉的于右任。他潜逃上海无处安身，马相伯得知后，立刻将他破格录取，并免去他所有的学膳费。

马相伯收留于右任引起了教会担忧，他们害怕清政府会因为这件事迫害天主教会，加害天主教徒，便派法国人南从周出任震旦学院教务长。南从周是一位保守的耶稣会士，下车伊始就修改章程，另外制定规则，其中包括“不许学生谈论时事，不许结社”等内容。引发了震旦学子们的不满，大批学生退学抗议。这时马相伯正在病中，他决定与学生共进退，挥泪离开这所亲手创办的学校。

马相伯离开震旦学院后，决定再办一所新校，立即得到学生的一致响应。在于右任的提议下，新学校取名复旦。复旦二字出自《尚书》“日月光华，旦复旦兮”，既有自强不息之意，又有不忘震旦之情，还有复兴中华之心。马相伯诚邀严复、张謇、熊希龄等28人担任校董，筹集复旦建校资金。两江总督周馥也拨出官银一万两，并出借吴淞提督衙门作为复旦的临时校舍。1905年5月27日，复旦公学正式开学，马相伯任校长，严复为总教习。

辛亥革命后，孙中山曾聘请马相伯为南京市第一任市长，此时他已经是七十高龄。后来，他还代理过北京大学校长，并与英敛之共同创办辅仁社（辅仁大学的前身）和培根女校。

袁世凯称帝后，他痛加抨击，提出“天下之大盗，莫大于君主”。1917年以后，他回到南方，隐居徐家汇土山湾。

九一八事变，他已年逾九旬，仍为抗日呼号奔走，发表《为日祸告国人书》。从1932年11月起，连续四个月发表了12次国难广播演说。1939年，他百岁诞辰，仍给上海复旦同学会写信，发出“国无宁日，民不聊生，老朽何为，流离异域。正愧无德无功，每嫌多寿多辱”之语。临终时，他感慨地说：“我只是一只狗，只会叫，叫了一百年，还没有把中国叫醒！”

1939年10月20日，他得知中国军队在湘北战役中打了胜仗，兴奋异常，夜不能寝，使病情加剧，于11月4日溘然长逝。