余英时1973年到香港中文大学担任新亚书院院长时，正赶上中文大学改制，被任命为改制工作组主席。反对改制者，认为改制有违约定；赞成改制者，认为改制有利于大学的发展。而反对改制最力的，就是余英时出身的新亚书院内以唐君毅为代表的一帮元老。余英时夹在中间，首当其冲，改制过后，黯然返美。
中大改制的缘起
香港中文大学，系由三所成员书院在1963年合并而成，即崇基学院、新亚书院及联合书院，这三家书院先于大学而成立，合并时，与港英政府约定维持教学、行政独立，各有自己的校董会，等于实行“联邦制”，大学中央只管颁授学位。
所谓中大改制，就是把原来联邦制的三个书院改为单一制的大学。
改制的动因是多方面的。起初三校联合，就蕴含着诸多矛盾。中大成立以后，权力的集中不可避免，但每院校都有其独特的传统和影响力，各校的传统不可以马上抹去，所以这种变动是缓慢的变动，但很多地方同时反映出这种传统的内在矛盾，这就是人们常说的“一校四院”的矛盾。
所谓“一校四院”，是指三个书院之外，大学本部恰似一所独立的院校，这是因为在削弱各院校的独立性过程中，大学本部不能不培植自己的力量，使三个书院的独立性和权力相对地降低，中大本部首先通过制定考试制度及条例拿到学位颁授权，其次收回各学院的一些学科直接由校本部管理，使得三个联合书院剩下的仅有社会和人文学科的科系；随后是财物的控制，中大本部在条例中规定校董会将处理不属于各学院的本部财产，同时对各院资财的扩张提出限制，由此中大开始希望彻底打破原有的联邦制，走上完全统一的途径。
1975年11月，香港总督以香港中文大学校监的名义，宣布任命由校外人士组成的“香港中文大学调查委员会”，研究香港中文大学及其成员书院的组织应否有所改变，曾促成中大成立的英人富尔敦出任该委员会主席，并在次年5月发表《富尔敦报告书》，将改制再次推到风口浪尖，该报告书建议对中文大学及其成员书院的组织及条例进行重大改革，同时建议香港中文大学应对教学与发展方等方面负起责任，并加强高级教务人员参与治校。
在此报告的建议下，香港中文大学新条例与规程于1976年12月进入立法程序，并将改制报告书为主要内容变为行政局行文的“中文大学法案”公布于宪报，该报告公布后，立即引起中大部分师生的猛烈抨击，改制的浪潮激荡，至此已经达到顶端。
新亚书院反对改制最烈
新亚书院的一些老人对于改制非常反对，校董吴俊升态度最为激烈，在一次联席例会所作的演讲中，吴俊升称改制法案将大学与各基础学院的条例和规程完全废止，代之以新的中大法案，而法案事先未经大学与各基础学院研讨而递行拟订，程序上和英国尊重大学自治的传统不合。
吴俊升进而指出，中大法案将中大和各基础学院的旧条例与规程一律加以撤销，而将基础学院的财产主权和人员用法律条文加以移转，未给当事的法团事前辩诉的机会，这种法案如经通过，乃是将立法权行使到极端，中大法案成立的程度，乃是一个危险的先例。
诸如此类的评论，当时密密麻麻，据不完全统计有十多万字的相关报道，各派人物也是意见不一。
也有人表示积极支持改制。当时出席立法院修改中大改制法案的胡鸿烈议员，发表评论说：“该法案使各成员书院在大学的未来发展中扮演一个富有意义的角色。”当时连牧师班佐时也认为根据该法案，成员书院校董会将有足够权力去保存其个别的优点，而每间书院亦可保其特色而不致遭大学中央行政当局破坏。
但是新亚的创校者依然不依不饶，李祖法、钱穆、吴俊升、唐君毅、徐季良、沈亦珍、刘汉栋、郭正达、任国荣等九位校董联名在各报章发表辞职声明，认为香港中文大学在1963年成立时用联合制，立法局通过中文大学法案，行政当局未按规定及承诺先征同意，即进行草拟法案提送立法局将大学改为单一制，使基础学院名存实亡，有违当初成立中文大学之原意。声明尤其强调“同人等过去惨淡经营新亚书院以及参加创设与发展中文大学所抱之教育理想将无法实现”。
以唐君毅名义张贴大字报
余英时最倒霉，在矛盾达到顶点、改制势在必行的1973年，来到香港中文大学担任副校长、新亚书院院长、改制工作组主席，充当了改制的替罪羔羊。
据参加改制的陈方正回忆，当时改制的风波闹得很大，余英时首当其冲，自然最受伤害，余英时是新亚的第一届毕业生，学术成就也最高，回到新亚做院长，大家对他期望殷切，上上下下的关系都得照顾，李卓敏校长深谋远虑，让余英时当改制工作组的主席。
当时联合书院的郑栋才是港府出身，基本支持改制，崇基书院的容启东虽然对改制有顾虑，但大体能够接受改制，新亚的情况最复杂，钱穆已经离职，大部分在校元老、教师和校外的校董、校友都反对改制，他们认为这是香港政府颠覆书院法定地位的阴谋，因此对余英时极为不满。
陈方正后来还曾在访谈中指出：“他（余英时）翩然回归，出长母校新亚书院，跟着又担任中文大学副校长，真所谓英才俊发，风华正茂，不料旋即卷入大学体制改革风波，为这所崭新学府的转型付出沉重代价，两年后就黯然返美，似乎是绚烂归于平淡了。其实，那才是他事业的真正开始。”
金耀基曾经回忆；“1975年大学正在改制，学校里各方面有不同的理念冲突。这时候我拿到去剑桥大学访问的通知，多么愉快啊！这样就没有这么多烦的事情。”
陈方正和金耀基的这些回忆，绝无夸张，而是有确凿的事实依据。当时唐君毅默许新亚的同学在新亚校园内以唐君毅的名义张贴大字报，攻击改制小组的主席余英时，这一颇似“文革”的做法，后来《唐君毅全集》的编者也并不隐讳，还补充道：“但先生从未就私人方面攻击主张改制者，当时新亚书院校长为余英时先生，在改制问题上与先生意见不合，先生曾对同情新亚董事会立场的同学说：这些人在中大仍算你的老师，在事上可以据理力争，但就辈分及关系上，仍然对他们尊敬。”
当时改制小组最重要的人是余英时、邢慕寰和马临，金耀基、傅元国、陈方正属于“跑在前面的年轻人”，中大后来的所有格局，就是这次改制定下来的，当时改制报告完成之后，由李卓敏校长转给香港政府，政府立刻委任了一个新的委员会，负责人就是富尔敦勋爵，对于中大的制度以后究竟应该怎样，委员会给出了一个和改制小组完全不同的建议，香港政府立即接受并且付诸实施，香港中大现在的单一制就是这么来的。
牟宗三对改制的态度
牟宗三对改制一直没有明确反对，也没有在反对改制的公开信上签名，余英时曾在《追忆牟宗三先生》一文中回忆，他在新亚任职时，有一次和牟先生相聚，两人曾论及新亚哲学系的未来。牟宗三忽然很郑重地表示，他和唐君毅都应该赶快站远点，好让下一代的人有机会发抒自己的思想，牟宗三回忆在北大追随熊十力读书时﹐虽然已完全认同了熊十力的论学宗旨，却不愿亦步亦趋地跟着熊十力讲《新唯识论》，相反他转而去研究西方哲学，因此后来才能在不同的基础上发扬师说，牟宗三用了一个比喻说他和唐君毅好像是两棵大树：“这树荫太浓密，压得树下的草木都不能自由成长。”余英时回忆：“我只是听他说，未便赞一词。但我心里则十分佩服他的识见明通。”
牟宗三会就一些具体事务和余英时开诚布公地谈，以求圆满地解决。余英时记得1973年秋季他刚到新亚书院时，忽然收到牟先生一封亲笔长信，当时余英时和牟宗三还是初识﹐而且私人间并无交往，但读下去余英时才知道这并不是一封私函，而是哲学系主任给新亚校方的公文。信中所谈是当时新亚书院刚从农圃道迁到沙田新址，哲学系所分配到的办公室恰恰是在一个最不理想的地方，牟宗三认为这不是偶然事件，而是新亚总务处方面对哲学和中国文化完全不知尊重的表现，当时牟宗三在信中的语气相当严重，并且连带指出了哲学系受歧视的种种事迹，余英时赶快把牟宗三请来一同去察看实况，然后作了使他满意的处理。这是余英时任职新亚最早的一件公事，也是余英时和牟宗三之间惟一的一次公事交涉。
刘述先的回忆
身为改制小组成员的刘述先回忆最为完整，刘述先在《儒家思想与现代化》一书中回忆：“1974年唐牟两位先生退休，中大哲学系的领导层出现真空的状态，他们乃商请我回来主、管系务一个时期。我答应了，但不意这个决定竟把我卷进了一个意想不到的漩涡之中。”这个意想不到的漩涡，指的就是中大改制。
刘述先和余英时1969年在美国西北大学一次学术会议上初识，1971年余英时访问新亚时曾和刘述先同游落马洲，由于接触机会不多，两人并无深交，后来在中大同事，遭遇了中大改制的风波，才使得二人结为良友。1974年，在刘述先的推动下，中大修改了哲学系的课程。刘述先当时虽身兼中大哲学系主任、研究部主任、新亚系主任三要职，但他采取民主的方式处理系务，获得了同事一致的支持。
当时新亚的院长是余英时，提前刘述先一年为新亚征召回来主持院务，余英时那时正主持中大改制设计的委员会，委员会几乎把当时中大上层的精英一网打尽，刘述先刚到校园时，改制报告书还没有做出来，他的情感无疑是偏向新亚，但是刘述先保持着开放的态度，没有就此表态，而改制报告书发表以后，旧新亚的人认为余英时出卖了新亚，各种大字报漫天飞舞。
唐君毅当时要求哲学系出面，反对报告书的建议，刘述先仔细研究了报告书的内容，觉得无论就道理、策略来说，哲学系都无法反对这一份报告书，因此唐君毅对刘述先有了很深的意见，发展到后来，竟有人诬告刘述先任用私人，中大李卓敏校长指派委员会调查这件事，澄清了刘述先的名誉。这桩诬告案虽然不了了之，但是很明显有唐君毅在背后作祟的嫌疑。
诬告案虽对刘述先无损，但却使刘述先认识到现实人心的卑污以及泛道德主义的可怕，1976年刘述先回到美国，新亚的事使他对中大感到心灰意冷，兴味索然。
刘述先后来在中研院接受朱元魁访谈时指出：“唐先生有一段时间对自己的学生非常不谅解，说你们这些人背弃了传统的新亚，跟新的学校投降。可是那时候促成改制的主要人物是余英时，所以结果就把余英时当成大叛徒，把我当成小叛徒。可是过了十年以后，大家明白没有这样的事情，我们没有背叛新亚任何事情，新亚的价值也没有在我们手中终结。”
余英时对唐君毅耿耿于怀
与刘述先的回忆类似的是，余英时本人也对唐君毅耿耿于怀，虽然余英时在《唐君毅先生像铭》中对唐君毅不吝赞辞，但是他在接受记者采访时，还是忍不住对唐先生发牢骚，余英时记得自己曾经对唐君毅当面发火：“唐先生你在背后算计我，这个不对，我是你学生，你有什么问题，应该找我当面好好谈，当面一句话不说，背后却来整我，贴我大字报，这个我不能原谅。”余英时同时指出：“（中大改制）在我生平上是一件大事，刚好碰上了，在我前后的校长都像太平天子，没什么风波，一到我手上就有风波，也许我命里带风波，不管做学问，还是搞行政，一定出大问题。”
刘述先也说：“余英时当时痛心疾首，他比我的情绪性强，和新亚的关系也比我深，中文大学要向前走，新亚书院要向前走，除了改制以外，没有第二条路，我也相信这个样子（改制），所以那时我们认为，老一辈那时像唐先生他们是错的，你不能抗拒新的情势。事实上后来过了十年二十年之后，证明我们做的事情是对的。”
唐君毅的不满
中大改制之中，最大的阻力就来自唐君毅，从目前公布的《唐君毅日记》来看，唐君毅对于改制一事极为不满，数次约余英时会谈。
从目前存世的唐君毅书信来看，余英时的老师钱穆退休之后，唐君毅虽然不时去信表示慰问，但是频率极低，几乎每一两年才去信一次，在1968年写给钱穆的最后一封信中更为自己去信少辩解：“年来亦时欲作书奉候起居，唯据所闻皆言先生在台一切佳适为慰，此间事不欲更扰清听。”显然钱穆早已在台湾安居，不复过问新亚事务，也正是如此，当改制激流涌动时，钱穆远在台湾，没有及时向自己的学生余英时伸出援手。
改制进行时，唐君毅已经快要退休，所以才会尽全力和余英时所领导的改制小组周旋，唐君毅在致陈荣捷的书信中袒露心迹：“弟退休后拟稍作休息，此间新亚研究所不属大学管，一向由新亚同仁义务维持，弟或尚须负一段时间之责任。”显然此时唐君毅已经做好了与改制小组周旋到底的准备。
当然唐君毅对于香港中文大学本部的厌恶，也是由来有之，从远而言，香港中文大学本部日渐集中权力，乃是本部和新亚书院长久以来积蓄的矛盾，自不必言，就近而言，本部不敢接收扶轮社捐赠的孔子像，对唐君毅也是很大的刺激。
中大不敢接收孔子像，有其时代背景，当时中国大陆批孔之风盛行，香港的左派报纸大加赞成，香港中文大学中也有呼应之声，对此唐君毅非常恼火，曾在致陈荣捷的信中痛感中文大学莫名其妙：“扶轮送大学一尊孔子铜像，大学当局竟然不敢摆出，而置之地牢中，此诸事使弟甚不愉快，唯哲学系学生及同事尚能不随波逐流，可为告慰，然其势亦太孤矣！”
唐君毅在给程兆熊的信中也曾经提及此事：“此间香港中文大学之中国文化研究所，原有人赠一孔子铜像，以批孔故，遂置于地牢中，不敢拿出。但中文大学仍压迫新亚书院及研究所，可恶已极。弟本欲早得休息，因此之故，今秋恐仍不能来台。俟研所有人接替再来与兄同游，大约在明年春可行。”
余英时刚回新亚时对唐君毅非常尊敬，1973年10月，余英时刚落脚没多久就请唐君毅吃饭，次月余英时父亲余协中亲访唐君毅话旧，当晚唐君毅请余协中、余英时父子以及新亚同仁一起晚餐。12月，唐君毅参加了余英时的演讲会，还和余英时就校内事务在一起讨论。至少在1973年这一年，唐君毅和余英时之间没有出现任何的不愉快。
中文大学停止对新亚研究所的资助
1974年2月21日，唐君毅约余英时和严耕望、全汉升、孙国栋等人同商研究所事，时隔一月又谈了一次，在第二次会谈之后，唐君毅约了李祖法和吴士选，商量“新亚校长事”。
新亚研究所亦由钱穆创立，1963年随新亚书院一起并入香港中文大学，受中文大学经费补助，唐君毅在1968年起担任所长，改制风波中，中文大学停止了对新亚研究所的补助，研究所改在中华民国（台湾）教育行政部门立案。唐君毅找余英时商量研究所的事情，大概是经费问题吧。
这一年5月18日，唐君毅和牟宗三正式自中文大学退休。
退休之后没几天，5月22日，唐君毅乘新亚董事会开会之机，约余英时和孙国栋一起谈论校中诸事。6月，又和余英时商量致函台湾“教育部”，把新亚研究所改隶属新亚文化教育公司，7月，新亚研究所脱离中文大学，8月16日，余英时请唐君毅吃饭，席间所谈内容不得而知，但是必然和校务尤其是新亚研究所有关，因为唐君毅在此之后不久赴台，临行前数度致电各处谈新亚研究所事。
1974年11月，当时改制已经开始酝酿，唐君毅日记中数次出现了新亚学生来找他谈改制的记录，11月11日唐君毅写成《中大改制之基本假定》一文，下午改制小组的成员金耀基来找唐君毅谈话，次日唐君毅参加了新亚董事会的小组会议，董事会时隔两日后又召开小组会，内容依然是改制。此时正是“山雨欲来风满楼”。也就是从此时开始，各路人马纷纷出动，来找唐君毅谈改制一事，逼迫唐君毅站出来抵制改制，新亚书院也和崇基书院召开联席会议，讨论改制。也就是从此时开始，唐君毅与余英时的关系全面破裂，唐君毅日记中再也没有关于余英时的记录。
但是即便是改制已经成为定局，唐君毅依然对此耿耿于怀，他在写给《中大学生报》的信中认为，中大改制之事，许多人皆“不识庐山真面目，只缘身在此山中”，而只在改制之进程中当了过渡的工具，唐君毅同时指出，中大改制之事，已成过去。但此事之“是非”，并未过去，无论如何说，香港政府先以联合制度之名义，邀约新亚、崇基参加中文大学之创办，而终于背信食言，改为实际上之统一制，“是犯了道德上的罪过”，“此背信食言，则应留交历史作为见证”。
与唐君毅“和解”
1977年，唐君毅与钱穆、李祖法、吴俊升等人联名一起辞新亚董事会董事职，1978年2月2日因肺癌病逝于香港九龙浸会医院，依遗愿移柩台湾。有一年刘述先回到台湾开中国哲学会的时候，会上许多人去唐君毅的墓前去祭拜，他们就推选刘述先去主祭，刘述先后来在接受采访时回忆：“现在过了十年之后，唐先生在天之灵应该明白，我们像金耀基、余英时这些人根本不可能出卖新亚。”所以在唐君毅百年祭的时候，新亚书院还是邀请刘述先回去做一场主题的演讲，刘述先十分感慨：“在当时有一些忠于原来新亚理想的人，就在那里贴大字报骂余英时骂我的都有，可是过了十年这种事情也都烟消云散了。”
而在唐君毅日记中被痛骂的余英时，也在唐先生百年之后，与唐先生达成了“和解”，余英时在接受《中大通讯》采访谈及唐君毅百岁冥寿时，肯定了香港中文大学为唐先生立像的意义：“唐先生去世后，我们在形式方面没有给他一个适当的纪念。今天哲学系以及新亚受过唐先生教育的许多同仁，决定要建立一个铜像，我觉得是一个重大的文化发展，也是一个文化标志。这说明我们从1949年到今天，整整60年来香港的文化面貌所起的重大变化，而这个变化的一个最重要因素就是唐君毅先生。”
余英时还同时特别指出，香港的哲学教育，特别是中国哲学教育，是从唐君毅开始的，他倡导中国哲学和文化的功能，值得后人永远怀念，如果不是唐君毅，就不会有后来香港在许多思想方面的新发展，余英时进而强调，唐先生重视道德意识，而道德意识可以说是文化创造的根源，唐君毅当年就是带着这样的意识，在新亚书院种下了根源并产生了作用，然后这个根源又得以繁盛发展，余英时随后举出实例，1958年的《中国世界与文化宣言》，代表了张君劢、牟宗三和徐复观诸位先生的智慧，但基本上是由唐君毅起草的，于保存宏扬中国文化，影响深远。这就是唐君毅在新亚、在香港发生的一连串作用。
余英时同时在《唐君毅先生像铭》中对唐君毅大加赞扬：“先生精思明辨，出于秉赋，初治西哲之言即若针芥之投，所造既深，则于德意志辩证思维冥契尤多。平生以重振中国人文精神为己任，故冶旧学新知于一炉，逐层为系统之建构，堂庑开阔，阶次森然，道德自我之建立，其始基也；中国文化之精神价值，其全幅呈现也；心灵九境，其终极归宿也。先生之学与年俱进，此其明征也。”当然这里面多少有些客套的成分。
余英时还回忆了当时唐君毅创办新亚书院哲学系的艰苦，对唐君毅的功劳大加表彰：“1949年先生参与新亚书院之始建而首创哲学系，迄1974年自中文大学讲座引退，先后主持香港哲学坛坫二十有五年，济济多士出于门下者，极一时之盛。风雨如晦，花果飘零，神州哲理犹能续慧命于海隅，先生之功莫大焉。”余英时同时指出：“先生讲学不忘理乱，亲历世变，惄焉忧之，于是发愤返本开新，持孔子之教为天下倡，此海外新儒家之所由兴也。新儒家之宗旨与规模定于先生所撰文化宣言，数十年来流布海内外，骎骎乎与世运共升降，不亦卓乎！”余英时同时在落款自称自己乃是唐君毅的“门人”，可见余英时的谦虚和宽容。
当然，余英时不时还会对当年因中大改制与唐君毅失和而透露出内心深处的无奈，当年新亚书院的苏庆彬在《七十杂忆》一书中回忆：“余教授经过改制一事后，心中感受良深，一直耿耿于怀，记得有一年我们去台湾旅游，恰逢钱宾四师寿辰，逯耀东在台北的六福酒家定了一席，这次难得集合了台、港、美三地校友为钱宾四师祝寿，恰好当天刮起十号风球，酒家老板与逯耀东的关系很好，特别于台风中独开一席，师生难得相聚一起，酒量好的，饮得大醉，特别是余英时兄和何佑森兄，醉得很厉害，余英时醉得还要人扶持，才能进入的士返回旅店，他在醉中仍喃喃细语说：我是很尊敬唐先生的，他重复说了好几次，可知他在改制时与唐君毅老师意见分歧，仍然是停留在内心深处挥之不去的感受。”
改制过后，余英时再也无心纠缠中大政事，回到哈佛执教。中大三个联合书院院长人选有所更易，原任联合书院院长郑栋材出任教育学院兼中文大学副校长，所遗联合书院院长一职由薛寿生博士接任，谭尚渭博士掌崇基学院，而新亚书院则由金耀基博士接任，后金出任香港中文大学校长。