嘉靖四十一年（1562年），高拱升礼部左侍郎兼学士。次年改吏部左侍郎仍兼学士，掌詹事府事。他数次主或副主会试，所撰科举示范文章颇见称道。但一次在进题中“以字嫌忤上意”，几乎有所行遣。徐阶出面辩解，才使事懈。四十四年，景王在藩薨，裕王地位确立。高拱升礼部尚书，召入直庐，并以青词见宠，得赐飞鱼服。四十五年（1566）三月，由徐阶荐举，以礼部尚书兼文渊阁大学士。

　　高拱相貌瑰奇，为人豪爽有才略，又颇自许。甫入阁，即欲展抱负示才。当时世宗久居西苑，大臣率以召入直庐为荣，阁事有所不周。世宗因谕曰：“阁中政本可轮一人往”。

　　首辅徐阶及“青词宰相”袁炜以不能离开世宗须臾为由，不去阁中办公。高拱对徐阶说：“公元老，常直可矣。不才与李（春芳）、郭（朴）两公愿日轮一人，诣阁中习故事。”李春芳虽早入阁，但对徐阶向来十分恭谨，“侧行伛偻若属吏”。郭朴与高拱同时新入阁，且都由徐阶荐举，似应对阶更为谦卑。拱却言直如此，徐阶“拂然不乐”。高拱与郭朴又同为河南乡曲，“两人相与欢甚”，徐阶知后也不悦，因此芥蒂渐结。未几，吏科给事中胡应嘉奏劾高拱。先是高拱因年过半百膝下无子焦虑万分，遂将家移至西华门附近，直庐时常偷偷回家与妻妾团圆。一次听说世宗病情危急，高拱急忙把自己直庐内的书籍、器物等尽行取出。胡应嘉因此奏劾：“拱辅政初，即以直庐为隘，移家西安门外，夤夜潜归”，“皇上违和，正臣子吁天请代之时，而拱乃为归计，此何心也”。高拱大惧，幸世宗病笃，未加深责。但高拱以胡应嘉为徐阶乡人，其奏劾又是徐阶拟旨报世宗的，故疑胡应嘉受徐阶指使，增添了对徐阶的不满和怨恨。

　　四十五年（1566）十二月世宗死，徐阶与自己的门生、刚充当裕王府讲官的张居正密草遗诏，却不与同列谋议。诏下，高拱、郭朴惘然若失。高拱以自己是新帝肺腑之臣，却对遗诏浑然不知，因而与徐阶构怨更深。穆宗即位后，徐阶以硕德元老仍居首辅位，旋又引张居正入阁，高拱心不能平，在论登极、赏军事、去留大臣是否请上裁决等问题上，数与徐阶抗争，矛盾日趋表面化。隆庆元年正月，胡应嘉谪外，言路认为出于高拱指，于是群起交章攻之。给事中欧阳一敬奏劾尤力，将高拱比作蔡京。高拱怒甚，请徐阶拟旨责杖奏劾者，徐阶不应。高拱被迫求退，穆宗不允。徐阶屈于皇帝的意思，也拟旨慰留，但绝无谴责言官，高拱越发生气，一次公开在阁中与徐阶舌战。高拱攻击说：“公在先帝时导之为斋词以求媚。宫车甫晏驾而一旦即扳之。今又结言路而逐其藩国腹心之臣，何也？”诘问之势汹汹。徐阶徐徐辩答曰：“夫言路口故多，我安能一一而结之，又安能使之攻公。且我能结之，公独不能结之耶？”他又说，我并非是背叛先帝，以遗诏让先帝自责是为先帝收人心……。至于斋词一事，徐阶坦认“因我罪”。但他反问高拱：“独不记在礼部时，先帝以密札问我：‘拱有疏，愿得效力于斋事，可许否？’此札今尚在！”高拱顿时“颊赤语塞”，打了个败仗。但高拱并不甘心，他以徐阶子弟和家人在乡里横行不法事攻讦徐阶，并授意门生齐康劾徐阶。徐阶疏辩乞休。当时徐阶正因遗诏复起世宗时被谪诸官而受到部院大臣、科道言官的感恩拥戴，权势灼热，故言路交章请留徐阶，还集体去徐阶第敦劝视事，另外极论齐康、高拱罪状，甚至群集阙下，吐唾辱骂齐康、高拱。三月之内论劾高拱的奏疏竟多达三十余份，高拱不自安，连疏十二，称病乞休。穆宗挽留不能，遂准以少傅兼太子太傅、尚书、大学士衔回乡养疾，遣行人护送。齐康则坐黜外调，郭朴不久也乞归回里。