同平章事狄仁杰，素为武后所信重，昌宗惮其梗直，屡言于后，请黜之。午后曰：“此老忠正不阿，为国家樑栋，安内攘外，惟彼一人，若罢此老，朕躬不能复安枕矣，子无复言。”昌宗曰：“臣可不言，窃恐此老之不我容也，奈何？”武后曰：“自有朕在，卿焉用鳃鳃过虑为？”昌宗默然。越数日，仁杰果奏请撤控鹤府，及其监卫。武后允其请，即召二张入议，昌宗拟改天骥府，易之则以天骥府，为管理御马之官，与上驷院相混，拟改为奉宸府，专司内廷供奉事，武后深然之，即改控鹤监为奉宸府，授易之为奉宸令，进昌宗为春官侍郎，每逢内宴，辄及二张，君臣之礼，荡焉无存。
武后欲掩其迹，命二张与文学士入内殿修史，武三思与焉。三思谄事二张，在武后前奏称昌宗乃王子晋后身，后乃命昌宗衣羽衣，持笙簧奏云璈之曲于庭，后顾而乐之，命文学士赋诗以志美，以雀融之昔遇浮邱伯，今同丁令威，中郎才貌是，藏史姓名非，一诗为绝唱。改设奉宸府后，易之乃广选面目优秀，仪表英挺者，充奉宸府供奉。宦家子之与二张素识者，见彼兄弟得承天眷，权倾一世，久已艳羡，今有易之为之汲引，荐充供奉，莫不欢欣鼓舞，引为荣典，惟居内府，除随侍后游晏寝食外，无所事事。
右补阙朱敬则之犹子，亦供职奉宸府，越时未久而瘵作，敬则悉其隐，乃草疏进谏曰：“臣闻志不可满，乐不可极，嗜欲之情，愚知皆同，贤者能节之，不使过度，不贤者放纵无厌，必遗大患，陛下内宠易之、昌宗足矣。近闻尚食奉御，广选少年，以充内供奉，知耻者远避不遑，而无耻如柳模者，竟扬言于众，称其子良宾，肌肤洁白，丰仪俊秀，专欲自进，堪充奉宸内供奉，无礼无义，溢于朝听。臣愚，职在谏諍，不敢不奏。”武后劳之曰：“非卿直言，朕不知此。”赐彩百段，并罢选男之命。
易之、昌宗竞以豪侈相胜，公卿都出门下。户部郎宋之问以诗才受知于后，谄事昌宗，求为北门学士，昌宗为之说项，武后不许，之问乃作《明河篇》赠昌宗，其末云：“明河可挈不可亲，愿得乘槎一问津；还将织女支矶石，更访成都卖卜人。”武后见其诗，笑谓昌宗曰：“朕非不知其才，但以其有口过耳。”以之问曾将后嬖二张事，托诸吟咏，以媚二张，为后所见古云，之问遂终身啣鸡舌之恨。昌宗有弟名昌仪，为洛阳令，藉势招摇，有请託无不应，候选人穴某，以黄金五千两赂昌仪，并授以状，请为夤缘，昌仪受其金，以状面交天官侍郎张锡，越数日，张锡欲为薛某补官，奈其状已失，往问昌仪，昌仪曰：“我亦不记，但知其姓薛耳。”张锡惧而退，索在铨姓薛者六十余人，悉行补官，二张之声势，于此可是一斑矣。
昌宗先得武后嬖幸，以后食欲甚，不胜其扰，始以易之荐于后。易之面貌虽不及昌宗俊秀，而内媚之术则过之，因是深得后欢，赏赐有加。易之母阿臧，性亦淫侈，命子雇匠造七宝帐，金珠珍异，罔不毕备，牙床犀簟，貂褥蟁氊，用汾晋龙鬚，临河凤翮，织以成席，豪华足与内庭相埒。与凤阁侍郎李迥秀私通，常强迥秀同饮鸳鸯杯，取其常相聚也。事为武后闻，偶语迥秀曰：“汝系阿臧私夫，易之当称汝私父。”上下相谑，不以为异。易之以母氏荒淫，屡谏不听，遂请于后，除迥秀为恒州刺史。
狄仁杰为一代名臣，虽公正不阿，而深得武后倚重，故得屹立于群小之间，得安于位。初设控鹤监时，仁杰曾以顾全圣德，撤除控鹤监，免贻千秋万世之讥为言。武后虽即改为奉宸府，而二张之宠眷，曾不稍衰，仁杰又谏曰：“臣之请撤控鹤监，不在虚名，而在实际，今控鹤监之名虽除，而二张尚在陛下左右，仍足为盛名之累，陛下志在千秋，留此污点，殊可惜焉，愿去而远之。”武后曰：“朕早知卿为忠正老臣，故以国家重任委托，但兹事卿殊未宜置论，盖朕嬖二张，实为修养计耳。朕躬侍奉先帝，生育过繁，血气衰耗已竭，因尔病魔时相缠扰，虽经常进参茸补剂，未见其效。沈南璆曰：‘精血之衰，非草木所能为力，惟有采取元阳，以培根本，则阴阳和而血气充矣。’朕初以为妄，试行之，不久而血气渐旺，精神渐充，此非朕好为文饰之辞而欺人，二齿脱而重生，可为证也。”言已张口以新生之齿示仁杰，仁杰知后意不可回，乃曰：“游养圣躬，亦宜调节有度，恣情纵欲，适足贻害，然臣固知陛下非秦胡二后比也，并以嗣后奉宸府中，勿再进面首为谏。”武后曰：“卿言良是，朕春秋渐高，颇有倦勤意，卿曾言庐陵王贤，且深得民心，卿其为我召之还也。”仁杰谢恩而退，即赴房州，召庐陵王还都。
后本拟即日致政，武承嗣、张昌宗等，恐惧万端，环泣劝阻曰：“陛下若欲致政，请先杀臣等，若不忍，请罢其议。”武后亦恐致政之后，武氏宗族及二张等，必无死所，乃复庐陵王为太子，先是易之曾劝后立武氏太子，后先已建立武氏宗庙，改国号周，本有传位武氏之心，今得易之力劝，遂询仁杰曰：“朕将册立太子，不知武氏诸侄中，谁可立者？”
仁杰从容答曰：“太宗栉风沐雨，亲冒锋镝，以定天下，传之子孙，高宗以二子托陛下，陛下今欲移宋祚而归之武氏，微特非天意，且何以对先王也。而姑侄亲，岂逾母子？陛下立子，则千秋万岁，配食太庙，可对先帝于九原，臣未闻有姪为天子，而祔姑于宗庙者也。侄虽贤，断不可立，况武氏诸子，未有贤者乎。”后闻语不乐，率然曰：“此为朕家事，卿勿预知。”仁杰曰：“王天下者，以四海为家，四海之内，何者不为陛下家事，臣备居相位，宁有所不能预知之事乎？陛下欲立太子，宜即召还庐陵王。”仁杰反覆争辩，后意稍悟，是夜梦大鹦鹉折其两翼，心知不祥。翌晨临朝，以兆告仁杰，询吉凶。仁杰曰：“陛下武姓，大鹦鹉即以比喻陛下，两翼，二子也。陛下弃其二子，而属意异姓，则两翼折矣。”后默然，自是遂无立承嗣意。