张柬之的奏议不被采纳。不久调他任荆州大都督府长史。
长安年间，武则天问狄仁杰：“从何处能得到一位奇士使用他？”
狄仁杰说“：陛下若求文章、资历，现宰相李峤、苏味道足够了。难道是文士拘泥小节，不足以共成天下大业吗？”
武则天说：“是的。”
狄仁杰说：“荆州长史张柬之虽然年老，却是宰相之才。用他，他必定为国家尽心竭力。”
武则天立即召请张柬之任洛州司马。
过了一段时间，武则天又求才，狄仁杰说：“臣曾举荐张柬之，您没用他。”
武则天说：“提拔他了。”狄仁杰说：“臣举荐宰相却任司马，这不是庸才。”于是张柬之被授官为司刑少卿，迁升秋官侍郎。
其后姚崇出任灵武军使，即将启程，武则天诏令举荐宫外百官中可任宰相的人，姚崇说：“张柬之深沉稳重有谋略，能决断大事，他已年老，要赶快任用。”
武后当天就召见他，授官同凤阁鸾台平章事，晋升凤阁侍郎。
神龙元年（705年）正月，武则天病得非常严重，麟台监张易之和春官侍郎张昌宗居宫中执政，张柬之、崔玄暐与中台右丞敬晖、司刑少卿桓彦范以及相王府司马袁恕己谋划杀掉张易之和张昌宗。
张柬之问右羽林卫大将军李多祚说：“将军今日的荣华富贵，是谁给的？”
李多祚流着眼泪回答说：“是高宗大帝给的。”
张柬之说：“现在大帝的儿子受到张易之和张昌宗这两个小子的威胁，难道将军不想报答大帝的恩德吗！”
李多祚回答说：“只要对国家有利，我一切都听相公安排，不敢顾及自身以及妻儿的安危。”
于是自己指天发誓，并且与张柬之、崔玄暐等人一同定下了铲除张易之和张昌宗的计谋。
当初，张柬之接替荆州都督府长史乡人杨元琰的职务，二人一同泛舟于长江之中，当小船漂到江心时，谈到了武则天以周代唐的事，杨元琰慷慨激昂，有救助大唐的志向。
张柬之入朝做了宰相后，便推荐杨元琰担任右羽林将军，并且提醒他说：“您大概还记得我们当初在江心泛舟时所说的话吧？今天这项任命可不是随便给您的呀。”
张柬之还任用了桓彦范、敬晖以及右散骑侍郎李湛，都让他们担任左、右羽林将军，把禁军交给他们指挥。这件事引起了张易之等人的怀疑和忧虑，张柬之于是又任用他的党羽武攸宜为右羽林大将军，张易之等人才放了心。
不久，姚崇从灵武回朝，张柬之和桓彦范交谈说：“大事就要成功了！”于是把商量好的计谋告诉姚崇。
桓彦范将这事禀告了他的娘亲。其娘亲勉励他说：“忠孝不能两全，应当先为国家大事着想，然后再考虑自家的小事。”
当时太子李显从北门入宫向武则天问安，桓彦范和敬晖前往拜见，秘密地把他们的计策告诉李显，李显允许他们这样去做。
癸卯（二十二日），张柬之、崔玄暐、桓彦范与左威卫将军薛思行等人率领左右羽林兵五百余人来到玄武门，派李多祚、李湛及内直郎、驸马都尉安阳人王同皎到东宫去迎接李显。
李显有所怀疑，没有出来。
王同皎说：“先帝把皇位传给殿下，殿下无故遭到幽禁废黜，皇天后土、士民百姓无不义愤填膺，已经有二十三年了。现在上天诱导人心。北门的羽林诸将与南牙朝臣得以同心协力，立志诛灭凶恶的小人，恢复李氏的江山社稷，希望殿下暂时到玄武门去以满足大家的期望。”
李显回答说：“凶恶的小人的确应该翦除，但是天子圣体欠安，你们这样做能不使天子受惊吗！请诸位日后再图此事。”
李谌说：“诸位将帅宰相为了国家不顾身家性命，殿下为什么非要让他们面临鼎镬的酷刑呢！请殿下亲自去制止他们好了。”李显这才出来。
王同皎将李显抱到马上，并陪同李显来到玄武门，斩断门闩进入宫中。
此时武则天，张柬之等人的走廊里将张易之和张昌宗斩首，然后进至武则天居住的长生殿，在她周围环绕侍卫。武则天吃惊地坐起来，问道：“是谁作乱？”
张柬之回答说：“张易之、张昌宗阴谋造反，臣等已奉太子的命令将他们杀掉了，因为担心可能会走漏消息，所以没有向您禀告。在皇宫禁地举兵诛杀逆贼，惊动天子，臣等罪该万死！”
武则天看见李显也在人群之中，便对他说：“这件事是你干的吗？这两个小子已经被诛杀了，你可以回到东宫里去了。”
桓彦范上前说：“太子哪能还回到东宫里去吗？当初天皇把心爱的太子托付给陛下，现在他年纪已大，却一直在东宫当太子，天意民心，早已思念李家。群臣不敢忘怀太宗、天皇的恩德，所以尊奉太子诛灭犯上作乱的逆臣。希望陛下将帝位传给太子，以顺从上天与下民的心愿！”
李湛是李义府的儿子，武则天发现了他，对他说：“你也是杀死张易之的将军吗？我平时对你们父子不薄，想不到竟然有今天的变故！”
李湛满面羞惭，无法回答。武则天又对崔玄暐说：“别的人都是经他人推荐之后提拔的，只有你是朕亲手提拔的，你怎么也在这里呢？”
崔玄暐说：“我这样做正是为了报答陛下对我的大恩大德。”
接下来逮捕了张昌期、张同休、张昌仪等人，将他们全部处斩，并在神都天津桥的南边将上述人犯与张易之、张昌宗二人一道枭首示众。
在这一天里，为防范突然事变的发生，袁恕己随从相王李旦统率南牙兵马，他们将韦承庆、房融及司礼卿崔神庆等逮捕下狱，这些人都是张易之的同党。
先前，张昌仪新建起一幢非常豪华的宅第，规模比诸王及诸位公主的宅第还要宏大，有人晚上在他的门上写道：“一日的丝能织几日的薄纱？”
张昌仪让人把字迹除掉，结果又被人写上，这种情况总共出现了六七次。张昌仪用笔在门上写道：“即使是只织一天，我也感到满足。”此后便没有再出现这种情况。
甲辰（二十三日），武则天颁下制书，决定由李显代行处理国政，大赦天下。
任命袁恕己为凤阁侍郎、同平章事，派遣十位使者分别携带天子的玺书前往各州进行安抚工作。乙巳（二十四日），武则天将帝位传给李显。
诛除张易之、张昌宗，张柬之首先设谋。论功提拔为天官尚书、同凤阁鸾台三品、汉阳郡王，封给实纳租税的食户五百户。不到半年，他以汉阳郡王加“特进”衔，免除治理政事。
不久，张柬之遭武则天的侄子武三思排挤。
武三思以张柬之等五大臣诬陷韦后为由，向李显中伤他们，李显于是下诏，同时免去他们的宰相职务。
张柬之失权后，愿回襄州养病，便任命他为襄州刺史。
启程前，李显为他赋诗祭路神，还下诏群臣到定鼎门外给他饯行。
到襄州后，他以法纪对待下属，即使是亲朋旧故也不放纵宽免。适逢汉水暴涨侵及外城，张柬之就军营壁垒筑堤，遏制急流怒涛，全境依赖它防洪。
接着，张柬之又恳切地辞去王爵，朝廷不准。不久遭贬，被流放到新州……
张柬之探询地：“宦海骤起风雷，震动朝野，不知大师高见如何？”
一定禅师正色道：“阿弥陀佛，贫僧虽然远离中原，但亦非局外之人。朝中大事，贫僧也略有所闻。其中的是非曲直，的确不易判定。但我认为，张宰相经历过朝廷的风风雨雨，见惯了世间的沉沉浮浮，虽暂被贬，远离朝中是是非非，将平生才学施展于民间，造福一方，实乃功德无量。”
张柬之听对方所言，知道他是倾向于众生的，也知道这个善良僧人不会加害自己，道：“大师修禅，不为人间沉浮所牵扯，也不为世俗偏见所左右，自有独到见解，令人钦佩。”
一定禅师继续说：“空门之内，高深莫测，也是藏龙卧虎，人才辈出。衣钵传灯，不能光看读书多少，不能论资排辈，也不能分尊与卑，而应以德高者居之，让龙象之才，将禅风大旗高扬，立于世上，风行草偃，众望所归，方能法海横流，代代相传。”