李辅国的专权，终于引起了一个人的不满，这个人就是李辅国的心腹程元振。程元振自认为对李辅国有功，不满于现有的地位，他的野心是取代李辅国，成为政治的核心人物。于是，程元振就在代宗面前历数李辅国的罪状，恳请代宗加以制裁。代宗本来就对李辅国不满，现在有程元振的支持，他就将计就计，利用程元振这个宦官来除掉李辅国这个宦官，达到一箭双雕的目的。
这一年六月，代宗和颜悦色地对李辅国说：“李公公，你是三朝老臣，为我大唐王朝立下了很大功劳。朕念你劳苦功高，年龄大了，该好生休息，军务太繁重，就交给程公公吧。你也应该回家享福了。这么多年来，真是辛苦你了。”
这样，李辅国稀里糊涂地被解除了元帅行军司马和兵部尚书的职务，由程元振担任，并且命令他搬出皇宫，居住到自己的府第去。
李辅国简直不敢相信自己的耳朵，他看着程元振，程元振赶忙把目光移开了。百姓闻听罢免了李辅国，人们奔走相告，长安城一片欢腾。李辅国这才感到了事态的严重，在举国上下的一片唾骂声中，他不得不上书请求辞职。代宗求之不得，趁机罢免了他的中书令之职，封他为博陆王，允许他进京朝拜。李辅国真是哑巴吃黄连，有苦难言。
李辅国被罢免了中书令，想最后一次到中书省写一封谢表。他刚步入中书省的门槛，值班的官员大声喝道：“您已被罢免宰相，不能再进入此门。”李辅国没办法，就气呼呼地跑到代宗面前，说：“我这个老奴侍候不了您这个小皇帝，我只好去侍候九泉之下的老皇帝了。”代宗知道他心中有怨言，只好下了一道诏书，对他进行安慰并准备送他出京。
正当李辅国准备动身出京的时候，宝应元年十月十八日晚上，一个刺客翻墙进入李辅国的府第，把睡意朦胧的李辅国杀死，并割走了他的脑袋和右臂。多行不义的李辅国终于结束了自己罪恶的一生，时年59岁。
李辅国死后，代宗下令有司追捕刺客，并用木头做了一个脑袋，安在李辅国的无头尸上，加以安葬，并追赐他为太傅。
李辅国究竟是怎么突然被杀的？历来说法不一，至今仍是不解之谜。史学界一般有三种说法：
