李吉甫却恼怒他事先没有向自己禀报,不肯批准,引起窦群等人的怨恨,后来,李吉甫患病,让医士留宿在家中。
窦群却抓捕医士,上书弹劾李吉甫,称他结交术士,唐宪宗查知实情,贬逐窦群等人,李吉甫知道自己树敌过多,便请辞相位,并推荐裴垍接任。
同年九月,李吉甫出镇淮南,授检校兵部尚书、中书侍郎、同平章事、淮南节度使。唐宪宗亲自在通化门为他饯行。
李吉甫在淮南三年,常上书议政,指陈朝政得失,论列军国利害。他率领民众修筑富人塘、固本塘、平津堰等水利工程,灌溉农田近万顷,还奏请朝廷,免去当地百姓数百万石欠租。
元和六年裴垍因病罢相。宪宗遂将李吉甫从淮南召回,再次任命他为中书侍郎、同平章事,加授金紫光禄大夫、集贤殿大学士、监修国史、上柱国,进爵赵国公。
他建议裁汰冗杂官吏,减低百官俸禄,以节省国家财政开支,唐宪宗采纳了他的建议,最终裁减内外冗官八百余人、冗吏一千七百余人。
当时,宗室诸王居住在十六宅中,连女儿的婚姻都要由宦官掌管,诸王只能厚礼贿赂宦官,以求得到嫁女的目的。
李吉甫奏知皇帝,唐宪宗遂封诸王之女为县主,命有司挑选门阀子弟加以婚配。
元和七年魏博节度使田季安病逝,其子田怀谏继任。李吉甫劝唐宪宗出兵征讨,并推荐薛平为义成节度使,欲趁机收复魏博镇。
但唐宪宗因宰相李绛极力反对,最终没有采纳,李绛刚正不阿,唐宪宗为制衡李吉甫,特意擢其为相。
二人常在御前争论,唐宪宗认为李绛耿直,常听从他的主张,后来,李吉甫又绘制《河北险要图》,呈献给唐宪宗。
宪宗将地图挂在浴堂门壁上,每逢议论河北局势,都对李吉甫大加赞扬。
元和八年回鹘越过大漠,南攻吐蕃。朝廷得报,却认为回鹘表面声称讨伐吐蕃,真实意图是要入侵唐境。
李吉甫道回鹘并未与朝廷断绝和好关系,南下目的不大可能是侵扰边境,我们只要加强戒备,则不足为虑。
他建议恢复自夏州至天德军之间的十一所驿站,以便传递边境军情,又征调夏州精骑五百人驻屯经略故城,以接应驿使,同时护卫党项部落。
李吉甫又建议朝廷复置宥州,以防御回鹘,安抚党项,唐宪宗遂在经略故城重新设置宥州,隶属于绥银道,并征调鄜城九千神策军前往驻守。
李吉甫又征调江淮地区的三十万件兵器与千余匹战马,补充给太原、泽潞两军,以加强唐朝北部边防。
元和九年淮西节度使吴少阳病逝,其子吴元济请求袭任,李吉甫认为淮西镇深处内陆,四周又无党援,不宜效仿河朔三镇父死子继的惯例,主张趁机出兵夺取淮西。
唐宪宗赞同他的意见,便让他策划征伐淮西之事,同年十月,李吉甫暴病去世,时年五十七岁。