梁茜言其功高赏薄，又迁工部侍郞、知桂州，兼广南西路经略安抚使。
嘉佑元年（1056年）迁户部侍郞，徙知谭州，兼荆湖南路经略安抚使。
嘉佑三年（1058年）迁吏部侍郞，徙知青州，兼京东东路经略安抚使。
嘉佑五年（1060年）交趾（今越南）种豪犯边，杀宋五巡检，朝廷认为余靖“恩信著于岭外而令交趾畏”，命为广西体量安抚使，率湖广兵平乱，余靖檄传交趾官员费嘉祐诘之，交趾械凶手斩于边界，南疆遂安。
嘉祐六年（1061年）以尚书左丞知广州，兼广南东路经略安抚使、广南东路兵马都钤辖、劝农市舶使、提点银铜场公事等职，大力发展对外商贸活动，戒下属北归不得带南物。
嘉祐八年（1063年）英宗即位，任为工部尚书，候知广州任满赴任。
治平元年（1064年）自广朝京师，途中病逝于江宁秦淮亭，赠刑部尚书，谥号“襄”。
治平二年（1065年）返葬韶州成家山之原，欧阳修作“神道碑铭”、蔡襄作“墓志铭” 记其功绩，余靖次子仲荀收集其生前奏折、诗文编为《武溪集》传世。

世人对余靖的评价：
蔡襄曾作诗“总有谋猷俾帝右，更教风采动朝端”，“崭然安道生头角，气虹万丈横天衢。臣靖胸中有屈语，举嗌不避萧斧诛”，“吾知万世更万世，凛凛英风激懦夫”赞之。
宋仁宗也曾御笔亲题“风采第一，广南定乱，经略无双”，余靖辞任广州知州时亲下《答诏》有语“以卿策虑无遗、忠义有素，文理足以绥众、武备足以折冲，进居丞辖之重，付畀方面之寄，必能宣明威信，朕庶几无南顾之忧矣”，对他寄予极高的期望。
欧阳修称其“历代史记、杂家小说、阴阳律历、外暨浮屠、老子之书，无所不通”。
苏洵在《上余青州书》 中称“天下之士盖有五六人”，余靖即为其中之一；“当其盛时，激昂慷慨，论得失，定可否，左摩西羌，右揣契丹，奉使千里，弹压强悍不屈之虏，其辩如决河流而东注诸海，名声四溢于中原而滂薄于遐远之国，可谓至盛矣。及至中废而为海滨之匹夫，盖其间十有余年，明公无求于人，而人亦无求于明公者”。
周源称其“与欧阳、蔡诸公埒（等同之意）名价当时，公卿士大夫碑碣铭志、亭馆记引、道释观寺撰述，不得公文为不孝”。
宋哲宗元祐年间，蒋之琦知广州，在城内设“八贤堂”供奉宋初以来在广州任过知州且功勋道德俱佳的潘美、向敏中、邵晔、陈世卿、陈从易、魏瓘、余靖、张颉八位贤士。
宋治平中，韶州知州吕构始建余忠襄公祠，绍兴七年，郡守陈麟奏准朝庭载诸祀典，由官府春秋两祭。
南宋淳熙年间，官府在韶州学宫建张九龄、余靖合祠，供学子祭祀，杨万里作《张余二公祠堂记》。
明宏治年间，韶州知府钱镛为纪念余靖而在韶州城兴建风采楼。
明代大儒陈献章（陈白沙）为韶州风采楼写楼名及《韶州风采楼记》 ，盛赞余靖为岭南的泰山北斗：“吾瞻之在前，惟曲江公（张九龄）一人而已，吾瞻之在后，公（余靖）与菊坡公（崔与之）二人而已”、“公（余靖）之风采在，人争先睹之为快，如凤凰芝草不恒有于世”。

各地风采堂：
　　一、韶关余靖纪念馆：又名“余忠襄公祠”、“风采堂”，省级保护文物，位于韶关市区建国路余相巷，原是余靖祖孙几代的祖居，后人将祖居改建为祠堂，供奉祭祀余靖，是为余忠襄公祠。到80年代，该祠因历史原因已改为民居，香港余氏宗亲会花巨资将原址购回，重建为余靖纪念馆。
余靖纪念馆建设风