于谦少年时敬仰文天祥的气节，巡按江西平反冤狱；巡抚晋豫时实施仁政致使盗贼消失

宣德元年（1426年），汉王朱高煦在乐安州起兵谋叛，于谦随明宣宗朱瞻基亲征。于谦被任命为御史，待高煦出降，明宣宗让于谦数落他的罪行。于谦正词崭崭，声色震厉，朱高煦在这位御史的凌厉攻势下，被骂得抬不起头，趴在地上不停地发抖（伏地战栗），自称罪该万死。明宣宗大悦，当即下令派于谦巡按江西，平反冤狱数百起。

于谦上书奏报陕西各处官校骚扰百姓，诏令派御史逮捕他们。

宣德五年（1430），宣宗知道于谦可以承担重任，当时刚要增设各部右侍郎为直接派驻省的巡抚，于是亲手写了于谦的名字交给吏部，越级提升为兵部右侍郎，巡抚河南、山西。于谦到任后，轻装骑马走遍了所管辖的地区，访问父老，考察当时各项应该兴办或者革新的事，并立即上书。一年上书几次，稍有水旱灾害，马上上报。

正统六年（1441年）上书说：“现在河南、山西都积蓄了数百万斤粮食。请在每年三月份时，令府州县报上缺少食物的下等民户，然后按分额支给他们粮食，先给豆类和高粱，其次给小米和麦子，最后给稻谷，等秋收后偿还。因年老有病以及贫困而不能偿还的则给予免除。州县官吏任期已满应当升迁的，如果预备粮不足，不能离任。还要命令风宪官员经常监察。”皇上下令施行。河南黄河沿岸，经常被洪水冲开缺口。于谦令加厚建筑堤坝，每个乡里都要设亭，亭设亭长，责令其督率修缮堤坝。又命令百姓种树挖井，结果当地榆柳夹路，行人也不再受渴了。大同孤立在塞外，按抚山西的官员常走不到，于谦请另设御史来治理。又把镇边将领私人开垦的田地全部收为官家屯田，以资助边防开支。于谦的恩威远为流行，太行山的盗贼为此而不敢露面。