乾道元年三月,虞允文被正授为参知政事,仍同知枢密院事。同年秋,金国所派的使臣完颜仲“偃蹇不敬”,虞允文请求将其斩首,朝议意见不一,此事遂被搁置。适逢宰相钱端礼收受官员李宏的玉带,此事被发现后,牵连虞允文,使其遭到御史章服的弹劾,于是在同年八月罢相,外出为宫观官。
乾道三年二月,虞允文再次入朝,授知枢密院事兼参知政事。五月,吴璘去世,四川制置使汪应辰暂掌宣抚使司事务。但孝宗担心汪应辰“不习军事”,于六月特命虞允文出任资政殿大学士、四川宣抚使,旋即诏命他仍兼知枢密院事。颁诏前,赵昚特地告诫虞允文:“凡事不应效仿张浚的迂阔,军前之事,你一一亲临。”
抵达四川一个月后,虞允文被召回临安,不到数月,又回到四川。此行,太上皇赵构御书《圣主得贤臣颂》赐给虞允文,赵昚亲自题跋;虞允文临行前,赵昚又将自己穿过的两只鞋子和一套甲胄赐给他。
可见,南宋朝廷历来对川陕地区的军务的重视程度,虞允文几次去四川都是被朝廷委以重任,背负着赵昚很大的期望而去。