飞回到地方统兵的想法依然没有收起来，他在军改敏感时期，自请回到江州庐山旧居赋闲，难免会让宋高宗和宰相秦桧怀疑他是想借机离开京城，回到自己的军队中去，宋高宗当然没有同意。其后，岳飞竟然派亲信给军中亲信将领，前军统制张宪带去密信，让他在军中异动，以此逼迫朝廷起用自己回军中去弹压安抚，借机重掌地方兵权。

作为岳飞的心腹小弟，张宪对岳飞的忠诚是毫不动摇的。当他收到岳飞的指示后，立即谋划将岳家军从鄂州带到宋金前线的襄阳去，形成事实上的独立。

张宪找来共商此事的，正是他的亲密副手，岳家军前军副统制王俊。