奏章仅仅发出几天过后，从长安便传来消息，李季卿因为账目出错，被罚俸一年，暂时交由御史台看押。尽管李非知道长安肯定会有所回应，只是没想到肃宗下手这么快，一时也有些手足无措，想了几日，也是毫无办法。

裴高远知道内情，看李非一直愁眉不展，心中便有些窝火，私下对李非说道：

“大哥，咱们何曾受过这种屈辱，实在不行，咱们火器营出一些弟兄潜入长安，把人给你抢回来！”

“万万不可。”李非一听连连摆手道：

“这么一来，风险太大，公然在长安抢人，一旦失败，圣上对付我们便有了由头，咱们此前所有的功绩也会被全部抹杀。”

“那如果朝廷以后隔三差五如此，难道大哥要次次受制吗？我们灵州如今威服四方，谁敢打我们灵州的主意？”

李非也知道这么下去，长安势必会得寸进尺，以后便会越发的难以满足肃宗的胃口，于是心一横，对裴高远说道：

“先不管了，既然如此，就暂时让二哥受些委屈，自这个月起，灵州的盐铁税赋也不再上缴，我想看看圣上又该做何反应。”

“对，反正咱们每个月都要出二十多万贯的税赋 ，放眼大唐 ，也独此一家，竟然还如此对待我们，我实在是气不过。”

杜怀安听说后，如天塌了一般，但他想要再次面见李非却已是不可能，一到灵州治所便被人拦下，说李非染疾，任何人一律不见。为求自保，杜怀安赶紧给肃宗上了一封奏章，将李非所做的决定一五一十说明。

肃宗看完奏章后勃然大怒，次日朝议当着百官的面宣读了李非的奏章后，肃宗愤然说道：

“只是因为李季卿渎职，朕对其做了责罚，那李非竟以截留灵州税赋相要挟，真是胆大包天，各位爱卿 ，这李非朕该如何处置？”

百官听完，面面相觑，此时韦坚上前一步说道：

“陛下，李非此举有违纲常，当立即下旨，免去李非处置使之职，以犯上论处，李季卿当为同罪。”

李泌却对此完全不同意，直接反驳道：

“左相的做法有些唐突，李非现在确实有些跋扈，但目前大唐还真得倚重灵州，只能等国力慢慢恢复之后，对李非另行处置才最为稳妥。以李非现在的声望和灵州的实力，一不能发兵征讨，二无力强行降罪，况且周边胡族番邦也对他畏若神明，李非现在根本动不得。权宜之计，当缓和和灵州的关系，放出李季卿示好才对。”

户部尚书裴宽接着进言道：