柳述联合御史台柳彧、尚书右丞李纲、大理卿梁毗上奏杨素奸臣专权。言称越国公府奢华无度，甚至家中屋舍都仿制宫廷样式。

又称庶人杨勇和庶人杨秀，皆是败于杨素之手，可见其心不良，终于说动了杨坚。

但杨坚实在没有力气去惩治杨素，只是命杨素不必日日入宫，尚书省一应事务，慢慢交于他人处理。

因纵情声色过度，杨坚早在年前旧病复发，年后稍稍转好，便又要往仁寿宫去避暑，众臣皆劝杨坚好好在京中养病，可别人越劝，杨坚便越是执拗，强行带着一众佳丽往仁寿宫避暑去了。

杨坚到了仁寿宫，第二日便下诏旨：凡一应赏赐、财政支出、事无巨细，一并交于皇太子杨广处置。

柳述见此状况，便知杨坚已将太子确认下来，而废太子复位的计划，怕是再难施行了。

杨坚不得不这么做，早在他在大兴宫时，便自觉大限已至，尤其到了仁寿宫，身子更是一日不如一日。

短短半年内，杨坚先后两次大赦天下，想以此为自己延续寿命，可病势愈沉，渐有不治之势。

仁寿四年七月初十，杨坚病重，召文武百官入仁寿宫，于病床上一一抚手作别。

杨坚命太子把之前因为劝谏他而入狱的人一一赦免，又交待了群臣要好好辅佐太子，众人涕泪涟涟。

然而，在君臣同泣的一幕里，却少了一个十分重要的人——越国公杨素。

杨素此时却没有在场也是有原因的，因为此时君臣都在仁寿宫，连皇太子也在仁寿宫侍疾，京中不能无人镇守，作为尚书左仆射，朝堂一把手，便留在了京都，镇守京城。

再加上近半年来杨坚看杨素愈发的不顺眼，所以杨坚便也没有特意召杨素过来。尽管杨素不在，但太子与杨素此时书信来往十分密切，已经不是一日一封的书信往来了，几乎一天两三封信件来往。

然而，正是这来往密切的书信，让柳述找到了机会，对太子发起最后的一击。