宋钦宗靖康元年(公元1126年),金兵围攻宋都城汴京(今河南开封),宋钦宗降金。靖康二年(公元1127年),宋朝皇室全被金人掳走,只有康王赵构领兵在外,幸免于难。时张俊随从赵构在东平府(今山东东平)。中书舍人张徵,带着蜡封的诏书,自汴京来到东平,命令赵构将兵马交给副元帅宗泽,然后立即回京。赵构找来张俊商量,张俊说:“这一定是金人的诈谋。您现在领兵在外,正是天给您的好机会,怎能白白地去京城送死。”于是就请赵构进兵。赵构接受了张俊的建议,进兵到济州(今山东巨野)。是年五月,赵构到南京(今河南商丘)称皇帝(高宗),重建赵宋王朝,史称南宋。