终究有人对刘弘将信将疑，随即向张寔之弟张茂告发刘弘之事，张茂于是请求张寔诛杀刘弘。张寔便派张茂领兵前往天梯山搜捕刘弘。张茂刚刚上路，阎沙、赵仰等人见事将败露，提前行动，怀藏凶器进入刺史府，张寔被刺身亡。
张茂知道府中有变，率兵抓获刘弘并诛杀阎沙、赵仰等党羽数百人，并在姑臧闹市，将刘弘车裂处死。凉州众官吏随即推举张茂继任刺史，此时凉州已无法和朝廷联络，张茂便自称凉州刺史，任张寔之子张骏为将军。
公元321年12月，张茂见汉赵内乱，命令将军韩璞率领部众攻取汉赵陇西、南安地区，。次年初，刘曜不甘心失败，派兵进攻韩璞，附近各县尽降刘曜，凉州震动。众人不知是战是降
，谋士马岌献计道：“现在贼兵长途跋涉，劳师以远，秦陇人心，皆观本州，主上应表明心迹，以安人心，不可不战。”
张茂坚定地说道:“马先生之言，甚为有理。”
于是亲率兵马迎战。张茂问计部将陈珍说道:“刘曜声势浩大，士卒勇武，如果以精锐骑兵奔袭南安，长驱直入，为之奈何?”
陈珍道:“刘曜虽人多势众，但与关东石勒剑拔弩张，必将精锐士卒尽放关东，其部众多为老弱，主公可增兵，与之相持，勿急求战。如二十日之内，刘曜贼兵不退，吾亲率弱卒千人，为主公擒之。”
张茂大悦，遂命陈珍率兵救援韩璞。刘曜如陈珍所言，暗中思虑退兵，却声称要先取陇西。陈珍趁机进兵，刘曜只得败退。自此凉州稳固。
公元325年，张茂病重，在弥留之际，其拉着侄子张骏的手，流泪说道:“从前吾家先人以孝友著称。自从汉初以来，世代忠诚孝悌。现国家大乱，皇帝偏安，汝也应谨小慎微，遵守人臣之礼，不要丧失父祖基业。吾家逢此大乱之际，仰仗先人余德，暂代此州，苟活性命，汝要在上不辜负晋室，在下不戕害百姓。凉州与朝廷隔绝多年，官吏非朝廷任命，僚属出于众人推举，天之眷顾，让吾辈在此地成事，并无荣耀，吾死以后，戴白色便帽入殓，不穿朝服，以明吾心志。”
张骏哭道：“悉听教诲，铭记在心！”
不几日，张茂病逝，张骏继位。而此时凉州在张氏父子的统治下，打击凉州大族，安抚中原散居百姓，使得凉州宛如世外桃源，已有立国之资，后世史家将张轨出任凉州刺史当年划为凉国建国之年，对张氏之凉州称为前凉。
就在张寔、张茂兄弟执掌凉州的同时，汉赵爆发变乱，若知张骏继位之后前凉何去何从，汉赵又发何等变故，请看下章。