天理了。大王您要夺取天下，就别让好人灰心失望。”窦建德命令松绑，任命他为代理治书侍御史，他不接受。听见炀帝在江都被杀后，才替窦建德任黄门侍郎。窦建德灭亡后，唐朝任命他为景州录事参军。

太宗李世民登位，向他询问朝政大事，他回答说：“自古以来还没有像隋朝那样动乱的原因，怕是君主专制独裁、法纪日益混乱吧？再说一个大国的君主，亲自处理日常事务，一天处理十件，其中五件不恰当，就算另外五件确实妥善，跟处理不恰当的综合起来评价又怎样呢？

日理万机，问题成堆，不亡国还等什么？

如果国君圣明臣子得力，使各主管官吏尽职尽责，那么在朝廷无为而治，谁敢冒犯？隋朝末年叛乱四起，真正要争夺天下的不到十人，其他的都是要保全自己等有道君主出现再听命令，这说明要背叛君主乘机牟利的人到底是少数，只是国君不能使他们安居乐业才被裹挟叛乱。凭着陛下的圣明，对隋朝危难的原因做番研究，把它灭亡的教训作为鉴戒，一天比一天谨慎从事，即使是唐尧虞舜又凭什么超过？”太宗说“：好。”任命他为侍御史，后来改任给事中。

贞观四年(630)，诏令征调兵众劳役修建洛阳行宫乾阳殿，准备游幸东都。

张玄素上书说：“我想秦始皇凭借周朝的衰微，消灭六国，统一天下，准备传给子孙万代，却到他儿子的手里就灭亡了的原因，是满足嗜好追求欲望，以致违背天理伤害人民。百姓承受不了，只应厉行节约，减轻赋税，以身作则，才能天下太平。

“如今游幸东都的时间还没确定，就提前大兴土木，外戚亲王到封地去，也会修建官府宅第，派收捐税征调劳役接连不断，就会使百姓疲惫失望，这是不行的原因之一。陛下从前平定东都时，曾把宽广的宫殿当作警戒都拆毁了，天下人心归向，齐声颂扬。怎能开始厌恶奢侈浪费后来又爱好雕饰华丽呢？这是不行的原因之二。陛下常说游幸不是当务之急，是白白耗费资财。现在国库的存粮不够两年食用，又要兴建陪都的工程来招致怨恨，这是不行的原因之三。百姓在遭受战乱流离以后，财物已经耗尽，虽然蒙恩再生，情绪还没有稳定，怎能营建还没有游幸的陪都，重新耗费他们的物力人力，这是不行的原因之四。汉高祖准备建都洛阳，娄敬一番劝谏，当天就动身到长安去。并不是不明白洛阳地处中原，交通方便人口集中，但是地势赶不上关中有利，就不敢追求安乐。我想陛下消除隋朝的陋习，时间还不长，怎能巡幸东都让民心动荡不安？这是不行的原因之五。

“我曾亲眼见过隋朝建造宫殿，到豫章县采伐木材，两千人拖一根木头，用铁做车毂，走不到几里路，车毂就损坏了，另外有几百人带上车毂跟着，一天走不了三十里路。一根木头的耗费，已达几十万个日工，推算一下其他各项就可知耗费何等巨大了。从前阿房宫建成了，秦朝就垮台了；章华台建成了，楚灵王的称霸企图也破产了；乾阳殿完工了，隋朝也分崩离析了。如今百姓的物力人力还没有赶上隋朝，却驱使伤残的百姓，沿袭隋朝的弊端，我怕陛下的过失，比炀帝更为严重。”

太宗说：“你说我不如隋炀帝，比起夏桀、纣王怎么样？”张玄素回答说：“如果乾阳殿真的动工，都一样会天下大乱。