，字文纪，观州蓚人也。祖元则，后魏清河太守。父制，周车骑大将军。纲少慷慨有志节，每以忠义自许。初名瑗，字子玉，读《后汉书-张纲传》，慕而改之。周齐王宪引为参军。宣帝将害宪，召僚属证成其罪，纲誓之以死，终无挠辞。及宪遇害，露车载尸而出，故吏皆散，唯纲抚棺号恸，躬自埋瘗，哭拜而去。

隋开皇末，为太子洗马。皇太子勇尝以岁首宴宫臣，左庶子唐令则自请奏琵琶，又歌《武媚娘》之曲。纲自勇曰：“令则身任宫卿，职当调护，乃于宴座自比倡优，进*，秽视听。事若上闻，令则罪不测，岂不累于殿下？臣请遽正其罪。”勇曰：“我欲为乐耳，君勿多事。”纲趋而出。及勇废黜，文帝召东宫官属切让之，无敢对者。纲对曰：“今日之事，乃陛下之过，非太子罪也。勇器非上品，性是常人，若得贤明之士辅导之，足堪继嗣皇业。方今多士盈朝，当择贤者居其任，奈何以弦歌鹰犬之才侍侧，至令致此？乃陛下训导不足，岂太子之罪耶！”辞气凛然，左右皆为之失色。文帝曰：“令汝在彼，岂非择人？”纲曰：“臣在东宫，非得言者。”帝奇其对，擢拜尚书右丞。时左仆射杨素、苏威当朝用事，纲每固执所见，不与之同，由是二人深恶之。会遣大将军刘方诛讨林邑，杨素言于文帝曰：“林邑多珍宝，自非正人不可委。”因言纲可任，文帝以为行军司马。刘方承素之意，屈辱纲，几至于死。及军还，久不得调。后拜齐王府司马。未几，苏威复令纲诣南海应接林邑，久而不召。纲后自来奏事，威复言纲擅离所职，以之属吏。纲见善卜者，令筮之，遇《鼎》，因谓纲曰：“公易姓之后，方可得志而为卿辅。宜早退；不然，有折足之败也。”寻会赦免，屏居于鄠。

大业末，贼帅何潘仁以纲为长史。义师至京城，纲来谒见。高祖大悦，授丞相府司录，封新昌县公，专掌选。高祖践祚，拜礼部尚书，兼太子詹事，典选如故。

先是，巢王元吉授并州总管，于是纵其左右攘夺百姓，宇文歆频谏不纳，乃上表曰：“王在州之日，多出微行，常共窦诞游猎，蹂践谷稼，放纵亲昵，公行攘夺，境内兽畜，取之殆尽。当衢而射，观人避箭以为笑乐。分遣左右，戏为攻战，至相击刺疻伤致死。夜开府门，宣yín他室。百姓怨毒，各怀愤叹。以此守城，安能自保！”元吉竟坐免。又讽父老诣阙请之，寻令复职。时刘武周率五千骑至黄蛇岭，元吉遣车骑将军张达以步卒百人先尝之。达以步卒少，固请不行。元吉强遣之，至则尽没于贼。达愤怒，因引武周攻陷榆次，进逼并州。元吉大惧，绐其司马刘德威曰：“卿以老弱守城，吾以强兵出战。”因夜出兵，携其妻孥，弃军奔还京师，并州遂陷。高祖怒甚，谓纲曰：“元吉幼小，未习时事，故遣窦诞、宇文歆辅之。强兵数万，食支十年，起义兴运之资，一朝而弃。宇文歆首画此计，我当斩之。”纲曰：“赖歆令陛下不失爱子，臣以为有功。”高祖问其故，纲对曰：“罪由窦诞不能规讽，致令jūn_rén怨愤。又齐王年少，肆行骄逸放纵，左右侵渔百姓，诞曾无谏止，乃随顺掩藏，以成其衅，此诞之罪。宇文歆论情则疏，向彼又浅，王之过失，悉以闻奏。且父子之际，人所难言，歆言之，岂非忠恳？今欲诛罪，不录其心，臣愚窃以为过。”翌日，高祖召纲入，升御坐谓曰：“今我有公，遂使刑罚不滥。元吉自恶，结怨于人。歆既曾以表闻，诞亦焉能制禁？”

时高祖拜舞人安叱奴为散骑常侍，纲上疏谏曰：“谨案《周礼》，均工、乐胥不得预于仕伍。虽复才如子野，妙等师襄，皆身终子继，不易其业。故魏武使祢衡击鼓，衡先解朝服，露体而击之，云不敢以先王法服为伶人之衣。虽齐高纬封曹妙达为王，授安马驹为开府，既招物议，大絜彝伦，有国有家者以为殷鉴。方今新定天下，开太平之基。起义功臣，行赏未遍；高才硕学，犹滞草莱。而先令舞胡，致位五品；鸣玉曳组，趋驰廊庙，顾非创业垂统贻厥子孙之道也。”高祖不纳。寻令参详律令。