魏徵少年时家境贫寒，幼年丧父，家境贫寒，屡遭挫折，却不务正业谋生。他做了道士来隐藏他的野心。他博览群书，见天下之乱，特别重视兵家之论。

隋末，他投奔瓦岗军，成为瓦岗军将领袁宝的秘书。因为他的词美，得到了石米的赏识。魏向石密提出了十条计策，石密很欣赏，但没有采纳。这场败仗是唐的。被窦建德俘虏后，建德看了他的才华，收下了他。

建德战败，回到唐朝，拜太子洗马，侍奉太子李。玄武门之变后，唐太宗因其清廉坦率，不肯杀他，提拔他为谏官。后来又转任秘书监、辅中等职，做鬼脸直接劝太宗200多次。

长孙皇后派人去告诉魏徵：“我现在才知道真相。希望大众永远保持这种野心，不要少改变。”有一次，李世民“养了一只好鹞，自露手臂，看见了利维，躲在他怀里；吟诵已久，鹞死于怀中。”

贞观六年(632)，李世民罢官后回到内宫。他大怒：“你必须杀死这个田舍翁。”皇后长孙安慰唐太宗避免了这场灾难。十七年(643年)，魏徵病死。

唐太宗非常难过，亲自去魏拜谒，痛哭流涕。到了第五天，他停止了对魏徵的哀悼，并下令文武官员参加葬礼，给魏徵司空，说和他一起埋葬昭陵。

又称朝臣：“人能以铜镜照人，衣冠端正，以镜观往事，见盛衰，以镜看人，知得失。这三面镜子我一直留着，以防路过。现在魏徵去世了，一面镜子也死了！”

虽然魏徵是个高官，但他一生节俭，家里连个正堂都没有。唐太宗得知此事后，特意将宫中修建厕所大殿的材料拆下来为他修了一个正堂，并送给他素屏、素面被褥、几根木棒等家具。

他死后，他的妻子遵从魏徵的遗愿，谢绝了唐太宗给予的保存羽毛和倡导的东西，只用布车抬着棺材。

小说《西游记》记载了“郑伟斩龙”的故事：

魏徵白天是牧师，晚上是灵魂出窍者，充当天上的仙官。长安附近的泾河老龙王成为一名学者，并与算命先生袁守城(袁天罡叔叔)打赌。

为了赢得赌注，他随意撒雨，打破了教条。玉帝想砍他的头，派魏徵在中午三点去砍老龙的头。老龙前一天抱了个梦，求太宗为他说情。唐太宗欣然同意。

第二天，唐太宗宣布魏徵入朝，并留下魏徵陪他下围棋。没想到，下午三点，魏徵打起了瞌睡，梦中的灵魂将老龙斩首。老龙的鬼魂徘徊不去，怨恨唐太宗食言，天天来宫里捣乱，令唐太宗六神不安。

知道皇帝害怕了，魏徵派两名将军和尉迟恭守在宫门。果然老龙不敢来前门闹事。

但几天后，老龙来到皇宫后门找唐太宗算帐，魏徵手持宝剑为唐太宗把守后门。

这样老龙就不敢再闹事了。唐太宗注意到他们夜间守门的辛苦，请画家在正门为秦琼和尉迟恭画像，在后门为魏徵画像，结果仍然奏效。

从此，民间流传着秦琼、尉迟恭、魏徵成了门神，秦琼、尉迟恭贴在两边，魏徵贴在一边。