孝文帝时期，乃至整个北朝，“门第”虽然是为官的重要因素， 但从来没有过一套严格的、可操作的标准。只要父亲、祖父辈担任过高官，就可以算有“门第”出身，声称远祖是汉代、魏晋的某位高官也是一个办法。“九品中正制”还有一个特征，就是讲究地域平衡，每个州、郡都有自己的高门大姓。《魏书》中很多人“自云”先祖是汉魏晋时某高官，其实他们往往只是同乡、同姓而已，年深日久，无从查考，只要自己一口咬定，一般也就得到默认了。不幸的是，李彪出身寒微，而家乡顿丘还有一个李姓高门—李崇家族。他和李崇家族实在攀不上亲，前代的顿丘籍李姓名人，自然也轮不到他认作祖先了。

在孝文帝之前，北魏诸帝的门第观念尚不太重，只要得到最高统治者赏识，出身低微者也可以做到高官，不会受人歧视。冯太后当政时，很多宦官都受到宠幸，仕至尚书、常侍、将军、刺史，爵封王、公，甚至担任礼部尚书、吏部尚书等官职。按照南朝的门第观念，这都是一流高门才能担任的清要官职。冯太后死后，这些宦官年老资深，依旧很受孝文帝礼敬。

到李彪这一代人进入中年之际，正逢年轻的孝文帝按照复古理想和门第观念改革制度。孝文帝草拟的门阀制度，大概是按三代先祖的官爵高低划分门第，由门第决定出仕时的官职。选官制度一旦涉及实际操作层面，就问题重重，何况涉及数十年前的“历史问题”。所以直到后来的世宗、肃宗朝，朝廷数次清定姓族门第，一直纠纷不断。这种情况下，那些门第不是特别显赫的士人，更感觉压力重重，拼命标榜自己的先祖名望，并通过排斥、贬低出身更低的人，来显示自己的门第。这样，李彪顺理成章地成了寒门的代表，和他在出身上“划清界限”，就是标榜自己门第的最好办法。

李彪和广平宋弁交好，他们都是相州（顿丘、广平同属相州）人。宋弁祖父宋愔，太武帝时担任过中书博士、太守，出身背景比李彪好些。宋弁个人的从政资历比李彪浅，李彪任秘书丞时， 宋弁是他下级的著作佐郎。但宋弁靠才能和门第受到孝文帝赏识，迁都洛阳后，仕至散骑常侍，兼领相州大中正，负责划定本州籍官员的门第高低。宋弁和孝文帝私下商量，仍旧把李彪定为寒门。这样做一方面表现了他的无私，不为朋友枉法，也可以防止产生和自己竞争的同乡门第。

可以想象，生性高傲的李彪知道后，心中会做何感受。退一步说，李彪可以对自己的仕途不做太多奢望。毕竟经过近三十年的奋斗，他从寒微书生爬到了三品高官，可以知足了。但他放心不下的是自己的子女。李彪有一子一女，他非常重视对子女的教育，儿子李志，十余岁就能作文了，女儿也自幼教习文字、儒书。李彪对这对子女非常喜爱和自豪。日渐严重的门第压力，使他常为孩子的未来揪心，以致在公私聚谈、宴会场合，都要向同僚们称扬夸赞一番。孝文帝对此难以容忍，还专门批评过他。

太和二十一年（497）八月，孝文帝开始了第二次南征。尚书仆射李冲、任城王元澄留守洛阳，李彪兼任度支尚书，共同负责后方事宜。李彪请求吏部尚书郭祚给李志任命一个官职。郭祚称李彪门第不够格，没有同意。李彪对此深为愤恨。郭祚的理由是：“你和宋弁是同乡至交，是他压低了你的门第。你能不责怪他只埋怨我吗？”

五十三岁的李彪此时完全失去了克制。他对“门第”的一腔愤怒无处发泄，最终竟然酿成了一场和李冲的冲突。这用常理颇难解释。李冲是最早赏识、提拔李彪的人之一，而且是最得力的人。李冲性格柔顺，上下级人际关系处理得非常妥帖，几乎从未和任何人有过正面冲突。

但从李彪的角度看，他不敢与宋弁、郭祚这些在门第问题上伤害过他的人翻脸。那样只会显得他是一个谋取私利不遂、转而打击报复的小人，使他和当前的门第政策，和满朝高门官员彻底决裂。李彪不敢这样。当初李冲对他的援引帮助，在此时的李彪看来，却逐渐变成了一种高高在上的、恩人式的施舍。李冲一帆风顺的经历、游刃有余的个性，又使他在李彪心中成为整个高门阶层的成功代表。原来李彪在御史台工作，李冲在尚书省，碰面机会不多。现在李彪兼度支尚书，和李冲整天共事，满腔怨愤逐渐无法克制，变成了对李冲的抵制抗拒，恶语怒目。

《魏书·李彪传》称，宋弁曾受到李冲压制，遂怂恿李彪攻击李冲。这也许有一定道理，但未必是李彪失态的根本原因—以他的才智和政治阅历，不会这么容易被人利用，何况此时宋弁正随孝文帝南征，不在洛阳。李彪只是对李冲表达愤怒，并非政治斗争的揽权争利，或者收集证据告黑状。稍有理性的人都明白， 这种公开对抗没有任何好处，结局只能是两败俱伤。

门第压力下，李彪积累了多年的紧张、愤怒情绪彻底爆发，使他失去了理智，恐怕自己也不能解释自己的行为。李冲大概也不理解李彪何以行为失常。他当面斥责李彪，“尔如狗耳！为人所嗾”，仍是怀疑宋弁在背后怂恿（《魏书·宋弁传》）。李彪的反常行为使李冲完全失态，他数次与李彪争吵，震怒中大呼大叫，甚至摔断桌案。

毕竟李冲是李彪的上级。他征得任城王元澄支持，逮捕了李彪及御史台诸侍御史，上书孝文帝要求罢免李彪，送廷尉治罪。上书中，李冲指出，李彪“昔于（在）凡品，特以才拔”。为了证明他与李彪没有私人恩怨，李冲特意提到，李彪在入仕之初曾努力为公，成效卓著。关于李彪的罪错，李冲举出来的也只有昔日会审犯人时严酷刻急，最近行为乖张失常而已，没有政治斗争常用的贪污、谋反等罪名。

李冲性格素来温和，与李彪的争执使他精神错乱，一病不起，病中还在胡言乱语，责骂李彪是小人，十余天后就去世了，时年四十九岁。孝文帝在悬瓠城的前线指挥部看到李冲上表，也惊愕不已：“何意留京如此也！”李冲死讯传来，孝文帝在悬瓠城为之举哀，哭泣不能自持。有司判处李彪死刑，孝文帝予以赦免，只给予免官处罚。李彪不久就回到顿丘家中。