《魏书·灵征志》所列的“雾”，主要是大规模和严重的沙尘暴天气，如“雨土如雾”，“黄雾，雨土覆地”，“土雾四塞”，“黄雾蔽塞”等。最严重的一次发生在孝文帝太和十二年十二月，从丙戌日（489年1月28日）开始，连续六天“土雾竟天”，“勃勃如火烟，辛惨人鼻”。该志记北魏这类大雾凡九次，其中七次在宣武帝时期，并总结说：“时高肇以外戚见宠，兄弟受封，同汉之五侯也。”《魏书》把宣武帝时期沙尘暴天气频发归咎于高肇兄弟受宠，反映了北魏后期的一个主流，那就是对高肇的批判性和否定性立场。《魏书》继承了这一立场。
高肇兄弟于景明二年（501）上半年被招入洛阳，骤然宠贵，大概需要一段时间来适应。但高肇本人至迟已于景明三年秋被授予尚书右仆射的重要官职。《魏书·北海王详传》：“世宗讲武于邺，详与右仆射高肇、领军于劲留守京师。”宣武帝到邺城阅兵讲武，在景明三年（502）九月。那时高肇以尚书右仆射留守洛阳，高显以侍中陪同皇帝出行，兄弟二人兼顾内外，看起来是宣武帝特意的安排。高肇进一步高升，做到尚书令。《魏书》和《北史》都没有记高肇始任尚书令的时间，我推测在正始四年九月。高肇为尚书右仆射时，尚书令是广阳王元嘉。《魏书·世宗纪》载正始四年九月己未（507年9月24日）诏书，以“尚书令、广阳王嘉为司空”。元嘉腾出的尚书令位置，自然立即为高肇所占据，任命时间很可能在同一天或稍后。
高肇担任尚书令差不多四年半。《魏书·世宗纪》延昌元年正月丙辰（512年2月27日）“以车骑大将军、尚书令高肇为司徒公”。延昌三年（514）冬以高肇为主帅统军征蜀，加大将军之号，仍居司徒之位，次年春回到洛阳被杀，司徒就是他的最终官职。《北史·外戚传》说高肇升司徒时，“虽贵登台鼎，犹以去要怏怏，众咸嗤笑之”。这时司徒最称荣耀，可高肇还是更看重把持行政实权的尚书令一职，这反映了他看重实际、专注于当下的风格，浸润于官场文化的那些人当然无法理解。
史书斥高肇恃宠专擅，核以记事，每虚多实少。《魏书·裴粲传》：“时仆射高肇以外戚之贵，势倾一时，朝士见者咸望尘拜谒。”朝士如此巴结（或畏惧）高肇，是不是意味着如果不“望尘拜谒”，就会有麻烦呢？传文表彰裴粲，因为他就没有那么做，他见高肇时，只是按照常规礼节“长揖而已”。家人怪责，裴粲回答：“何可自同凡俗也。”然而他并没有因此倒霉，高肇不曾给他穿小鞋。高肇当尚书令时，御史中尉是游肇，二人同名。高肇让游肇改名，游肇说自己的名字是孝文帝所赐，因此坚决不肯改名。《魏书·游肇传》：“高肇甚衔之，世宗嘉其刚梗。”虽然惹得高肇不高兴，却博得宣武帝赞赏，高肇也拿他没办法。高肇为司徒时，有个儒生刁冲因高肇“擅恣威权”而上表攻击他。《北史·刁冲传》记刁冲“抗表极言其事，辞旨恳直，文义忠愤，太傅清河王怿览而叹息”。很显然，刁冲也没有遭到高肇的打击报复。事实上，高肇的话宣武帝也不是都听。《魏书·良吏传》记宋世景特别能干，“台中疑事，右仆射高肇常以委之”，后高肇和尚书令元嘉一起推荐他做尚书右丞，因王显从中作梗，“故事寝不报”，宣武帝竟然没有批准。
见于史书的高肇主要罪状似乎都与几个亲王之死有关。北海王元详之废，《魏书·北海王详传》说是高肇诬告：“后为高肇所谮，云详与（茹）皓等谋为逆乱。”元详与茹皓勾结亲昵，已见前述，茹皓之败，牵连及于元详，而元详确有诸般劣迹。《魏书·彭城王传》把元勰遇难全都推给高肇：“尚书令高肇性既凶愎，贼害贤俊。又肇之兄女，入为夫人，顺皇后崩，世宗欲以为后，勰固执以为不可。肇于是屡谮勰于世宗，世宗不纳。”京兆王元愉反于冀州，元勰的舅舅潘僧固“见逼从之”，也就是说，潘僧固加入了元愉的叛乱。可是，潘僧固跟随元愉到冀州做官，恰恰是元勰推荐的。于是，传文称高肇诬告元勰“北与愉通，南招蛮贼”。元勰死后，其妻李妃号哭高叫：“高肇枉理杀人，天道有灵，汝还当恶死。”在宫里率领武士逼元勰喝下毒酒的元珍，据《北史·魏诸宗室传》，“曲事高肇，遂为帝宠昵”。宣武帝让自己宠昵的元珍动手处死元勰，恐怕不能说是高肇的主意。元愉在冀州称帝造反，据《北史·孝文六王传》，“称得清河王（元怿）密疏，云高肇谋为杀害主上”，兵败被俘，至野王“绝气而死”，“或云高肇令人杀之”。同传又说：“司空高肇以帝舅宠任，既擅威权，谋去良宗，屡谮（元）怿及（元）愉等，愉不胜其忿怒，遂举逆冀州。”这就把元愉造反的责任也推到高肇头上。元怿向宣武帝指控高肇，比之于王莽，提出“宜杜渐防萌，无相僭越”，“宣武笑而不应”。
史书有关高肇“贼害贤俊”“谋去良宗”的这几个事例，都与宣武朝权力斗争的核心问题有关，那就是宣武帝对几个叔父十分警惕。在一度威胁皇权的元禧、元详死后，宣武帝又担心皇叔元勰在背后支持几个皇弟，后来还的确出现了皇弟称帝造反的大案。在这几个亲王的不幸故事中，高肇当然发挥了一定的作用，但与其说他是罪魁祸首，不如说他只是宣武帝用得称手的一个工具而已。这个道理，当时朝中诸贵，包括几个遭遇不幸的亲王，一定也都明白，只是不可点破。李妃见到元勰尸体，伤恸已极，愤怒已极，却也只敢咒骂高肇，其实她当然知道谁是真正拿主意的。
可以说，高肇代宣武帝担负起全部骂名，本是皇帝制度的内在要求。《魏书·任城王传》：“于时高肇当朝，猜忌贤戚。澄为肇间构，常恐不全，乃终日昏饮，以示荒败。所作诡越，时谓为狂。”元澄为孝文帝所亲用，名列六辅，元禧、元详亦颇为忌惮，宣武帝对他不可能不提防。元澄“常恐不全”，决不会仅仅因为高肇的“间构”。眼见元禧、元详、元愉、元勰如此下场，元澄采用自秽策略，“终日昏饮，以示荒败”。
当然，宣武帝最亲宠的高肇也是元澄不敢得罪的。《魏书·任城王传》附《元顺传》记元澄子元顺事（元顺很可能是李令徽所生，李令徽的弟弟李子岳娶高琨之女，即高猛的姐妹，所以元顺和高肇是沾亲带故的）：
时尚书令高肇，帝舅权重，天下人士，望尘拜伏。（元）顺曾怀刺诣肇门，门者以其年少，答云“在坐大有贵客”，不肯为通。顺叱之曰：“任城王儿，可是贱也！”及见，直往登床，捧手抗礼，王公先达，莫不怪慑，而顺辞吐傲然，若无所睹。肇谓众宾曰：“此儿豪气尚尔，况其父乎！”及出，肇加敬送之。澄闻之，大怒，杖之数十。
元澄杖责元顺，可能是听说了高肇的那句评论。不过，从这个故事也可以看出，高肇还是有一定心胸的。元澄怕的不是高肇，而是高肇背后的宣武帝。不过宣武帝对高肇也不是盲目信用的。《魏书·乐志》记公孙崇为考定音律事于正始四年上表，以为金石音律所关至大，请求皇上派重臣主持，因为“自非懿望茂亲、雅量渊远、博识洽闻者，其孰能识其得失”。谁是这样的人呢？公孙崇表曰：“卫军将军、尚书右仆射臣高肇，器度淹雅，神赏入微，徽赞大猷，声光海内，宜委之监就，以成皇代典谟之美。”这样神乎其神的美誉，高肇那时一定享受了很多，如今保留在史料里的已相当罕见。不过宣武帝不是糊涂蛋。《魏书·乐志》说“世宗知肇非才”，一方面同意公孙崇的表请，另一方面下诏“可令太常卿刘芳亦与主之”，找来一个真正的专家与高肇一起主持其事。
叙述与事实脱节是生活的常态，不过对于高肇，以及千千万万有幸被历史提到的人来说（虽然进入历史就意味着变形），更大的不公平和不真实发生在身后，在各种各样的历史叙述中。试举一例。《魏书·天象志》有如下一条：
世宗景明元年四月壬辰，有大流星起轩辕左角，东南流，色黄赤，破为三段，状如连珠，相随至翼。左角，后宗也。占曰：“流星起轩辕，女主后宫多谗死者。”翼为天庭之羽仪，王室之蕃卫，彭城国焉。又占曰：“流星于翼，贵人有忧系。”是时，彭城王忠贤，且以懿亲辅政，借使世宗谅阴，恭己而修成王之业，则高祖之道庶几兴焉。而阿倚母族，纳高肇之谮，明年，彭城王竟废。
这一段叙述与分析的时间终点在景明元年（500）的“明年”，事件标志是“彭城王竟废”。如前所述，彭城王元勰“悲喜交深”地“释位归第”，在景明二年正月庚戌（501年2月18日）。那时高肇兄弟还在平城，未曾参与宣武帝从辅政诸王手中夺回权力的宫廷政变，与洛阳的权斗毫无干系，说宣武帝这时“阿倚母族，纳高肇之谮”，是一点也不符合真实历史的。事实上，正是在高肇担任尚书右仆射以后的景明四年（503）七月，被废的元勰才重新起用，高拜太师。上引这段对于星占的历史分析更违背史实的，是说“是时，彭城王忠贤，且以懿亲辅政”，似乎不知道元勰本来就不在六辅之列，说什么“借使世宗谅阴，恭己而修成王之业，则高祖之道庶几兴焉”，更是离题万里了。
身份制与等级制社会对出身与流动限度是非常敏感的，出身寒贱者只宜在一个限阈内流动，如果因某种机缘突破了制度设定的流动极限，进入由特定身份等级社会所专属的那个阶层，他就成为通常不受欢迎的特例。对高等级政治职务的垄断，反映了国家对高等级社会经济政治利益的制度性保障，与此相配合，就有一整套意识形态设置，其基本舆论不仅是当时政治的晴雨表，也会反映在历史编纂中。突破身份的制度性极限，意味着必然面对否定性的社会舆论。清人钱大昕说：“六朝人重门第，故寒族而登要路者，率以恩倖目之。”目之为恩倖，就是对其权位予以伦理性的否定。