从刘备的人生轨迹来看，白耳兵的前身就是刘备首次起兵的部队，之后历次跟随刘备参战，并且不断的增加新的士兵进来，基本是三部分人：幽州兵（河北兵）、豫州兵（江苏兵）、荆州兵（河南、湖北、湖南兵）。李严自视甚高，护军辅匡等人在年龄、地位上与李严差不多，但李严却不愿主动与他们交往。
诸葛亮为什么要废掉李严？
一山难容二虎，诸葛亮和李严没有私仇恩怨。更没有为争权夺利斗争的你死我活。李严最早是刘表的秭归县令。曹操席卷荆州时，李严逃往成都，就被刘璋任命成都令，干得非常出色。214年，已经是益州刘璋任命为护国军司令，率领一支精兵，去抗击入侵成都刘备，在绵竹打仗，在法正影响下，率军投降刘备，成为刘备偏将军。刘备成都得取胜利后，李严为犍为太守，兴业将军。
是刘备政权中五人心腹，扬武将军蜀郡太守法正，昭文将军伊籍，左将军西曹掾刘巴，兴业将军李严。还有刘禅的老师，挂名军师校尉的诸葛亮，他还没有话语权。他们一起为蜀汉制定建国章程，治理混乱，法纪松弛，德政不举，威刑不肃，官员随意作为的不稳定社会秩序，定出《蜀科》成为蜀汉的法律体系的基础。刘备去夺取汉中和曹操几十万大军作战时，死生未卜，成败难测，国中的强盗马贼马秦 高胜等，在郪县领兵造反，招集队伍数万人叛乱，打到离成都不远的资中县，势头很猛。
李严不待刘备命令，发兵只率本郡守城的五干人就主动出击，镇压动乱队伍，斩杀马秦，高胜。使动乱者四散逃跑再回家中，又作农民种田去了。李严为刘备在后方稳定，保证刘备在前线抗曹，夺汉中之战的大捷做出贡献。不久后，越嶲郡羌夷帅高定，又率领羌人围攻新道县。李严率军出击，马到成功，高定被打败后逃走。刘备汉中大捷成汉中王，回成都后，加封李为辅汉将军，继续为犍为太守。
是刘备的第一个军政全权大员。同期诸葛亮只是挂名军师中郎将。张飞在阆中汇军时被部所杀，刘备为保证儿子刘禅安全，给诸葛亮一些军队为校尉。李严不但军事上主动强势作为，而且成功多勋有著，吏治上凿通天社山，修通沿江大道，大兴土木，把成都搞得焕然一新，以致吏民乐悦之，也为新成都开拓设想，要建设富裕汉蜀，使汉蜀胜过中原，观楼壮丽成为第一人间美丽城市的，做了很多兰图远景。
当然因曲高和寡，性情孤傲，难以与人相处。又是在建国初期，和同僚观点，意见，想法，不和。理想更相去甚远。大家对他都持反对态度，争执更多，江州都督杨洪一气之下辞职不干 。牙门将王冲更发生打架摩擦，李严有军有权有势，王冲自知被其所恨，害怕报复被诬陷罪名而叛逃投魏。李严自视甚高，同级的辅匡护军将军，地位相等，岁差不多，李严也不去主动与他来往。
虽是蜀国早期支柱之一。因为一朝天子，一朝臣。刘备伐吴，在夷陵之战中，指挥错误，将土消积作战，麻痹大意。被青年少将陆逊一战全歼，刘备只身逃回永安。先将李严召来永安宫，任命他为蜀汉刘备以下，万人之上尚书令。必有将国家大事给予意思。可惜是心高意远的李严，被二世祖刘禅坚决不同意。刘禅直接不同意刘备安排，让自己老师诸葛亮成为自己首辅，并软磨硬泡把一切权力都让刘备给了诸葛亮。
刘备重病身衰，由着刘禅去想去做，以李严为中都护，统管内外军事，留下镇守永安。不能不说刘备还是把权力重点，放在李严身上。乱世军权，重于政权。李严是读书人，刘备封他都乡侯，假节，加光禄勋。却没有给诸葛亮加爵封侯有假节。李严的都有先办后奏的权力。这些权力都给了李严。诸葛亮的权力，是刘禅为他要来的。刘备安慰他说“你的才能是此曹丕的十倍，必定能够安顿国家，终可成就大事。
如果他没有才干，你可以自行取度。“诸葛亮涕泣地说“臣必定喝尽股肱的力量，报之鞠躬尽瘁死而后已。可见刘备说诸葛亮才能十倍于曹丕，就是虚的。当时并不看好诸葛亮。给李严都实实在在真权实惠。给诸葛亮“政事无巨细，咸决于亮。只有“政事“。可惜李严比诸葛亮差的不是一星半点，有权不会用，被困在永安五年。使诸葛亮不但政治势力强大起来，而且有了自己一支军队无当军，不论政绩还是名誉。
