这一切足以可见，永琏这个嫡长子，在乾隆心中的位置有多重要，但即便这样，也改变不了永琏病逝的事实，储君之位，再次空了出来。而之后的数年，乾隆对于立储一事，并未有太多明示，当时的他正值年富力强，大臣们对此也并无太多的担忧，直到乾隆十一年，富察氏以四十岁的高龄，为乾隆再产一子。这个皇子就是皇七子永琮，他的出生，让乾隆大喜过望，同时由于他在当时也算是嫡长子的身份，因此，乾隆帝就有要立他为储君的想法。
但还没等乾隆将想法付诸于行动，永琮在次年就因出痘病亡，年仅两岁。永琮的早夭，同样让乾隆伤心无比，而在永琮夭折后不久，乾隆深爱的富察氏也因病去世，这就让立嫡的想法彻底破灭，因此，乾隆帝只得退而求其次，在其他皇子中挑选了。此时，乾隆的庶长子永璜已经年满二十，在之前由于富察氏的存在，他是没有机会能成为皇储的，但随着永琏、永琮以及富察氏的相继去世，他作为皇长子，机会就来了。
不过，他的机会可谓是稍纵即逝，还没等他有所表现，就因犯错，彻底失去了继承皇位的资格。乾隆十三年（公元1748年），由于富察氏的去世，永璜以大阿哥的身份迎丧，但在葬礼上，他并未表现出十分的伤感，因此遭到了乾隆的严厉批评，当中斥责他不懂礼节，言语中还暗示，取消永璜的立储资格。与他一同受到训斥的，还有十三岁的皇三子永璋，同样也被取消了立储资格。
坦白来讲，这二人可够冤的，富察氏虽然病逝，但终究不是这二人的生母，让他们表示出极为伤感的样子，着实有些勉为其难，但就是因为乾隆与富察氏的感情很好，因此就见不得二人的表现，只能说，他二人不偏不倚的撞在了枪口上。这一年，是乾隆十三年，已经有五位皇子，或早夭，或病逝，又或犯错，失去了成为储君的资格，而剩下的皇子中，皇四子永珹和皇六子永瑢，乾隆对他们并不满意，因此就将他们分别过继给了和硕履懿亲王允裪和慎靖郡王允禧当儿子，既然入了小宗，也就失去了继承大宗皇位的可能性。
不过，在乾隆晚期，对皇六子永瑢却格外器重，主要是因为永瑢工诗擅画，又通星历，让晚年的乾隆十分喜爱，曾有传言，乾隆有意传位与他，但他却死在了乾隆的前面，也失去了继承皇位的机会。将四子、六子过继给别人后，乾隆帝当时最中意的皇子，当属皇五子永琪，也就是电视剧《还珠格格》中五阿哥的原型人物，德才兼备的永琪，是皇太子人选的最大热门。
而永琪在乾隆二十八年，舍命将乾隆从大火中的圆明园背出来，更让乾隆对这个儿子另眼相看，加上他本就聪慧，也深得乾隆的满意，因此，永琪成为皇太子，几乎是当时板上钉钉的事情。乾隆三十年，为示恩宠，乾隆帝册封永琪为荣亲王，这是乾隆一朝，第一个在活着的时候，就晋升为亲王的，由此可见，乾隆帝在当时，是真的想将皇位传给永琪。
但这个让乾隆寄予厚望的皇子，又一次让他伤心欲绝，仅仅过了一年后，永琪就因病去世，享年二十六岁。此时，已经是乾隆三十一年，除了上述几个因各种原因失去继承资格的皇子们外，还有皇九子、皇十子、皇十三子、皇十四子以及皇十六子，都因病早夭，因此，有资格被立为储君的，也仅剩五人。他们分别是，皇八子永璇、皇十一子永瑆、皇十二子永璂、皇十五子永琰和皇十七子永璘。
这里面，以皇十二子永璂的地位最高，他的生母，乃是乾隆帝的第二个皇后那拉氏，按照立嫡的宗旨，他应该最具竞争力。但在乾隆三十年，乾隆与那拉氏发生了尖锐的矛盾，是何原因无从知晓，史料中也并未详述，这场矛盾带来的直接结果就是，那拉氏被冷落，在次年便郁郁而终。而作为那拉氏的儿子，永璂也被殃及池鱼，乾隆是绝无可能再立他为储君了。
剩余的四位皇子，以皇八子永璇年龄最长，但他有个致命的弱点，就是肢体残疾，虽说不太严重，但在乾隆看来，着实不符合一国之君的形象，因此，就直接将其排除在外。对于自己没有机会成为皇储，皇八子永璇也算看得开，自此开始放荡人生，将心思都花在了风月之事上，因他举止轻浮，乾隆帝不少对他进行训斥，但他依然我行我素，也正是因为如此，他在众兄弟中，活了个高寿善终，直到道光十二年才去世。
这样一来，在乾隆三十八年之前，还具有竞争资格的，仅仅只剩三位皇子，这其中皇十五子永琰和皇十七子永璘是一母同胞的亲兄弟，两人皆是孝仪纯皇后魏佳氏所生。在这三人中，乾隆是只能矮子里挑将军，最小的皇十七子永璘当时尚未成年，并且自小极为顽劣，品行不端自然就入不了乾隆的法眼，因此也被踢出局外。剩下的，只有皇十一子永瑆和皇十五子永琰了。
