康熙四十一年，康熙帝南巡至德州，皇太子胤礽得病，召索额图至德州侍疾。索额图留居月余，皇太子胤礽病愈，一同返回北京。康熙帝突然召索额图到德州表面上是令探视皇太子，其真实含意并非如此。索额图为皇太子生母孝诚仁皇后的叔父，太子与索额图关系很密切。后来康熙帝逐渐对太子行事不满，索额图也被牵连在内。其次有人告发索额图，康熙帝没有处置。倾陷索额图的人，首先令人注目的是高士奇。高士奇家道贫困，但长于诗文书法，被推荐给索额图。索额图常以“椒房之亲，且又世贵，侍士大夫向不以礼，况高是其家奴狎友，其召之幕下也，颐指气使，以奴视之”。以后高士奇被康熙帝破格提拔，高官显贵，但见索额图时，“犹长跪启事，不令其坐。且家人尚称为高相公，索则直斥其名，有不如意处，则跪之于庭，而丑诋之”。索额图有时还“切齿大骂，辱及父母妻子”。为此，高士奇怀恨在心，“遂顿忘旧恩，而思剚刃于其腹中”。康熙四十二年，高士奇随驾北上，这时高士奇已背叛索额图，投靠明珠。明珠与索额图“权势相侔，互相仇轧”。
康熙四十二年，康熙帝下旨赐死索额图，索额图的同党或被杀，或被拘禁、或被流放；索额图同祖子孙都被革职，其二子格尔芬、阿尔吉善被处死。康熙帝对索额图一生所参与的重要军政大事，除与沙俄在尼布楚的谈判外，全面给予否定。
城门失火殃及池鱼，大爷、八爷认为楞泰既是索额图的同党、族人，又是东宫的得力膀臂，寻着他的一点过错，在皇帝面前狠狠告了楞泰一状：楞泰在太子面前搬弄是非，离间皇家父子兄弟关系。康熙最看重的是兄弟和睦，讨厌朝臣煽动儿子们争夺皇位。他一怒之下，不及思索，将楞泰抄家，父子俩发配宁古塔。女眷头插草标在崇文门叫卖。可怜千金之躯的二小姐也在被发卖之列。她叫天天不应，叫地地不灵，眼看就要沦落民间，成为别人的玩物。辛亏京城百姓知道楞泰家是旗人官宦之家，不敢随便购买。
贾政听说这消息后，他千方百计指使家人把二小姐和她的贴身小丫鬟妙玉买来，藏在别院。为了避祸，给她改名为李锦。二小姐到了此时也是无可奈何，两人秘密同居了。这李姨娘知书达理，精明能干，深得贾政宠爱。
李锦很快有了身孕。李锦是官家千金，父兄虽然获罪，门生故吏、亲戚朋友中富贵人家不少，不给她一个名分，是交代不过去的。所以贾政硬着头皮就把这事向贾母报告，贾母最疼爱小儿子，虽然埋怨儿子这事做的鲁莽，可是木已成舟，总不能陷儿子于不礼不义，勉强同意儿子娶李锦为妾，将其接到府内，给予一个偏僻的小院子供其居住。
李锦背后是当朝大族赫舍里，家里人知道李锦的存在，对外都闭口不说，亲戚走动也从来不用她出头出面。李姨娘后来生了贾珩，平日里就在自己院子里带孩子，从来不出去。这孩子也是赫舍里家在这世上留下的唯一的根。她疼爱孩子，自己喂养，不用乳母。