薛家虽然与贾家同为四大家族之一，但细究起来与贾家的关系其实并不亲近。薛姨妈是王夫人的妹妹，也就是贾府媳妇的亲戚，薛家在金陵有钱有宅，却带着一双儿女住进贾府，而且一住就是许多年，不得不说是一件很奇怪的事情。
然而更令人费解的是，贾府曾经明里暗里下过五次逐客令，奈何薛家就是不搬，直到贾母心腹王熙凤抄检大观园时，薛家为了避嫌才搬出蘅芜苑。

贾府是高门大户，不缺钱财更不缺屋舍，薛家要住，她们本可以睁一只眼闭一只眼，为何会拉下脸皮赶她们走呢？薛姨妈和薛宝钗固然是主因，但薛蟠也是一个不可不提的“忧患”。

由于幼年丧父，寡母又纵容溺爱，致使薛蟠欺男霸女，有“呆霸王”之称。薛蟠曾为霸占一个女子，而打死了一个百姓，其内在性情可见一斑。
《红楼梦》宝玉和王熙凤遭梦魇那一回，是薛蟠第一次见到林黛玉，曹雪芹用了“酥倒”二字将薛蟠的的痴迷程度展露无疑。林黛玉的美貌盖过了薛蟠之前所见过的美色，再加之薛蟠本身就是一个好色之人，此次他自然将丰神若仙子的黛玉记到了心里。

原文第五十七回，黛玉要认薛姨妈为娘，反遭薛宝钗打趣：“非也。我哥哥已经相准了，只等来家就下定了，也不必提出人来，我方才说你认不得娘，你细想去。”又说“真个的，妈和老太太求了他作媳妇，岂不比外头寻的好？”

宝钗还是闺阁里的女子，却如此调侃黛玉，可见薛蟠私底下其实早已央求过薛姨妈和宝钗，不然宝钗也不至于如此唐突黛玉。
可薛蟠是何许人也？香菱和夏金桂的悲惨结局已在那里摆着，黛玉是贾母的心头肉，怎会让这么一个寻花问柳之人糟践了自己的亲外孙女。

防人之心不可无，为了彻底断了薛蟠对林黛玉的痴心妄想，切断二人之间的联系是最好的办法，那么只能对薛家敬而远之了。