妻妾众多，死后家道中落

据史书记载，纪晓岚先后有一位夫人和六房妾，这在当时对于一个官至礼部尚书的大学士来说是很正常的，没有反而不正常。纪晓岚很讲感情，1740年17岁的纪晓岚就跟邻县20岁的马氏成婚。其婚事由长他18岁的同父异母哥哥纪晴湖不惜花费数百金操办。纪晓岚与马氏一生相敬如宾，白头偕老。马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友，这在封建社会来讲是很难得的。

纪晓岚的夫人姓马，在《阅微草堂笔记》中出现过两次。第一次是以“嫡庶”之“嫡”的身份出现的。《槐西杂志》第二卷八十八条是为纪的一个侍姬立传的，说马夫人很喜欢那侍姬：“故马夫人终爱之如娇女。”第二次是以婆母身份出现的，在《槐西杂志》卷三第二百一十四条：“马夫人称其(二儿媳)工、容、言、德皆全备。” 纪惜墨如金，两次提到马夫人，一共就用了二十多个字。笔法之中，读不出夫妻之间应有情感色彩，倒是有些客气，有些许远距离的尊重。这是合乎情理的。

郭彩符是纪的侍姬之一。《槐西杂志》卷二第一百四十一条专门讲的就是这个女人，三百余字，不少了。纪简单讲了这女人的来历和命运的不佳。重点讲了两件事：一是纪受贬在新疆时，“姬已病瘵“，到关帝庙问了一支签，知道还能等到纪回来，但病却好不了，果然纪回来不久，郭氏就去世了。二是在郭氏死后，家里晒其遗物，纪睹物生情，作了两首怀念郭氏的诗：“风花还点旧罗衣，惆怅酴釄片片飞。恰记香山居士语，春随樊素一时归。”(郭氏亡在送春之日)“百折湘裙台画栏，临风还忆步珊珊，明知神谶曾先定，终惜芙蓉不耐寒。”

沈明玕是纪的另一侍姬，纪着墨最多，用了两篇七八百字。《槐西杂志》第二卷八十八条几乎是在给沈氏作传，除介绍了她的来历、自愿当富家之媵妾，“女子当以四十以前死，人犹悼惜。青裙白发，作孤雏腐鼠，吾不愿也”的心愿，还录了她一首小诗：“三十年来梦一场，遗容手付女收藏。他时话我生平事，认取姑苏沈五娘。”而且说沈氏临终前生魂跑到纪晓岚“侍值圆明园”的住处去探望了他。沈氏果然30多岁就去世了，纪在其遗像上提了两首诗，其中一首为：“几分相似几分非，可是香魂月下归。春梦无痕时一瞥，最关情处在依稀。”《滦阳续录》卷一第二十八条专门录了沈氏死前不久，“以常言成韵语”写的一首《花影》诗：“绛桃映月数枝斜，影落窗纱乡帐纱。三处婆娑花一样，只怜两处是空花。”说沈氏诗中“两处空花，遂成诗谶”(一花为沈氏不久亡，一花为沈氏婢女亦不久亡)。

这些妻妾为纪晓岚生了4个儿子。其中，长子纪汝佶十分聪明，21岁就中了举人。但纪晓岚被发配新疆后，纪汝佶变得精神颓废，整天和一些诗友厮混。纪晓岚的一个学生朱子颖把纪汝佶带到泰安散心，没想到纪汝佶偶然见到《聊斋志异》的抄本，更是无心科举，埋头创作专讲狐仙鬼怪的笔记小说，让纪晓岚失望之极。纪汝佶25岁郁郁而亡。纪晓岚次子纪汝传当过江西南昌、九江等府通判。三子纪汝似曾捐广东候补东莞县丞。四子纪汝亿，事迹已不可考。纪晓岚死后，家道也就中落了。其后人与望族张之洞家通婚者数十人，《阅微草堂笔记》中记有：“纪家之女适南皮张家者数十人，张家之女适纪家者亦数十人”。这个张家，就是晚清重臣张之洞家。