明代有名的一部小说《金瓶梅》就与严世蕃有着千丝万缕的联系。小说中的“西门庆”这个主要人物就是影射严世蕃而来的。严世蕃小名“庆儿”，号“东楼”，《金瓶梅》的作者“兰陵笑笑生”将“东楼”化作“西门”，直接用“庆”字为名，创造出这个小说人物，来影射严世蕃荒淫无度的生活。这里姑且不去考证“西门庆”到底是不是以严世蕃为原型，但严世蕃贪酷成性、生活糜烂却是跟小说里的西门庆非常相似。 一次，严嵩的义子赵文华从江南回来，送给严世蕃的见面礼就是一顶价值连城的金丝帐，还给严世蕃的二十七个姬妾每人一个珠宝髻。就这些礼物，严世蕃还嫌太少，心里非常不满，可见他的贪婪到了何种程度。世宗的第三子裕王朱载垕，按例应被立为太子，但世宗对他不是很亲近。因此，严氏父子对他也很冷淡。就连照例每年该给裕王府的岁赐，户部都因为没有严氏父子的命令而一连三年都没给发放。最后，这位未来的皇帝凑了一千五百两银子送给严世蕃，严世蕃欣然接受，才让户部补发了岁赐。严世蕃每每向人夸耀：“天子的儿子尚且要送给我银子，谁敢不给我送银子？”严世蕃的胆子真是大到了极点。 当时严氏父子把持着朝中官吏的任选、升迁。官无大小，皆有定价，不看官员的口碑、能力，一切都以官员的贿金为准。严世蕃利用各种手段大肆搜刮，家财富可敌国。据说，严世蕃与妻子要将金银埋藏到地窖里，想起这都是仰仗他父亲得来的，于是就请严嵩来观赏，严嵩一见，数量之巨出乎想像，顿时目瞪口呆，隐约感到大祸将至。 严嵩虽然奸贪狡诈，但却只有欧阳氏一个妻子，二人携手终老。严世蕃在这点上与他父亲截然不同。贪必好淫，淫必生贪，这话用在严嵩身上未必准确，但用在严世蕃的身上却很合适。他荒淫无度的生活比起《金瓶梅》中的西门庆，有过之而无不及。严世蕃的妻妾就有二十七个，其他的侍女、丫鬟更是无数。他让他的这些美妻娇妾，列屋群居，她们所用服饰，绣着龙凤花纹，点缀着珍珠宝石，极尽奢华之能事。严世蕃用象牙床，围着金丝帐，朝歌夜舞，很为自己的奢靡生活感到得意。但是他没想到，这正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虏，民不聊生，严世蕃的大肆奢华铺张当然就更招人忌恨。