外祖父徐有贞（1407—1472）字元玉，晚号天全，苏州吴县人。明宣德八年（1433）进士。后来因迎英宗复辟有功，委任为兵部尚书、华盖殿大学士，封武功伯。徐有贞才华绝世，天文、地理、道释、方技都很通。书法擅长行草，深得怀素、米芾笔意，在当时很有书名。

祝允明娶中书舍人李应祯（后升太仆少卿）长女为妻。生一子，名续，正德年间进士，官至广西左布政使。

苏州是祝允明的家乡，也是他一生的主要活动地。在明代苏州是经济、文化相当发达的城市。太湖流域的地理条件使苏州地区的农业生产尤其是棉花和蚕桑生产很发达，使与之配套的手工业很发展，于是成为商贾云集之地，异常繁荣。在这样的情况下，文人荟萃，各种文化活动也很活跃。

明代文坛上有“吴门四杰”：张羽、杨基、高启、徐贲。他们都是诗书画俱通的雅士。

明初书坛以“三宋”为代表。三宋为宋克、宋广、宋璲，其中以苏州的宋克为代表人物。宋克尤擅草书、楷书，他在书法上成就直接影响到继起的“二沈”（沈度、沈粲）。

在绘画上，以沈周为首的“吴门画派”正在兴起。太湖流域画家辈出，“元四家”对于苏州地区的影响很大，学画的人很多，以后吴门成为明代的一个绘画中心。

苏州当时的工艺美术也很发达。《古今图书集成》中记载了扇、席、铜香炉、麻手巾、蜡牌、藤器等名产在苏州都有出处。书画碑刻与装裱业也很发达。有很多书画收藏家，书画商活动频繁。图书文物收藏成风。

这时的文学家、诗人、书画家、史学家、鉴赏家等吴门众多的文人，在相互交往和交流中自然而然地形成了群体，相互补充，相互促进，亦师亦友。又因师生、亲属等等关系使他们结成了文人网络。明代华亭人何良俊谈苏州时说：“苏州士风，大率前辈喜汲引后进，而后辈亦皆推重先达。”在这样的氛围下，吴门画派在逐渐地形成和发展。

家学有渊源　从小苦攻读

在祝允明的成长中，对他影响最大的是祖父祝颢和外祖父徐有贞。这两位长辈都是出类拔萃的人才。