吴伟业对自己的屈节仕清极为歉疚，常借诗词以写哀，晚年也因此惊恐不安深怕罹难

清兵南下之后，长期隐居不仕，以复社名宿主持东南文社活动，声望更著。吴伟业的儿女亲家陈之遴是由明入清的大臣，当时正置身子新朝的党争之中，试图借吴伟业的声望和文采以结主上，同时希望吴伟业也能入阁为相，以扩大自己的势力，因此极力荐举吴伟业仕清为官。但是，正因为吴伟业是一个名声‘赫赫的先朝遗老，他的出仕客观上将造成瓦解人民抗清斗志、为清廷怀柔政策所利用的消极影响，所以，他的许多好友和一般遗民志士对此都坚决反对，力加劝阻，如著名古文家侯方域就曾致书吴伟业，提出种种异议。然而，吴伟业慑于清廷淫威，碍于老母敦促，于顺治十年（1653）九月被迫应诏北上。在将抵京师之际，他曾经数次向当事要人上书投诗，祈求宽假放归，可是仍未获允，终于在到京次年被授为秘书院侍讲，后来又升国子监祭酒。

但他并没能象陈之遴所期望的那样进入内阁，相反，陈之遴本人却在激烈的党争中失败，被发配到东北。而吴伟业内心对自己的屈节仕清极为歉疚，痛悔无绪，常借诗词．以写哀。顺治十三年（1656）底，以丁忧南还，从此不复出仕。

此后，十余年间，东南时兴大狱，吴伟业每每惊恐不安，深怕罹难。康熙十年（1671年）夏季，江南酷热，吴伟业“旧疾大作，痰声如锯，胸动若杵”（《致冒辟疆书》），他预感自己不久于人世，便留下遗言：吾一生遭际万事忧危，无一刻不历艰险，无一境不尝艰辛，实为天下大苦人。吾死后，敛以僧蓑，葬吾于邓尉灵岩相近，墓前立一圆石，曰：“诗人吴伟业之墓”。这一年的十二月二十四日，一代大诗人吴伟业病逝，葬予苏州元墓山之北。