婚外情长期不离的情况下，最深的愧疚通常源于以下几个方面：

1. 对配偶和家庭的伤害：许多男性在婚外情期间会意识到自己的行为对配偶和家庭造成了伤害，内疚感逐渐增长，这种内疚可能促使他们产生为自己行为负责的冲动，从而选择结束婚外情关系，回归家庭修复婚姻关系。

2. 道德和伦理的冲突：婚外情违背了道德伦理，对自己的人生、品格和价值观都产生了不良影响。这种内疚可能源于社会教育和潜意识中的道德观念，认为婚外情是错误的。

3. 对其他家庭成员的内疚：除了对配偶的愧疚，还可能对对方的家庭感到内疚，希望结束婚外情以减轻这种内疚感。

4. 对自身行为的反思：一些人会因为自己的行为而感到自我攻击，不断调整自己的心态，希望减少负罪感。这种内疚感一旦形成，会变得越来越强大，影响个人的心理状态。

综上所述，婚外情长期不离的愧疚主要源于对配偶和家庭的伤害、道德和伦理的冲突、对其他家庭成员的内疚以及对自身行为的反思。这些因素共同作用，使得当事人在婚外情中难以真正获得满足和幸福。