胡蝶第一段感情就以这样的方式结束了，但这并没有使她受到影响。晚年胡蝶说：“那时大家都是青年人，应该说生活阅历很差，行事也欠周全的考虑……和林雪怀解除婚约，算是我青年时代生活的一个波折，但解决了一件不如意的事，也使我能更专心致志地从事电影事业。”

就如胡蝶说的一样，这件事并没有对她造成任何影响，反而由于这件事，人们对她的关注度更高了，她的人气也突然水涨船高。

就在这时，另一个男人走进了胡蝶的生活，他就是胡蝶一生最爱的丈夫——潘有声。

潘有声是个生意人，身材高大，还有一股读书人的气质和风雅。在一次舞会上，在朋友的介绍下，胡蝶认识了潘有声，被这个男人的气质所深深吸引。

1935年，胡蝶和潘有声在上海一座教堂里举行了结婚典礼。婚后，胡蝶逐渐淡出影坛，但她的“风流韵事”却还是不时出现在各大报社的头版头条上，而使她“韵事”不断地始作俑者就是军统头子戴笠。

抗日战争期间，潘有声在香港做生意，胡蝶也随之前往，生活还算平静。可是不久后，日本进入香港，为了不与日本人合作，胡蝶和潘有声决定回内地避难，他们将平生积蓄打包成30个箱子，托人运往内地。

但不幸的是，箱子运到半路却下落不明了，无奈之下，胡蝶只好托内地朋友寻找，一传十，十传百，就传到了军统头子戴笠的耳中。

当时的戴笠可谓是一手遮天，全国各地都布有他的眼线。他早就对胡蝶的美色垂涎不已，正好利用这个机会接近胡蝶。

但戴笠并不主动找胡蝶，而是将潘有声抓走，逼迫胡蝶上门。之后，戴笠又装作一副毫不知情的样子，“帮助”胡蝶把潘有声救出牢狱。最后，戴笠借着做生意的由头将潘有声支去昆明，自己则趁机霸占胡蝶。

戴笠一生无数，人们视之为恶魔，但为了讨好胡蝶，他竟然展现了不为人知的“温柔”和“宠爱”。为了囚禁胡蝶，戴笠大兴土木、疯狂掠夺民财，还差点得罪了四川军阀王陵基。

原来，戴笠准备为胡蝶在重庆杨家山盖一幢别墅，并准备在别墅周围点缀名贵树木和奇异花草。结果，其中一个部下在收集树木时，竟把王陵基母亲坟上的一株柏树给挖来了。

王陵基得知后立刻写信戴笠，让他立马归还，戴笠不好得罪，只好赔笑，事后把那个部下狠狠骂了一顿才解气。

为了完全占有胡蝶，戴笠还准备让潘有声办理离婚手续，好正式与胡蝶结婚。但就在戴笠进行这一计划时，他乘坐的飞机在南京西郊失事，其本人也当场身亡。

戴笠一死，胡蝶就立马逃出牢笼，与潘有声远走高飞了。

原来在胡蝶被囚禁期间，潘有声就四处寻找妻子的下落。从风言风语中，他得知是戴笠在其中捣鬼，但迫于对方势力，他也只能忍气吞声。等戴笠一死，他便立刻找到胡蝶，带她去了香港，从此隐姓埋名。