根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条的规定，只有在以下三种情况下，男方请求返还彩礼，人民法院才会予以支持：

双方未办理结婚登记手续。

这是指双方仅按习俗举行了婚礼或订婚，但始终未去民政部门办理合法的结婚登记。

双方办理了结婚登记手续但确未共同生活。

这强调的是“确未共同生活”，即虽然法律上是夫妻，但没有实质性的婚姻生活。适用此项规定，必须以双方离婚为条件。

婚前给付彩礼并导致给付人生活困难。

“生活困难”是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，而不是指相对的经济拮据。此项规定同样必须以双方离婚为条件。

结论：如果男方在离婚时要求退彩礼，他需要提供证据证明存在上述三种情形之一。如果无法证明，女方的退还义务通常不能成立。

如果不符合以上任何一种法定情形，尤其是在双方已经办理结婚登记并共同生活的情况下，彩礼通常被视为一种以结婚为目的的附条件赠与，条件（即结婚并共同生活）已经成就。因此，在离婚时，女方原则上不需要退还。

即使符合上述应当退还的情形，法院在判决时也不会简单地“全退”或“全不退”，而是会综合考虑多种因素，酌情确定返还的具体数额或比例。这些因素包括：

共同生活时间的长短：生活时间越短，支持返还的可能性越大、比例可能越高。

彩礼的数额及实际用途：彩礼是否已用于双方共同生活、筹备婚礼、生育子女等。

是否生育子女：育有子女通常会影响返还的比例。

导致离婚的过错方：例如因一方重大过错（如家暴、出轨）导致离婚，可能会在彩礼返还问题上对无过错方有所倾斜。

当地风俗习惯。

梳理事实：首先对照上述三种法定情形，判断您的情况是否符合。

收集证据：无论您是男方还是女方，都应准备相关证据。例如：证明已共同生活的材料（租房合同、共同消费记录等）、证明彩礼数额的凭证（转账记录、证人等）、证明“生活困难”的材料（低保证明、债务凭证等）。

优先协商：双方可以就彩礼问题先行协商，达成一致。

诉讼解决：若协商不成，任何一方均可向人民法院提起诉讼，由法院根据事实和法律作出判决。

总而言之，离婚时彩礼是否退还，核心在于是否符合“未登记”、“未共同生活”或“导致生活困难”这三个法定要件，而并非男方提出要求就必须退还。

法律依据

《《最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）》》第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持： （一）双方未办理结婚登记手续； （二）双方办理结婚登记手续但确未共同生活； （三）婚前给付并导致给付人生活困难。 适用前款第二项、第三项的规定，应当以双方离婚为条件。