最高人民法院《关于适用中华人民共和国婚姻法若干问题的解释（二）》第十条规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一）双方未办理结婚登记手续的；
（二）双方办理结婚登记手续但确未共同生活的；
（三）婚前给付并导致给付人生活困难的。
适用前款第（二）、（三）项的规定，应当以双方离婚为条件。
由于你说的案情并不十分明确，所以很难具体说是否应退还彩礼。如果你们现在处于离婚阶段，而又存在上述司法解释规定的（二）或（三）款的情形，则离婚诉讼时请求退还彩礼会受到人民法院的支持。否则在其他情况下，追回彩礼的请求将不能得到人民法院的支持。但是，女方自愿退还彩礼的情形除外。