按照法不溯及既往原则，已征收社会抚养费的不予退回。

《立法法》第84条规定：法律、行政法规、地方性法规、自治条例和单行条例、规章不溯及既往，但为了更好地保护公民、法人和其他组织的权利和利益而作的特别规定除外。

也就是说，虽然不溯及既往，但侵害影响现在还存在，所以要追究相关责任。