离婚后男方可以要回抚养权，如果双方都想变更孩子的抚养权，孩子的父母双方可协商，达成协议变更孩子的抚养权。一方想变更孩子的抚养权，可向人民法院起诉。

有下列情形之一的人民法院应支持：

(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；

(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为, 或其与子女共同生活对子女身心健康确有不利影响的；

(3)十周岁以上未成年子女, 愿随另一方生活, 该方又有抚养能力的；

(4)有其他正当理由需要变更的。

【法律依据】

《婚姻法》第三十七条离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议，协议不成时，由人民法院判决。