【法律意见】
可以起诉要回抚养权，但是不可以起诉他不抚养子女，因为它的这一行为是托管，并不违法。
【法律依据】
《婚姻法》第二十一条规定：父母对子女有抚养教育的义务子女对父母有赡养扶助的义务。
父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。
子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。
第三十条规定：子女应当尊重父母的婚姻权利，不得干涉父母再婚以及婚后的生活。子女对父母的赡养义务，不因父母的婚姻关系变化而终止。
因此，夫妻离婚，无论抚养权归谁，子女对父母都具有赡养义务，父母对孩子都具有抚养义务。