【法律意见】
需要起诉到法院并证明对方不履行监护义务对子女造成了损害。
【法律依据】
《民法通则》规定：监护人不履行监护职责，或者侵害了被监护人的合法权益，其他有监护资格的人或者单位向人民法院起诉，要求监护人承担民事责任的，按照普通程序审理要求变更监护关系的，按照特别程序审理既要求承担民事责任，又要求变更监护关系的，分别审理。