算违法行为，父母双方对孩子都有抚养的义务，对方侵占了这个义务，并且哪怕离婚了，大人和孩子的关系也不会中断，具体规定如下：
《中华人民共和国婚姻法》
第二十一条父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务。
父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。
子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。
禁止溺婴、弃婴和其他残害婴儿的行为。
第三十六条父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养和教育的权利和义务。