依据《中华人民共和国婚姻法》第21条规定，父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务。父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。本案中，你父亲没有工作，无劳动能力，你作为子女应当向你父亲支付赡养费。这并不以你父亲向你履行抚养义务为前提的。