法律只规定了没有直接抚养方有探视的权利，但是并没有规定有探视的义务，而且对方已经履行了其给抚养费的职责，所以以对方不探视为由起诉的话在法律上不受支持。

如果离婚时双方有约定对方必须有探视的职责，那么可以起诉其违约。

《婚姻法》第三十八条：离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。 行使探望权利的方式、时间由当事人协议；协议不成时，由人民法院判决。 

父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利；中止的事由消失后，应当恢复探望的权利。