离婚时双方可以约定不抚养孩子一方不支付抚养费。根据法律规定，夫妻双方离婚时，在不影响子女的健康成长的前提下，对子女的抚养费可以协议解决。双方可以约定由抚养子女一方负担全部抚养费。
相关法律可参考：
《中华人民共和国婚姻法》第三十七条
离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议协议不成时，由人民法院判决。
关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》10、父母双方可以协议子女随一方生活并由抚养方负担子女全部抚育费。但经查实，抚养方的抚养能力明显不能保障子女所需费用，影响子女健康成长的，不予准许。