没有结婚证就是没有结婚。法律不保护同居，但是保护孩子的利益。所以，你现在最重要的就是处理好两个孩子的抚养问题。慎重对待孩子的抚养权问题，建议如下：你们俩协商一下，签订《子女抚养权协议书》，明确孩子归谁抚养。不抚养孩子的一方要想抚养孩子的一方支付抚养费，具体支付多少钱（按法律规定，一般是按月支付本人收入的30，），怎样支付。同时，不抚养孩子的可以按时看望孩子。如果双方有财产的话，把各自的财产分开。上述问题，如果协商不成，可以向法院起诉，由法院决定。