你丈夫的说法没有法律依据，你们之间的协议有效。
你与丈夫在离婚协议中的约定是双方的真实意思表示，对双方具有法律约束力，没有经过民政部门的确认并不影响其效力。
除非你丈夫能够提供证据证明，你们双方在签订该协议时存在欺诈、胁迫等情况，否则该协议应为有效。你持此协议向法院起诉，法院会依据该协议内容分割你们的财产，确认孩子的归属等。