根据《中华人民共和国仲裁法》第3条规定，你和弟弟因遗产继承发生纠纷而约定进行仲裁是无效的，因为仲裁程序要解决的是合同纠纷和其他财产权益的纠纷，然而遗产继承纠纷是基于特定身份关系而产生的，不在仲裁法调整的范围内。
如果你向法院声明双方有仲裁协议，法院首先会裁定仲裁协议无效，然后继续对案件进行审理。