可以，法律禁止的是三代以内旁系血亲结婚，三代以内旁系血亲是在血缘上和自己同出于三代以内的亲属。这里的三代是从自己开始计算为一代的三代。（简单说就是，替谁考虑就把谁当为第一代，向上查直到为同一父母而生为止）。
以你为例，你和你的那个哥哥是第一代，你们各自的父母是第二代，你们各自的爷爷奶奶是第三代，你爷爷和他的兄弟为同一父母，这已经是第四代了。
所以你和你的那个哥哥是四代旁系血亲，这是法律所允许的。