遗产继承在没有遗嘱或其他的情况下为法定继承，分为第一顺序和第二顺序，第一顺序继承人为配偶，子女，父母。
根据你所说的情况，在你父亲去世的时候遗产应该由你母亲，你，你兄弟来共同继承，继承份额一般应当均等，需特殊照顾或尽主要抚养（或扶养）义务的，可以多分。所以说，在一开始继承的时候，你就应当继承你父亲财产。
当然，你母亲的财产可以遗嘱指定一个或数个法定继承人继承。