如果爷爷奶奶都不在了，父亲的遗产会由直系亲属继承，父亲的直系亲属，包括配偶和子女，配偶是第一继承人，所以由你的母亲和你们共同继承。