交通事故责任认定书下来后，如果对方迟迟不定损，可以请保险公司先赔偿你的损失，保险公司拒赔可起诉。至于对方自己的损失，对方不起诉就随他去，起诉了再说。

【法律依据】

《道路交通安全法》第七十三条规定，公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。