双方都出轨，离婚时不能互相赔偿。离婚损害赔偿请求权人必须是无过错一方。夫妻双方均有法定过错情形，一方或者双方向对方提出离婚损害赔偿请求的，人民不予支持。
法律依据
最高人民关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第九十条，夫妻双方均有民法典第一千零九十一条规定的过错情形，一方或者双方向对方提出离婚损害赔偿请求的，人民不予支持。
《民法典》第一千零九十一条，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。