房屋互换双方都要交税。两家换房属于房地产交换，从其性质和属性来说，仍是不同程度的房地产交易行为，因为涉及到所有权或者使用权的变更，而且必须交纳有关交易税费，具体如下：

1、营业税，5.5%按评估价计（卖方）；

2、交易费，1%的成交价（买卖双方各付一半）；

3、契 税，3%的成交价；

4、个人所得税，有利润的按评估价的2%计，属企事业单位或卖价（指评估价）低于原购买价的免收；

5、土地增值税，按评估价的0.7%计（该房地产居住超五年的免交，居住未满五年的个人要交纳，单位免交）；

6、土地管理费：8元/ m2。房产置换的缴税流程是：

1、土地使用权交换、房屋交换，交换价格不相等的，由多交付货币、实物、无形资产或者其他经济利益的一方缴纳税款。交换价格相等的，免征契税；

2、个人以房换房除契税外还涉及营业税、个人所得税、城市维护建设税、印花税、土地增值税等6个税种及教育费附加和地方教育费。交换双方按照各自房产的评估价格计算交纳印花税、营业税、个人所得税、城市维护建设税及教育费附加和地方教育费由卖房者缴纳；

3、具体的征收办法请到产权交易市场的地税征收窗口咨询。综合上述，房屋互换仍然是房产交易，需要缴税。【法律依据】：《中华人民共和国民法典》第二百零九条不动产物权的设立、变更、转让和消灭，经依法登记，发生效力；未经登记，不发生效力，但是法律另有规定的除外。依法属于国家所有的自然资源，所有权可以不登记。