不貞相手が、私たち夫婦は既に夫婦関係もなく、破綻していたと聞いているので、慰謝料を支払うつもりはないと主張しています。このような主張は通るものなのでしょうか。

不貞相手が、あなたの配偶者からそのような事情を聞かされていただけでは不十分です。不貞相手としては、夫婦関係の破綻を基礎づける具体的事情を主張・立証していく必要があるものと思われます。
あなたとしては、それに対し、相手方の主張事実を否認するとともに、良好な夫婦関係を基礎づける具体的事実を主張・立証していくことになります。