如果合同中约定了三年内必须交房，开发商未履约，则买房者有权要求退房。但如果买房者在合同中同意延期，或在三年期间没有要求履行合同，那么开发商不履行合同的责任可能会减轻。此外，如果开发商能够提供合理的解释和理由说明延迟交房的原因，则退房权可能会被削弱。所以具体情况需要结合合同约定和法律规定来判断。