Para tener una relación abierta hay que ser maduro, consecuente, respetuoso y honesto. Todo lo que se salga de eso es una excusa para ser infiel sin remordimientos.
Si habéis puesto una regla y él la ha incumplimiento, obviamente hay una deshonestidad. No le interesan tus sentimientos, ni negociar nada contigo. Está bien claro que no puedes confiar en él. Si transiges, te manipulará.
Sal de ahí, por tu salud mental y física.