Pues…
O se han caído bien y punto. Y si quedan, será como amigos y ya. No le veo el problema a que se hayan caído bien. A nadie le parecería mal si hubiera sido otro hombre.
Donde que sí que veo un problema (y muy gordo) es en que le expongas tus pensamientos y sentimientos y, en lugar de escucharte y tranquilizarte, los minimice y te insulte.
Yo lo dejaría. Pero por falta de responsabilidad emocional y por no tener en cuenta tu bienestar mental.