Quizás la relación está fracturada y no te habías dado cuenta.
Quizás emanas la imagen de víctima con tus episodios de ansiedad y eso lo pueden usar como base para dominarte.
Quizás podrías plantearte dejar de excluir a tu padre de tu vida (si es viable, claro) porque de alguna forma necesitas apoyo.
