El que tiene que procesarlo es tu novio.
Habla con él de lo mal que lo pasas cuando te dice eso y que qué necesidad tiene de hacerte daño.
¿Cual es su problema? Porque al principio sí lo aceptó.
¿Por qué empezó a salir contigo si era tanto problema para él o entonces no le importaba?
Por otra parte, puedes cambiar el orden si tú padre abusó de tí, puede ser buena idea honrar a tu madre (a no ser que sea tan hija de **** como tú padre) pero siempre desde tu perspectiva nunca por encajar con un novio