No normalices una situación que NO es ni medio normal.
NO es normal que te digan esas cosas, aunque sean viejos. No tiene justificación.
NO es normal que tu novio, no vea que esos comentarios están súper fuera de lugar y te faltan al respeto en tu cara.
NO es normal que, a pesar de todo, tú, por hacerle feliz a él, vuelvas a esa casa. No te humilles, y más si él no tiene dos dedos de frente y te defiende y les planta cara.
Yo no volvería e incluso me plantearía dejar a mi novio si no fuera capaz de ver eso.