Si tu novio no quiere a tus ex en casa es porque se siente inseguro respecto a ellos. Es cierto que son personas con las que has tenido un pasado y que pueden albergar esperanzas, pero si tu no quieres nada con ellos, es su problema, pues cuando se salgan del tiesto tú los vas a frenar, y si tu pareja realmente confía en ti debería estar seguro de esto y en vez de ponerse nervioso, sentir hasta pena de ellos por perder el tiempo yéndote detrás (si es lo que hacen en lugar de mostrar sincera amistad).
Ahora, siendo conscientes de esto, pues también entiendo que el chico quiera estar tranquilo en su casa y no quiera encontrarse a tu ex en el sofá y sentir esa inseguridad que le corroe. Así que, mientras no te prohíba tener relación con ellos, al menos en esa parte, yo le respetaría… aunque razón no tiene.