Qué manía le tiene la gente a sus exs.
Lo de este chico y la mayoría de comentarios sí son celos, quizás no muy fuertes, pero lo son. Si tu novio no quiere que se te acerquen tus exs es porque no se fía. Y lo mismo pueden ligar ellos en tu casa que fuera de ella (de hecho, en un bar por ahí lo harían más que en vuestra casa delante del novio).
Mi ex y yo somos muy amigas, últimamente es de las personas con las que más hablo y me molestaría mucho que si tuviera una pareja me prohibiera quedar con ella. Que sí, que tu chico no te ha prohibido verles, pero seguramente porque sabe que eso está mal, no por falta de ganas.
Si a ti te apetece que vayan a casa, habla con tu novio y que trabaje esas inseguridades, porque al final es lo que son, pero no dejes que te prohíba hacer cosas.