Es que tú no tienes que hacer nada.
Son pajas mentales de tu novio. Yo no le haría ni caso. Como vas a dejar un buen piso, barato y céntrico donde la convivencia es buena por unos celos infundados.
A tus compis de piso, pararles los pies siempre y de forma tajante y cortante.
Y a tu novio si no quería que vieses con dos maromos que te hubiese propuesto iros a vivir juntos.