Si la casa es de los dos habrá que llegar a acuerdos, porque tú también tienes derecho a no recibir visitas. Si como dices no te importa ceder, sería buena idea que el trato sea entonces que tu pareja se encargue de la limpieza que conllevan esas visitas de su gente. También puede ser una buena opción que vayan días que tú no estés, así no tienes que agobiarte ni sentirte incómoda en tu casa.