A mi me pasa algo similar. Vivo en un chalet con piscina y nunca faltan los comentarios de «ya nos invitaréis» y cuando lo dicen me cuesta mucho poner buena cara porque no me apetece nada xD
Lo primero que hice fue hablarlo con mi pareja. Por supuesto que alguna visita se puede organizar pero sabe perfectamente que de forma recurrente NO o que si le apetece invitar a su familia que sean días en los que yo trabaje y se encargue él de todo.
Creo que es importante llegar a acuerdos en ese tipo de cosas.
Analiza bien si de verdad es ansiedad o agobio porque son cosas muy diferentes.