Iba a comentar una cosa pero cuando has escrito que vivís a 10 minutos, he cambiado de opinión.
No tiene mucho sentido que continúes con esta rutina con 24 años cuando tú misma no te sientes cómoda con ella. Puedes pasar tiempo igual con ellos pero de forma mas «controlada»: salir a comer o a cenar, ir al parque, a pasear, a tomar un café, a una actividad con el niño, tú sola con el niño, al parque, a merendar… incluso esporádicamente quedarte a dormir si un día hacéis noche de cine con el niño, pero que no sea lo habitual. Yo no tendría una conversación porque va a ser difícil e incómodo, sino que iría a hechos consumados, yendo cada vez menos o incluso diciéndoles cosas como: ah este primer finde de diciembre ponemos la decoración pero no me quedaré porque tengo tal o cual plan, y pasas con ellos el día nada más. Poco a poco lo irás dejando atrás.