Hombre, siendo un bebé entiendo que todavía no estés preparada para dejarla a solas con ellos pero no les niegues una visita. Estás proyectando cosas del pasado en personas que no tienen la culpa, está genial poner límites pero no pasa nada porque os visiten un rato de vez en cuando, sobre todo si no has tenido problemas de apego con ellos antes.
No estoy de acuerdo con el primer comentario, sería iniciar un conflicto de la nada. Prohibirles ver a su nieta por un miedo de algo que no va a pasar no es justo y es normal que os pregunten.