Como he leido que tu pareja ya les pone freno, solo te puedo decir que les pongáis límites muy claros y sino, pues no ven a la niña.
Yo desde luego que no consentiría una falta de respeto como la de meter en vuestra casa gente ajena, y solo por eso les habría prohibido acudir a tu casa.
Si te dicen algo a ti directamente si que se lo diría claro, pero sino, deja que tu pareja se apañe con ellos.
Y si, yo también pensaría raro de que si o si quieran quedarse con tu hija a solas, y estaría con mucho ojo cuando estés con ellos.
Desde luego que la solución no es llevarle a la niña más, sino menos, y que vean que si siguen, aún menos la van a ver. Los padres sois vosotros y si tenéis la enorme suerte de poder cuidarla sin ayuda, seguid así y que ellos ejerzan como abuelos pero desde su sitio de abuelos, no pretendiendo quitaros vuestro lugar.