Tú pareja también es padre, puede perfectamente llevar a la niña a ver sus abuelos. No entiendo por qué los hijos tienen que ser exclusivamente responsabilidad de la madre. Si se empieza así cuando son pequeños, esa dinámica se mantiene para siempre.
Por otra parte, deberías tener la confianza suficiente para poder hablar con el de los problemas que has tenido con su familia, de cómo te hacen sentir y él debería frenarles los pies. Tiene que darse cuenta de que no es normal que consienta que sus padres incomoden a su pareja. Un abrazo y espero que lo solucioneis.