Y aquí vengo yo a decir lo de siempre.
Su padre NO tiene ningún derecho sobre la peque, como tampoco lo tienes tú. El derecho es de tu hija con respecto a ambos y no al revés.
Así que con esta situación le explicas a ella lo que pasa (aunque sea pequeña, lo va a entender) y si ella quiere conocer a su padre, tienes que facilitarlo. Lo demás ya se irá negociando.
Legalmente, si tu pareja tiene papeles formales que demuestren que es el padre, tu ex tendría que pegarse en el juzgado para conseguir algo a la fuerza. Así que si ponéis de vuestra parte, tu hija estará bien.