Diselo.
Dejale claro que ha sido sin buscar y que no quieres obligarle a nada.
Si quiere ser parte es su derecho, si no quiere pues madre soltera si decides tenerlo con lo que implica.
A veces es mejor ser claro que dar rodeos.
Dejale muy claro que si no quiere nada no le vas a obligar a nada y corta toda relación con él en ese caso.
Ánimo