Por suerte parece que tienes claro tus prioridades y que es lo más importante, que es tu hijo y su bienestar y esto depende en gran medida de cómo te lleves con su padre.
Tu lo estás haciendo genial, no dejes que ningún tío te convenza de lo contrario. Si tu nueva pareja no lo entiende y no quiere aceptarlo, es su problema.
Denota también bastante inmadurez por su parte la verdad…tú sabrás si quieres una relación con alguien así.