Estoy de acuerdo en que tú y tu hijo sois lo primero, que tu vida es así y hay que aceptarlo. Si quisieras estar con el padre de tu hijo, lo estarías, y si tu pareja actual o futuras no entienden que puedan haber relaciones sanas sobre todo cuando hay un hijo de por medio, es que tienen graves problemas que a ti no te toca solventar. No es tu culpa ni tienes que arreglarles los problemas de autoestima.
Sinceramente, esa persona no parece la adecuada y menos que encima se ofende tantísimo que te deja de hablar días porque tu hijo pase la tarde con su padre.
Esa persona no te aporta, te resta.