Que tristeza me da leer esto, uno debe asegurarse muy bien antes de tener un hijo con una persona porque no sabes que madre o padre le estás dando a tu hijo.
El es un mal padre que hace sufrir a tu hijo y le está creando una herida que más tarde le pasará factura.
Lo que yo haría seria llevar al niño con un psicólogo que te de un informe médico sobre lo de la ansiedad cuando le toca estar con el padre o abuelos y buscarte un buen abogado que demuestre que el no se hace cargo de su hijo pelear la custodia con todo porque tu hijo lo está pasando mal