Siento mucho por lo que estás pasando, suena terrible.
Yo creo que tienes que consultar a un abogado, exponerle la situación e ir a malas con tu ex, porque por las buenas no consigues nada y el niño le da igual.
Intenta conseguir pruebas de todo lo que dices, y habla con un abogado para ver cómo puedes pedir la custodia completa
Mucho ánimo