Siento decirte que estas en una relación de manipulación y maltrato. Invalidar sentimientos es una forma de maltrato, la ley del hielo también lo es. Lo que tu buscas no es una relación de disney sino una relación sana, y ahora no la tienes.
Yo, si fuera tu, le dejaría. Puedes decirle que si él necesita algo como amigos o conocidos, pues que puedes escucharle y ayudarle (si quieres y te ves capaz) por el tema de sus padres pero que no quieres estar con él en una relación.
Lo que cuentas no es precisamente algo leve, y son motivos más que suficientes para salir de una relación.