En estas cosas, normalmente, ni los malos son tan malos, ni los buenos son tan buenos… pero te planteo la siguiente pregunta: en qué cambia la situación que tú no te hables con tu hijo? Puede dolerte la vida pensar que se pueden estar aprovechando de él, pero después de haberlo hablado con él y darle tu opinión, ya está. Es adulto, debe tomar sus decisiones y afrontar sus consecuencias.
Que dejes de hablarle suena a pataleta porque no te hace caso, un intento de manipulación puro y duro. Guárdate tus (malas) opiniones y mantente a su lado, disfruta de su compañia y déjale vivir su vida, con sus errores y aciertos.