Sé valiente y habla con él. Dile lo que oíste y que quieres aclarar qué es lo que no sabe cómo decirte (si es que se refería a ti, claro).
Pueden ser tantas cosas que no entiendo cómo asumes que es que te quiere dejar, y menos aún entiendo que sigas teniendo relaciones sin protección con él.