No hay implicación emocional de ningún tipo por su parte, no hay ningún proyecto común, no desea seguir viéndote después del revolcón, etc
Tu misma decides si la situación te gusta o no te encuentras bien así. Si no te encuentras bien mejor que rompas esos vínculos con él, que creo que en tu caso van más allá de la atracción física, por eso te preocupa que él no se preocupe.
En su proyecto de vida futura tu no estás presente para él.