Esto ocurre cuando no compartes las mismas aficiones que él, porque yo le entiendo perfectamente.
Habla con él, sin juzgar. Dile que te gustaría pasar más tiempo con él y que entiendas y respetas que sea su hobbie, pero que también quieres pasar tiempo con él como pareja, que si no parece más bien un compañero de piso.
Si no lo entiende así… Mala solución hay.