Hola Martis!
Creo que tu misma tienes la respuesta, si ya te encuentras mal, desde mi punto de vista lo mejor es dejarlo estar, ya que buscáis cosas distintas de esta relación/no relación.
Cuidado con este mensaje »También pienso que igual si nos acostamos y pasamos más tiempo juntos él podría querer algo más también», que muchas veces nosotras/os mismas/os nos autoengañamos con eso y luego acabamos metidos en relaciones nada saludables o echándole en cara las cosas a la otra persona cuando no está en el mismo punto.
Podéis continuar siendo colegas y quien sabe que depara el futuro, pero no obliguemos a nadie a estar en un punto que no quiere estar, las relaciones tienen que surgir de forma natural, forzar las cosas nunca trae nada bueno.