El chico puede ir a su bola y ni tener atracción sexual hacia ti.
El chico puede tener novia (o novio, que igual es gay).
El chico puede no querer relaciones amorosas con nadie y solo busca juntarse con sus amistades (y ya).
Solo es tomar un café y ya está. Como quien toma unos pinchos o una cerveza con sus amigos/compañeros de trabajo/etc.
Pero tu novio no ve estas cosas (supuestos), parece vivir en la época de Franco y ve molinos donde no los hay (paranoico). Mándalo a pastar (y él que busque ayuda psicológica).