Hola,
El contacto físico y el cariño no son opcionales en una relación. Si eso no funciona, no sois pareja, sois compañeros de piso. Cuanto antes lo aceptes, mejor. Te lo digo por experiencia, yo vivo una situación similar después de años y salir de aquí me está costando muchisimo.