La única solución que hay es que hagáis tiempo o espacio para el otro. Es decir, lo que ya os han comentado: comprar una cama más grande, priorizar vuestra relación a vuestros otros hobbies. Si queréis ir al gimnasio, por qué no vais juntos al mismo y luego os tomáis algo?
Yo lo que veo es que no tenéis interés por estar juntos, ni él ni tú.