Tú sola te estás contestando.
Tiempo que sigas con ese hombre, tiempo que vas a ser infeliz.
Las relaciones compatibles no solo se basan en «ser cariñoso» cuando a él le apetece, yo por ejemplo estoy con un divorciado con hijo, no te puedes imaginar a las cosas que he tenido y tengo que renunciar (vive con nosotros porque su madre no quiere saber nada), y no sabes como él se parte el lomo cada día porque a mí me merezca la pena tanto esfuerzo.
Quiero decirte que una relación sana se basa en el respeto y la confianza ( que creo que tampoco la tienes)
Sin querer ofender, hay hombres mucho mejores para compartir tu vida, y el tiene que hacer que te sientas la persona más importante de su vida.
Abrazo, mucha fuerza y reflexiona si ese hombre y conviene para el resto de tu vida.