Obviamente no soy nadie para juzgarte y al final harás lo que te nazca y te compense.
Pero también es obvio que, si te deja por ese motivo, ni te valora lo suficiente ni es una relación sana, y básicamente lo que estás aceptando es que tienes que pedirle permiso para actividades que son de lo más normal del mundo. Te estás convirtiendo en una menor de edad a efectos prácticos y sentando un precedente que se repetirá en situaciones similares, probablemente.