Todo lo que vas diciendo sobre tu novio, me suena a posesivo y tóxico. Además pretende que seas la perfección que busca, de lo contrario habrás actuado mal porque no encajas en su visión de la vida.
No hay un amor para toda la vida, porque no somos medias naranjas que haya que completar. Te puedes enamorar de una persona y podéis llegar al compromiso de no estar con nadie más de forma romántica, eso no significa que si rompeis no podáis estar con otras personas o volver a enamoraros.
NO HAS HECHO NADA MALO, no dejes que te haga sentir mal por hacer tu propia vida como mejor consideras cuando él no está en ella. Dile que esa relación la tuviste cuando no estabais juntos, que él no tiene por qué meterse en eso y marca unos límites claros.
El hecho de que él sea un desagradable que decide que está por encima del resto de la gente y que nadie le cae bien porque no son lo suficientemente buenos, no significa que tú no puedas tener amigos, relacionarte con quien quieras y tener relaciones familiares y de amistad más allá de él (y románticas cuando no estás con él).