Yo no creo que te quiera tener controlada. Igual es que te aprecia y no quiere cortar todo tipo de relación contigo (y quiere de verdad que seáis amigos) o igual es otro motivo.
En cualquier caso lo que me parece es que una relación de discusiones constantes y cortar-volver en un ciclo sin fin muy buena para ninguno de los dos no es. Y si durante una época en la que no estábais juntos se acostó con otra, pues tenía todo el derecho. Igual que si se vuelve a acostar con esa chica o con otra si ahora habéis quedado como amigos. Es libre y no te debe explicaciones.
Tampoco me parece muy normal no tener sexo en 4 años, pero no me meto porque si a los dos os parecía bien es cosa vuestra.
Lo que sí me ha llamado la atención es esta frase «pese a saber el panorama que tengo en casa y lo mal que lo llevo, me dejó». Da la sensación de que crees que ha sido injusto de dejarte porque lo estabas pasando mal. Y en eso te equivocas. Cada persona es responsable de sí mismo y si no estaba bien contigo (o con otra persona) ha hecho bien de apartarse. Si tú lo estabas pasando mal es tu responsabilidad hacer algo al respecto. Tu pareja puede apoyarte, pero no pretendas que se adapte a tus emociones.