Hola Maika,
De todo lo que cuentas a mi lo que más me llama la atención es que no conozcas a sus amigos y él a los tuyos sí. Vale que hay personas que son mucho más celosas de su intimidad que otras, pero me parece una diferencia muy grande para una pareja (estéis oficialmente o no). Da la impresión de que tú estás mucho más implicada emocionalmente que él en la relación y creo que es algo que deberías hablar con él para saber bien en el punto en el que está y poder valorar la situación.
Sobre lo de dejarlo, es una decisión muy personal, pero si no te compensa seguir adelante con esta historia da igual que el esté muy a gusto o no.
Suerte!