Eso se llama violencia psicológica y no, no estás exagerando.
En tu lugar, sería clara con tu pareja y le diría que o empieza a haber comunicación o esto no va a funcionar.
No es normal que tengas que estar tú preocupada continuamente por si a él le ha sentado algo mal que no te cuenta.
La comunicación es algo primordial en una pareja y tu novio no se comunica.