Tu novio no es nadie para decirte qué puedes hacer. Dile claramente que también van chicos y que debe confiar en ti, y te vas.
De todas formas, no deberías estar con alguien así. Se nota miedo en tus palabras, y en una relación no debe existir el miedo.
Deberías dejarlo.