Pues lo tienes muy claro y debes actuar conforme piensas. Es decir, no sólo decirle que no quieres estar con él y que debe de irse sino ponerte firme, en tu sitio y decirle que la relación está finalizada, un plazo para que se marche (pero plazo firme, nada de ahora un poco más ni así) y las consecuencias legales a las que estará sometido si no respeta tu decisión. Debes ser feliz y terminar con algo que no te lo hace, y si a tu familia o a tus amigos les da pena, pues que lo adopten o lo tengan como pareja.
