El hecho de que tú no lo llames cariño no significa que nadie pueda hacerlo. Hay gente que tiene costumbre de utilizar ese tipo de apelativos cariñosos con sus seres queridos y no solo con pareja. Entiendo el enfado de tu novio. Pero si ya te has disculpado y ha quedado atrás tampoco es necesario seguir insistiendo en ello.