Sinceramente no veo nada raro en lo que te dijo tu novio, ni incoherencias porque por ejemplo si le gustaría que estés con él pues es lógico que no le llene el hablar por teléfono. Además, te estás montando toda la historia por un puntual día malo que según tú «te habló mal», pues dices que al día siguiente te habló tan normal como si nada.
Tampoco puedes acusarle de huir de una conversación incómoda cuando tú misma admites que estando enfadada has pasado de él ignorando sus mensajes durante horas.
Si no te sientes cómoda con él puedes dejarlo sin más, por supuesto. Pero que sepas que el fallo no está en él.