Si no te ha hecho ningún comentario feo, está claro que la situación le incomoda porque no ha sabido jugar sus cartas y teme que algún día le dejes por alguien mejor.
Es humano sentirse así, y además hay un componente social en el que quizá en algún momento pueda sospechar que no es suficiente, comentarios de tus amigas diciéndote que mereces algo mejor o incluso que sea verdad que ya no te sea suficiente. Además de que su orgullo está resentido, porque seguramente en su casa, el que se partía el espinazo era el padre y siente que no está ejerciendo bien su papel.
Lo puedes llamar machismo pero es una realidad, es parecido a no ser fértil y pensar que estás defectuoso (cosa que no es cierto), o por ejemplo que critiquen algo de tu forma de educar y lo tomes como si te acusaran de ser mala madre. No le verás haciéndote feos, porque su dolor es consigo, me parece que es importante empatizar con los demás y dejar claras esas cosas para que no se convierta en algo recurrente.
Y si después de todo eso, sigue en sus trece pues tomar medidas. Otra cosa diferente sería que hicieras hincapié constantemente en que tiene que mejorar, y que tu has conseguido X y él no. Entonces, sería verdad que no te es suficiente y en lugar de machacarlo por no ser lo que esperas, deberías o simplemente sugerirle cosas que pueda hacer o simplemente dejarlo ir, pero nunca machacarlo por no ser lo que a ti te gustaría o no cumplir tus expectativas.