No, no estás siendo egoísta, simplemente las cosas van demasiado deprisa para ti, cada uno tiene su ritmo, y es algo natural, pero en pareja siempre se lleva el ritmo del que necesita más calma, si él necesita ir más rápido y tú no estás preparada es libre de romper, pero si quiere estar contigo tiene que ir más despacio, sería lo mismo si tu quisieras ir muy rápido y el necesitará tiempo, no le puedes obligar tendrías que elegir entre dejarle o respetar sus tiempos.
Eso no es egoísmo. Fiate de tibmisma y de tu intuición, que te está diciendo claramente que no quieres que él vaya tan rápido. Habla con él, que si es razonable lo entenderá y si no es razonable mejor no estar con él, un abrazo y mucha fuerza