No tiene nada de malo y fue tu primera experiencia. Que fantasees con ello es natural. El incesto es un concepto cultural (a menos que hubieseis tenido hijos, eso si tendría problema). Seguro que a tu hermano le ha pasado alguna vez, igual si lo comentas lo naturaizais. Pero puede ser también que le incomode y no te hable en una temporada, tenlo en cuenta.
Lo del psicólogo me parece exagerado. Lo que te pasa no es malo. Pero ya si te llega a torturar mucho el asunto si que iría