¡Hola!
El hecho de que le rechaces exclusivamente porque no tenga pene sí que es transfobo, pero no es tu culpa. El chico debería haberte explicado con más tranquilidad el tema, pero entiendo que lo hiciera desde el dolor, así que voy a intentar explicar resumidamente desde lo que me han explicado personas trans lo que entiendo que el chico quería decir.
La realidad es que todas tenemos transfobia interiorizada, y asociamos inconscientemente que ser hombre es tener pene y ser mujer es tener vulva, y lo opuesto nos genera rechazo porque es una contradicción con lo que socialmente nos han enseñado. Un hombre con vulva no nos puede parecer atractivo porque el tener pene es parte de la idea perfecta de masculinidad que impone el género: si un hombre no es masculino, los roles de género dicen que no te puede atraer (lo pasa con hombres con pluma, débiles físicamente, sensibles, etc).
Entiendo que el rechazo no es para nada culpa tuya y que es algo que muy complicado de cambiar, pero creo que al menos deberías revisarlo para que puedas ser consciente de ello y puedas ver de dónde viene esto, pues al final el género y el patriarcado nos condicionan en cosas que ni creemos.
Siento el tocho. ¡Un abrazo!