Tienes 20, dime como ves tu a un niño de 2 años, podrías tener una relación con él en 18 años? El amigo de tu padre debería verte a ti igual. Sí, hay relaciones que funcionan con grandes diferencias de edad y en situaciones de poder (un amigo de tu padre, y que además es tu jefe, lo está), pero son las que menos.
De todas formas, por lo que cuentas, sí, es muy probable que te estés montando una película y no le gustes. Aunque a cualquier hombre de 38 años, le guste pensar que una niña de 20 quiera meterse entre sus sábanas, la mayoría se queda en eso, en una inyección de ego.