Varias cosas, son 4 años, no 40. Es un poco absurdo, sois de la misma generación. Si él tuviera 23 y tú 19 no te lo plantearías, por lo tanto el problema real son tus propios prejuicios.
Por otro lado parece que necesitas que desde fuera te digan si puedes o no estar con él, y no debería ser así. La sociedad puede decirte que algo se ve feo o está mal, y no por eso vas a dejar de vivir tu vida como a ti te salga del pepe.