Es cierto que tú no puedes prohibirle a él nada, pero él a tí tampoco.
Si no es empático contigo y no quieres contagiar a tu familia, explícale tus razones. Y si no las entiende, ahí tienes la respuesta. Porque ahora es el COVID pero puede ser cualquier cosa. Piensa en algo que te impida salir de casa o no veros en un tiempo…
Mi opinión personal es que yo no le vería ni saldría con él si eso supone un mínimo riesgo para mí familia. Y si la relación se rompe, pues es que no estaba bien. Parejas hay mil, familia solo una.