Analfabeto es una persona que no sabe leer ni escribir por lo cual si estas faltando el respeto porque no es el caso de él.
Pero a lo que vas: depende mucho de ti. Yo soy muy intelectual y necesito al lado a alguien con mi nivel (o parecido) cultural y sino, necesito que sume muchísimos puntos en absolutamente todos los demas aspectos. No creo que sea discriminación, simplemente preferencias. Podrias quedar con él y ver como te sientes… En mi caso cuando hablo de algo y aunque la otra persona no sepa del tema hay interés por escucharme y aprender…