Creo que él no entendió lo que te pasaba porque no se lo dejaste claro, pero también entiendo que no quisieras hacerlo. No tienes por qué pedir explicaciones en x momento si no te sale hacerlo porque no estás en ese mood.
Aunque también entiendo la situación del chico. Os estábais empezando a conocer, él sentía interés por ti pero no por ello tiene que estar esperando a las musarañas. Y a ti parece que te ponía nerviosa. Lo mejor en estos casos es decir que no estás interesada en seguir saliendo por motivos personales de salud de un familiar o por razones x y ya está.
No te culpes. Ha sido un problema de no entenderos, pero en estas situaciones lo mejor es ser honesto.