Llevar dos meses y que quiera meterse en todos tus planes y tus espacios propios es MUY invasivo. Lo de «pero no me importa» es una manera diferente de decir «no me importa lo que tú pienses ni si tú te agobias». Si quieres seguir conociéndole déjale claro que quieres compartir con él, y que además, cada uno tiene sus espacios, personas, quehaceres y tiempos propios y el otro debe respetarlos.
Por otro lado: los límites son para una misma, no para los demás. Si vuelves a estar en esa situación, no hay avisos ni mensajes ni agobios. Ya le has dicho que no quieres estar pendiente, pues no lo estés (es más fácil decirlo que hacerlo, pero funciona) y en el momento en el que los albañiles cancelan la cita, le mandas un mensaje «al final nada, me han cancelado, y ya no voy a salir» y que asuma las consecuencias de sus propias decisiones. Si ha perdido la tarde, ha sido porque él lo ha decidido.