No habías caído en lo del festivo, no pasa nada, has parado y ya está.
Seguramente sí ya has tenido algún conflicto con él es consciente de que no sabes ponerte firme y se aprovecha de eso.
Ten claro cuando puedes hacer ruidos y cuando no, por el tema horarios. Si hacen obras dentro de ese horario no puede hacer nada contra ti, así que si vuelve a subir, con toda la tranquilidad del mundo y siendo firme le dices que tenéis que reparar una avería, que lo sientes por las molestias pero que no puedes evitar el ruido y que tú también esperas que acaben lo antes posible. Si se pone gilipollas le dices que no tienes ningún problema en que llame a la policía (por la amenaza que te hizo) y que sean ellos quiénes decidan si estás incumpliendo la ley.
Hay gente muy desagradable que no tiene nada mejor que hacer que tocar los coj*** a los demás, pero es que no merece la pena que te amargues tu el día por alguien así, que precisamente lo que busca es eso.