No le veo mucha más solución que salir de esa casa y buscaros otro sitio. Aunque la situación se arregle un poco, siempre va a estar ahí el conflicto. Y con niños pequeños es mejor no vivir así.
Mira si podéis buscar otra casa, y esa alquilada o vendedla.
Da miedo tener una persona así al lado, y vivir con miedo no es vivir bien.
Espero que lo podáis solucionar. Un abrazo.