Si la casa es de él, obviamente la casa será para él y si ya no es su pareja puede pedirle que se vaya ¿por qué eso es violencia? si fuera al revés lo veriais lógico.
Dicho esto, el no compartir vacaciones es lo normal en padres separados, la gente divorciada por regla general no se suele ir juntas de vacaciones, en tu semana puedes irte con tu hijo a donde quieras y ya está. No eres peor madre por eso, entiendo que si estás sola en la ciudad te sientas desamparada, busca ayuda para gente en tu situación y anímate, seguro que eres una buena madre.