Enhorabuena por el paso que has dado. Personas así mejor lejos.
Haz caso a los comentarios, ponte en contacto con un abogado y asociaciones feministas de tu zona, seguro que hay algun tipo de casa de la mujer al que puedas acudir a que te asesoren.
En cuanto al piso, no te preocupes, normalmente en los contratos se incluye una clausula en la que se especifica que sie l dueño necesita el piso, con avisar es suficiente para rescindir el contrato. Seguro que tus inquilinos entienden la situación.
Un abrazo