La segunda vivienda tenía sentido cuando había mucha y el turismo aún no había despegado, así que tu hermano tiene razón aunque las foreras digan que no.
Y si no te convence haz cálculos de precio de compra del piso, impuestos, suministros y reformas y divídelo por la esperanza de vida que te quede. Ese será tu presupuesto anual de vacaciones.