Haces bien en irte. Yo también me iría.
Explícale tu caso primero a un abogado, para hacerlo bien y que que él no pueda echarte nada en cara por haberte ido con el bebé.
¿Qué es eso de que él no hace falta porque das el pecho? Mientras tú das el pecho él puede hacer las tareas domésticas para que no recaigan sobre ti, cuidarte a ti, hacerte compañía.
No tienes por qué aguantar eso. Lo que tienes es un compañero de piso, y ni siquiera es uno bueno. Mejor sola.