Por lo que leo, parece que vuestra relación es asimétrica y las necesidades de los dos no están equilibradas. Él está dando más importancia al aspecto sexual y a la variedad y da por hecho que tú estás para ser su red de seguridad cuando le fallen otros planes, no te cuida lo suficiente. Por otra parte, que desvalorice de esa manera tus sentimientos cuando le pides más intimidad es irrespetuoso y dañino. Incluso en relaciones abiertas la inseguridad y los celos existen y hay que tratarlos con el mismo mimo y respeto que en las cerradas. Es más, una relación abierta requiere más esfuerzos emocionales y él se comporta como si fuera una soltería encubierta.
No tengo tanta experiencia en relaciones abiertas, pero conozco una página que tratan con naturalidad temas de poliamor y relaciones abiertas. Se llama Golfxs con principios y aquí te dejo el enlace https://www.golfxsconprincipios.com/tag/poliamor-relaciones-abiertas/
Seguramente leyendo otras experiencias y terapeutas especializados en este tipo de relaciones puedes valorar mejor si los problemas que tenéis son específicos de relaciones abiertas o es algo más profundo que daría que hablar también si estuvierais cerrados.