Creo que tienes que hacer un poco de introspection y luego hablar largo y tendido con tu pareja.
Crees que para tus suegros eres un cero a la izq porque el piso es sólo de él. ¿Y tú? ¿Lo sientes así y tienes esa espinita clavada o lo consideras vuestro piso familiar y a nombre de quién esté en el registro no te pesa? ¿Y él? ¿Cómo lo ve? ¿Tenéis claro los 2 qué decisiones pesa más la opinión de él, cuales 50%, etc.?
Yo entiendo que cosas más estructurales, como una reforma, pues quizás tenga él (pero no sus padres) la voz cantante. Pero desde luego en quién entra en la casa y cuándo, tienes tú el mismo derecho a decidir que él.
A partir de ahí hablarlo entre vosotros, primero ver que él lo tenga claro, que entienda por qué te molesta (ponle de ejemplo que fueran tus padres y tíos los que presentan cada 2×3) y que se ponga firme con los límites. Si tienen llaves, pedir que se las devuelva, si se aparecen sin avisar, ni responder al timbre, si lo acosan por WhatsApp, silenciar el chat…
Pero como te dicen, cuanto antes os pongáis firmes con ellos, mejor, porque no te queda nada como tengáis hijos antes de resolver este problema.