Pues yo te entiendo. Que un niño sea pequeño y no sea capaz de controlar sus celos no quiere decir que haya que permitírselo todo vaya a ser que el pobre pille un trauma por ser corregido.
Y tú tampoco estás en pareja para estar aguantando a un niño malcriado que no te deja estar con la persona con la que estás el único día a la semana a la que vas.
Yo creo que debes hablar con el padre sobre cómo te sientes. Creo que debe hablar con su hijo y decirle que estar contigo no implica que le quiera menos ni que estar rato a solas contigo lo implica tampoco, y creo que debería poner unas reglas en las que, p.e, hacéis una actividad que al niño le gusta pero luego él debe respetar que durmáis juntos. Así tú también tienes oportunidad de ganarte al niño porque contigo se hacen cosas que le gustan.