La respuesta corta es sí, lo estás controlando. Si a él no le parece bien estar avisándote cada vez que sale de casa, no hay más que hablar.
A mí me pasa lo mismo que a tu chico (y soy mujer). Nunca he tenido que darle explicaciones a nadie sobre a qué hora llego o dejo de llegar a mi casa. Y me resulta muy incómodo tener que mandar un aviso cuatro horas después de lo que había planeado llegar a casa simplemente porque me ha apetecido hacer algo distinto en el momento.
Como ya han dicho en otros comentarios, si le pasase algo, tú no vas a poder hacer nada. Cuando no había whatsapp ni móviles, le gente no tenía esa necesidad de controlar dónde están los demás a cada momento.
Confía en tu chico y aprende a relajarte. También le puede dar un infarto al corazón mientras está tranquilamente dentro de su casa y no le pides que te ponga una cámara streameándote todo el día para que puedas saber que está bien en todo momento.