Creo firmemente que debes hablar con él, sin embargo, me imagino que si ya estuvo a la defensiva, no te responderá con la verdad o lo evitará.
Hay unos gps que puedes poner en su auto, sin que él se de cuenta, pónselo para que te de la ubicación un par de martes, y así te aseguras de que va al mismo lugar.
Considero que es un poco peligroso seguirlo porque te puede ver.
Y todo esto, básicamente es para tu tranquilidad (para bien o para mal) porque nadie debiese estar en una relación con este nivel de desconfianza (que la tienes con justa razón) pero si lo dejas y no hacer nada, nunca estarás tranquila tú y él te puede decir lo que quiera.
Que salga todo bien!