Parece que tu marido lo que quiere es que confíes en él pero su manera de hacerlo pues en fin. No es darte la contraseña del móvil, es contarte de forma normal las cosas que le pasan en su día que son normales. Pensar «no se lo digo no vaya a pensar mal» no es una buena opción.
Háblalo con él y ya está