Pues a mí también me sentaría como un tiro en el pie y tendría una conversación calmada, sin enfadarte, pero dejándole muy claro que,a pesar de haberlo hecho sin maldad, te has sentido (con razón) violentada.
Que sí, que es su casa y ya no vives ahí, pero son tus pensamientos escritos, por muy pocos años que tuvieras y, aunque entiendo su curiosidad, no se lee algo privado y se cuenta como si nada.