Hola!! Pues en mi opinión creo que tienes una actitud un poco egoísta, aunque tu intención no fuese agobiarle, cada persona tiene sus límites y él tal vez necesite menos contacto y más tiempo para él y no por ello te quiera menos. Tampoco debes comparar quien lo ha pasado peor porque cada persona sobrelleva sus problemas como puede y aunque a ti te parezca una tontería para la otra persona puede ser un mundo.
Si queréis arreglar la situación yo te recomendaría que hablaseis sinceramente los dos, él que sea claro cuando se agobie y se sienta superado y tú intenta darle más espacio y entender que no tenéis las mismas necesidades. El problema ha sido que no habéis sabido comunicaros y no creo que os ayude echaros cosas en cara de quien lo ha hecho peor y tiene que cambiar, una relación es comunicación y entendimiento, hay cosas que no se pueden cambiar pero que se puede trabajar en aceptarlo y adaptarse.