Una vez has dicho que el whatsapp te agobia, que no tienes tiempo de contestar y que cada vez le tienes más tirria al teléfono, el hecho de contestar a cada whatsapp es solamente decisión tuya. Si ya la has avisado, para qué le contestas? Lo único que haces es crearle la ilusión de que aún con lo poco que te gusta el whatsapp sacas tiempo para contestarle porque es especial.
Deja de contestar poco a poco, y cuando te pregunte dile simplemente que ya le has dicho que no te gusta usar el teléfono. Punto.