El origen da igual, seguramente se hubiese quedado en algo pasajero, pero estoy segura de que son las actitudes que comentas tu misma que estas teniendo, las que estan reforzando esa actitud en tu hijo, hacia ti.
Que sen pequeños no quiere decir que no perciban todas esas conductas, que al final les hacen sentir rechazo o cercania. Ve a terapia y trabajate tu todas las emociones que sientes, para poder cambiar tus conductas, y tu relacion con tu hijo cambiara.