Los psicólogos que te dicen lo de las «referencias» cuando en realidad quieren decir «pater familias», independientemente de que sean de sexo masculino y femenino, entienden la familia desde un punto de vista patriarcal y creen que una criatura nacida y criada sin una figura paterna está falta. Y no es verdad.
Tú eres su persona y su referencia y si tienes un buen entorno y condiciones materiales suficientes, adelante, que a tu hij@ no le tiene por qué faltar de nada.
Y como te han dicho, mejor tener solo madre que una madre y un padre ausente (en el mejor de los casos) y/o que ejerce cuando y como le interesa.