Como ya te han indicado más arriba, tengas uno o mil trabajos, si pagas lo que corresponde de IRPF no te pedirán nada.
El problema de la gente que tiene muchos trabajos es que habitualmente los primeros meses retienen muy poco o nada, y luego hacienda te pide todo eso junto.
Por ejemplo, si sumando todo el año las retenciones tendrias que haber pagado 1000 y solo has pagado 200, los otros 800 los tendras que pagar en la declaración de la renta.
Pero si de esos 1000, sumando todas las retenciones del año has pagado 1200, te devolverán 200€.
Luego influye la situación personal (hijos, vivienda, préstamos, ayudas), pero lo que realmente influye es eso, no que hayas trabajado en uno o dos trabajos.
Espero haberte ayudado.