Ciao, provo, per quanto sia nelle mie capacità, a spiegartelo io. La resistenza di pull-up o di pull-down (come nel tuo esempio) serve per tenere l'ingresso di arduino ad uno stato logico ben preciso quando il pulsante si trova col contatto aperto. Se non si portasse l'ingresso verso "ground" questo risulterebbe "flottante" e percepirebbe vari segnali che in alcuni casi scambierebbe come se venisse premuto il pulsante, quindi vedresti accendersi e spegnersi il led in maniera casuale.
Ovviamente non si può portare l'ingresso direttamente a massa, perché nel momento in cui si preme realmente il pulsante si avrebbe un bel corto-circuito, per questo motivo si interpone una resistenza, di solito da 10k.
Spero di essere stato utile, inoltre ti consiglio di leggerti questa pagina: Resistenza pull-up - Wikipedia.
ciao
Meluino