La spiegazione è semplice, e meluino l'ha intuita.
La comunicazione seriale avviene sui pin D0 e D1, che corrispondono ai piedini fisici 2 e 3 dell'Atmega328.
Ora, se usi il chip in standalone, non avrai problemi ad usare quei pin se non utilizzi la seriale.
Ma sull'Arduino quei pin sono collegati al piccolo chip posto vicino alla porta USB che funge da convertitore seriale/USB e sono pilotati da questo chip, che ad esempio tiene il pin D0 alto con una piccola corrente fatta scorrere su una R in serie da 1 K.
O cambi logica di funzionamento (potresti usare la R della linea seriale come pull-up e collegare il pulsante a massa quando attivo) oppure cambi pin.