Du darfst CMOS Eingänge nie offen lassen. Die floaten und haben einen willkürlichen Wert. Wenn der Taster an Plus hängt und die andere Seite am µC hast du einen offenen Eingang. Das geht nicht. Zumindest nicht zuverlässig.
Verwende wie gesagt die internen Pullups indem du die Konstante bei pinMode() änderst. Und was ich vergessen hatte: den Taster dann gegen Masse schalten! Also ein Ende an den Pin. Das andere an Masse. So:
http://www.rapidsignalph.com/wp-content/uploads/2013/04/atmega-internal-pullup-resistor.png
Durch die internen Pullups hängt der Pin dann an Plus wenn der Taster nicht gedrückt wurde. Wenn man ihn drückt wird er auf Masse gezogen. Siehe auch hier:
Dann kommt noch hinzu dass Taster prellen: