Je n'ai pas mis de résistance de Pull up effectivement...
Je pense que ton problème vient de là. La broche met un certain temps à retrouver un état stable. A minima utilises le pullup intégré dans les IO.
si tu utilises l'IDE 1.0 ou supérieur
pinMode(INPUT_PULLUP);
si tu utilises une version de l'IDE antérieure à 1.0
pinMode(INPUT);
digitalWrite(HIGH);