Dans ce cas, il suffirait peut-être de mettre tempsPassé à millis() seulement lorsque un piéton appuie sur le bouton.
Et ajouter une condition (boolean sur l'état du bouton: tester la valeur de tempsPassé seulement si le bouton a été appuyé et remettre tout à jour une fois les actions effectuées).