Si tu laisses les poussoirs câblés tel qu'ils le sont actuellement avec le commun au +5V, il faut ajouter des pull down externes.
Si tu raccordes le commun des poussoirs à GND, tu peux alors utiliser INPUT_PULLUP et il n'y a aucun composant à ajouter.