Weil Du in Deiner Schaltung, wenn Du von PIN31 nach +5V Deinen Taster OHNE externe Beschaltung betreibst, genau den von Dir angezeigten Effekt bekommst.
Wenn Du den Taster drückst, dann bekommt der PIN die volle Ladung.
Der Eingang ist sehr hochohmig.
Wenn Du den loslässt, vergeht einiges an Zeit, bis die Ladung aufgebraucht ist.
Die Größenordnung kann je nach Leitungslänge ruhig mehr als 1 Sekunde betragen.
Im Übergangsbereicch kommt es dann zum "flattern"
Also beides genau Deine Symptome.
Nu kannst Du den Aufbau so lassen. Dann benötigst einen Widerstand zwischen GND und PIN31 - und das für jeden Taster.
Die Größe ist unkritisch irgendwas zwischen 2 und 15K ist auf'm Steckbrett eigentlich kein Problem.