Guarda vado un po' ad intuito ma credo che l'origine dei tuoi mali sia qui:
delay(1000);
Capisco che l'hai messo per non ridisegnare continuamente ma se metti il delay e tocchi metre sei nel delay ti perdi i tocchi con buone probabilità.
Dovresti provare a eliminare il delay ed andare ad aggiornare il display ogni secondo ma mediante l'uso di millis, il dellay è bloccante e va usato solo quando il programma deve attendere e non far null'altro per il tempo prestablito e per null'altro intento nulla nulla, mentre tu vuoi che il tuo programma reagisca all'interazione dell'utente.
Non so da dove tu abbia preso il codice (intendo dire che è la prima volta che mi imbatto in un codice simile, non che sia errato) ma anche la disabilitazione e riabilitazione degli interrupt per la rilevazione del millis() attuale per me è aberrante ed innutile, ma magari ha un senso ed un utilità che io non conosco.
Ultima cosa se il codcie è troppo lungo per metterlo racchiuso tra i tag code allegalo, è di immenso aiuto avere tutto il codice per cercare di fornire risposte adeguate. Per farlo non puoi usare l'area quick Reply ma devi per forza fare click sul pulsante Reply, li hai l'edito compelto che permette di allegare file