Problema con teclado 4x4

Entiendo que estas probando cosas pero comprende como afecta delay en tu velocidad de respuesta.
Ya que estas comenzando te invito a que aprendas AHORA a olidarte de delay y lo dejas solo para cosas muy TONTAS si se quiere, cosas en las que no se va a hacer nada mas.
En tu caso debes aprender a usar millis(). Ve a Documentación y busca Indice de Tutoriales como primer hilo.
Dentro lo encontrarás.
Estudia y practica millis() y luego vemos como reformar esto usandolo.

Eso te permitirá, atender siempre el teclado con velocidad inmediata o casi inmediata (dentro de 1 mseg) y tambien hace cosas que requieran ser presentadas a intervalos como en tu caso de seg, minutos u horas.