Ok... Desculpa perguntar isto, mas por vezes...
Quando acertas a hora, e enquanto o Arduino está ligado... vês a hora andar para a frente, correcto?
Ao desligares o Arduino, tomas nota da hora?
Quando ligas o Arduino de volta, a hora é igual à que tinhas antes de desligares o Arduino? Ou andou para a frente?
Já deixaste o sistema com o Arduino ligado o mesmo número de horas para ver se o atraso se repetia com o Arduino ligado?
Não tens um condensador para ligar no chip? Uma das coisas que poderá estar a acontecer é ao desligares o Arduino haver uma descarga do circuito e o chip ficar meio maluco... um condensador na alimentacão do circuito ajuda a evitar isso.
Estou a assumir que a pilha está boa também...
Outra coisa que podes fazer é activar a onda quadrada de saída e colocar essa saída ligada a um arduino para contar os pulsos de saída... aí podes ver se o relógio deixa de contar ou vai deslizando com o tempo.
Nota também que as capacitâncias em breadboard são bem chatas... e interferem com circuitos de temporizacão.