Io farei una prova:
- carichi i 32 byte in un array da cui lo leggi poi ad una velocità molto maggiore rispetto a fare continue letture dalla EEPROM;
- disattivi il timer 0 così che la relativa ISR che gestisce millis venga disattivata;
- togli il debug seriale (la seriale sull'IDE 1.0.x lavora su interrupt)
Il timer 0 lo disattivi con PRR &= ~(1<<PRTIM0);