Sì, è giusto. Rallenti l'esecuzione a livello di codice macchina.
La maggior velocità può servire appunto in quei casi in cui ti serve rapidità ad esempio se devi leggere degli impulsi esterni.
Ma se fai un delay(100) saranno sempre 100 ms sia su un micro a 1 MHz sia su un micro a 16 MHz.