Ha ragione Uwe, il datasheet dice:
Speed Grade:
0 - 4MHz @ 1.8 - 5.5V
0 - 10MHz @ 2.7 - 5.5V
0 - 20MHz @ 4.5 - 5.5V
quindi a 8MHz dovresti poter arrivare a 2,7V e NON credo si possa arrivare a 6V se non rischiando danni. Tieni presente che l'E-Fuse dovrebbe essere FF altrimenti devi verificare che non sia attivo il brown-out detection, magari è quello che ti sta impedendo di alimentarlo a tensione bassa.