Estuve leyendo y si, al cargar el programa por ISP el bootloader se borra, pero ahora parece ser que mi chip esta muerto. Porque no es capaz de ser quemado el bootloader o subir el programa mediante ISP. Leí algo de los fuses, que todavía no entiendo que son, decía que podían llegarse a bloquear o algo así y tendría que usar un programador de 12V para poder reestablecerlos. Descarto totalmente que sea culpa del oscilador.