Via ISP non puoi non riuscire a caricare un firmware.
Ma il chip lo programmi montato su scheda? Prova a toglierlo, se è un DIP40.
I collegamenti sono facili. Prendi un Arduino, ci metti sopra lo sketch ArduinoISP e poi agganci i pin 13/12/11/10 dell'Arduino rispettivamente ai piedini 6/7/8/9 dell'Atmega644 (ovviamente anche VCC e GND ai pin 10/11 e 30/31).
Inoltre collega il quarzo esterno se il chip è impostato per lavorare con esso, altrimenti non funziona.