Ti sei ricordato di impostare i fuse in modo corretto?
Con che software stai cercando di programmare l'Atmega? Se usi l'IDE di Arduino, molte delle funzioni e delle librerie di Arduino non sono fatte per lavorare a clock differenti da 16 MHz. Anche usando funzioni e librerie che si adattano a clock più bassi, sotto ad 1 MHz non vanno comunque per cui otterresti codice non funzionante. Inoltre c'è il problema della programmazione: credo che se non usi un programmatore HW "vero" con l'ArduinoISP non puoi programmare un micro con un clock così basso.
Tempo fa provai a far funzionare un chip con l'oscillatore interno a 128 kHz ma senza risultato.