Vinícios,
Como o bubulindo questionou e Hugo confirmou, só vai funcionar sem o cristal se estiver com os fuses para o clock interno, alguns atmegas já vem com bootloader e os fuses configurados para o clock externo, sendo necessário o cristal.
No link que te passei tem uma sessão "Chip not detected", lá comenta sobre os fuse http://www.gammon.com.au/forum/?id=11637. O Nick Gammon passa muitas informações úteis, dá uma lida com calma por lá 
Pelo erro na tua ide, parece-me que copiaste do anexo apenas o arquivo ".ino", os arquivos md5.c e md5.h devem ficar na mesma pasta, veja a imagem da minha pasta e ide anexa (compila normalmente).
Eu sempre rodo esse sketch "Atmega_Board_Detector" para ver como esta o chip novo ^^
Parece que falta o pull-up na tua protoboard, bota 10k
As conexões da imagem que anexei em post anterior funcionaram perfeitamente aqui, faça exatamente o que lá esta (mesmo que nos sites que passei) que vai dar tudo certo!
