Nach den Informationen auf der MacOS X-Seite von Arduino (http://arduino.cc/en/Guide/MacOSX), ist der Prefix "/dev/tty.usbmodem" kennzeichnend für ein nicht-FTDI-Gerät, während Geräte mit FTDI-Chip einen Eintrag mit "/dev/tty.usbserial"-Beginn erzeugen.
Welche Version von Mac OS X hast Du im Einsatz (der Treiber für den Mega2560 ist im OS enthalten, deshalb dürfte diese Information relevant sein)? In einem englischen Topic hat ein Benutzer von ähnlichen Problemen berichtet, die beim Update von 10.5 auf 10.6 verschwanden.