Ciao,
non so dirti se la SoftwareSerial è compatibile con il ATmega1284P ... ma posso riportati per esperienza personale che, cercare di assegnare il pin TX ad un pin non esistente (... visto che comunque a qualche cosa lo devi assegnare) ... può creare problemi.
Avevo la tua stessa situazione su un ... ATtiny85 ... e come capisci ben pochi pin a disposizione 
avevo assegnato a TX (... che assolutamente NON usavo) il pin inesistente 255 e ... creava un bel po' di problemi con malfunzionamneti del SW.
Mi sono salvato perché sull'ATtiny85 il pin RESET può essere usato anche come un normale pin digitale, e la cosa è controllata dai FUSE. Se però, nei fuse NON lo tocchi, praticamente tu dal SW lo vedi come un pin digitale (e la SoftwareSerial funziona correttamente assegnandolo come TX), ma è "elettronicamente" rimane connesso invece alla parte che fa il reset e così non perdi la funzionalità del reset 
Non conosco il ATmega1284P e non so se questa cosa è valida anche li ... 
Guglielmo