ttys0 è la seriale hadware agganciata ai GPIO, è una console perché hai configurato così raspberry. Ma nessuno vieta di disabilitare la console e stabilire una comunicazione tra dispositivi e non tra un dispositivo e un'altro che si aspetta di parlare con un utente. Detto questo la configurazione standard di raspberry prevede il baud rate 115200 che tu hai già abbassato a 9600 se non ho capito male. A questo punto però non so indicare altre strade per risolvere i "caratteri strani" perché mi sono sempre connesso non come console ma come comunicazione seriale tra Arduino e un programma C in ascolto/invio su raspberry