Pueden estar sucediendo dos cosas, que el programa envié en formato ASCII y no tengas correctos los parámetros del puerto serie (bit, paridad, stop, bps) o este enviando Bytes en vez de caracteres.
Si esta enviando bytes, el monitor serie del arduino no te servirá. Debes utilizar un monitor serie que lea bytes como Realterm, pero hay muchos mas.