Bruno, o problema não é a serial ou usb ou o que for, o problema é o computador, se você ligar em qualquer porta terá ruídos no seu Arduino.
Você ligando o gnd do Arduino, com o gnd do computador vai ter muito ruído, então a solução seria isolar, mas não sei se funcionaria...
tenta isolar a linha Rx Tx com um optoacoplador de alta frequência, não me recordo agora o part number do CI, mas 4n25, 4n35 não funciona...
Se eu achar aqui qual é o CI, eu faço um desenho no Eagle e posto depois, mas não garanto...
Tenta pesquisar algo sobre isso, optoacopladores na serial do Arduino.