E' molto strano questo comportamento, a me viene da pensare ad un impianto di terra non funzionante o non collegato correttamente, riguardo l'alimentatore del PC; secondo me non è Arduino ma è l'USB del PC; per averne la prova potresti collegare Arduino UN ad un Notebook e poi causare gli stessi disturbi, se continua a funzionare è come dico io; altra prova è vedere se alimentando Arduino direttamente dall'USB del PC (quindi togliendo l'alimentatore esterno) si comporta allo stesso modo