La prueba con batería externa fue concluyente.
Busca una caja metálica con cuidado de que Arduino no este en contacto con ella. La caja debe ser hermética.
Prueba a ver si eso resuelve el problema.
Si no tienes busca papel de aluminio de los que se usan para cocinar y con el mismo cuidado envuélvelo con la misma intención probar que eso actue como jaula de Faraday.