Porque no pegas una captura de lo que lees en el monitor serie, pero además suponiendo que tu código solo lea el valor analógico y nada mas, considera hacer un promedio de valores para bajarle la posible interferencia.
Intenta dar mas detalles como distancia del potenciometro al arduino.
Si conectas el potenciometro junto al arduino tmb tienes las interferencia? SI es así entonces tu fuente tiene un pobre filtrado.