Tiene pinta de ser un problema de hardware, probablemente porque aparece una realimentación positiva parásita.
El sistema lee una tensión en el potenciómetro. Esa tensión es función de la posición del potenciómetro y de la tensión con que se alimente ese potenciómetro. Si el servo no está en la posición correcta, el sistema ordena moverse al servo. Cuando el servo se activa, su motor consume corriente de la misma alimentación que alimenta el potenciómetro y eso hace que la tensión que genera el potenciómetro cambie, aunque la posición del potenciómetro no cambie. Hay que desacoplar el conjunto de forma que los cambios de consumo del servo no modifiquen la tensión con que se alimenta el potenciómetro.