No termino de entender el circuito ni el tipo de problema que ves.
Para ver como responde el joystick podrías leer el valor de resistencias en distintos puntos del recurrido y hacerte una gráfica. Eso te dará un idea de como de lineal responde el mando.
La variación que dices que te da, ¿no te da con otro tipos de potenciometros?
En general, por experiencias pasadas, los potenciometros de un joystick (el que sea) no son muy estable en el centro. Por eso, en los drivers de muchos de ellos, te permiten definir una "zona muerta" para evitar esas variaciones. A la señal después tendrás que hacerle algún tipo de filtrado para poder tener valores más suaves.