No es necesario que pongas ningún delay. Ese tiempo lo ajustas con el número de muestras sobre las que haces la media.
Por ejemplo toma lecturas del joystick cada 100 ms. Si quieres que el retardo en que el motor alcance la velocidad que le indica el joystick sea de 2 segundos tendrás que hacer constantemente la media de los 20 últimos valores del joystick, ese valor mediado lo mapeas para la salida pwm y ya lo tienes, no hay que hacer nada más.