Ist halt schon in den Beispielen der Lib so ... 
@tebraan : Zum einen könntest Du mal deinen Sketch zeigen ( oder hast Du bisher nur das Beispiel aus der Lib probiert/angeschaut?
Im Prinzip must Du deine Buttons über die Port-Extender z.B. in ein Array lesen, und dann beim Übergeben an die Joystick-Lib die Statuswerte aus dem Array nehmen, statt das digitalRead zu nutzen.