Tienes que activar las resistencias PULL-UP en el Setup():
pinMode(buttonPin, INPUT_PULLUP);
pinMode(buttonPin2, INPUT_PULLUP);
Las lecturas con interruptor al centro deberian ser HIGH en ambas entradas y LOW en la entrada que actives con el interruptor(La conectas con GND a traves del cable central)