Con la sugerencia de @tresvdoble activas las resistencias pull-up, equivale a hacer directamente
pinMode (4, INPUT_PULLUP);
pinMode (2, INPUT_PULLUP);
Imagino que ya tiene conectadas las respectivas resistencias a 5V en los finales de carrera pero si caso no las tuviese, es una buena observación la del amigo.
Saludos