Ese comportamiento es el normal y esperado.
Al conectar con el interruptor el pin a 3,3V, este coge esa tensión. Cuando lo cortas, la capacidad parásita del pin de entrada mantiene esa tensión mientras se va descargando poco a poco.
Pon una resistencia de 10K entre el pin y masa y verás como la descarga se hace mucho más rápida.
Luego, quita la resistencia, conecta el otro pin del switch a GND, no a 3,3, y activa la resistencia de pull-up interna del pin. El comportamiento es el inverso, pero te ahorras una resistencia 