Hola, no tienes problemas con nada, no se que circuito usa ese ejemplo porque hay muchos y diversos, pero tu lo que tienes es un pin de entrada en " punto flotante", es decir no lo tienes conectado a nada y se coloca a un valor aleatorio mientras no pulses el boton.
Con un cable se encende el led, supongo que ese cable esta funcionando a modo de antena y estará captando algun tipo de radiofrecuencia existente. En una de mis placas si toco el pin con el dedo obtengo un pulsador al tacto con cierto retraso en apagarse.
Seria mas extenso explicarlo aquí, leete este enlace con ejemplos y lo entenderás mucho mejor: Link
Saludos.