Dieser Effekt ist "normal" aber brandgefährlich. Du kannst so den arduino kaputtmachen.
Fast alle Eingänge/Ausgänge der ICs vertragen nur Spannungen bis knapp überhalb (0,3V bis 0,5V) der Versorgungsspannung. Bei höheren Spannungen werden die Schutzdioden die an den Pins integriert sind leitend und das IC kann zerstört werden. Wenn Du die 5V entfernst hast Du 0V Versorgungsspannung und darum darfst Du auch keine 5V an irgendein Pin geben.
Grüße Uwe