Im Zweifelsfall macht jede Schaltung für kurze Zeit nach dem Anlegen der Betriebsspannung was sie will. Gleiches gilt beim Abfall der Spannung. Es ist ein Designprinzip alles so auszulegen, dass das keine Probleme macht.
Weiterhin ist für das Reset Verhalten wie schon erwähnt DTR verantworlich. Wenn der Arduino während des Bootens am Computer hängt kann das sogar mehrfach einen Reset auslösen.
Ein plötzlicher Stromentzug hat unter normalen Umständen schon manchmal Konsequenzen. Insbesondere dann wenn man gerade ins EEPROM schreibt oder am Flashen ist. Das Ergebnis ist dann inkonsistenter persistenter Speicherinhalt. Das ist häufig nicht schlimm, aber je nach Anwendung könnte sowas schon mal zu einem echten Problem werden. Leute die so kritische Anwendungen bauen wissen sowas aber normalerweise. Die Arbeiten in der Regel auch nicht mit Arduinos 