Du solltest den Arduino nicht mit einem COBOL "Groß"-Rechner, sondern mit einer speicherprogrammierbaren Steuerung ( SPS, englisch PLC ) vergleichen.
Da treten ähnliche Probleme bezüglich Ein/Ausschalten auf.
Dass der Anschluß des SerialMonitor oder eines anderen Terminalprogramms einen Reset auslöst, ist allerdings speziell, und wurde schon öfters diskutiert.
Hängt damit zusammen, es einerseits dem Arduino-Fan zu einfach wie möglich zu machen, einen neuen Sketch aufzuspielen, und andererseits dass windows inzwischen ein "sicheres" Betriebssystem ist, was nicht zulässt, das ein Programm einfach eine offene serielle Schnittstelle übernimmt.
Wenn dieser Reset nicht passt, gibt es verschiedene Abhilfe-Möglichkeiten zwischen
- gar kein Reset durch PC Software (Taster drücken vor dem Upload)
- kein Soft-Reset wenn ein Kondensator gesteckt ist
- kein Soft-Reset wenn der gerade laufende Sketch es nicht will (erfordert ein bisschen mehr Hardware als den obigen Kondensator)
Im Zweifelsfall macht jede Schaltung für kurze Zeit nach dem Anlegen der Betriebsspannung was sie will.
Na ja, da will ich dich etwas beruhigen, nach Reset sind alle Pins erstmal Digital-Eingaben ohne Pullup-Widerstand, d.h es kommt nichts raus was du nicht willst.
(Ausser im Speicher ist das falsche Programm). Deine Hardware sollte so ausgelegt sein, dass diese Konstellation keinen unmittelbaren Schaden verursacht 
Aber beim Ausschalten stimmt es schon, da ist es evtl. deine Sache damit zurecht zu kommen, in welcher Reihenfolge die Stromversorgung wegbricht. Der Prozessor selbst bietet da mehr als die Arduino-Bibliotheken unterstützen ( Stichwort BrownOut )
Man findet vergleichsweise wenige Arduinos in kritischen Bereichen in der Medizintechnik, bemannten Flugzeugen oder Atomkraftwerken. (Dafür sind sie wonaders umso beliebter)
Stimmt genau, das Ding fasziniert, und sich auf die Beschränkungen einzulassen hat seinen Reiz.