Prova ad impostare la resistenza di pull-up interna prima di settare il pin come uscita.
Questo dovrebbe evitare il "disturbo" all'avvio portando l'uscita immediatamente a livello alto.
Se lo fa anche allo spegnimento, potresti provare a mettere la resistenza di pull-up esterna al micro.