Une solution radicale pour être tranquille (un peu à la hussarde quand même) mais sans risque de confusion en mélangeant les câbles :
1) dessouder le polyswitch (*), cela coupe la liaison avec le +5VUSB fourni par le PC -> pour ne pas perdre le polyswitch je l'ai soudé en attente sur la grosse plage de soudure du régulateur 5V
2) souder un fil pour amener l'alim sur la plage de report du polyswitch -> celle qui n'est pas reliée à l'USb

3) par précaution souder un condensateur de filtrage entre le fil et la masse du connecteur USB
Comme cela on peut utiliser une alimentation externe (3 à 5V) sans se préocuper ni de l'usb ni du régulateur qui demande 7V min.
Par contre ne pas oublier d'alimenter le micro AVANT de commencer à le programmer par l'USB.
(*) voir les schéma électrique et d'implantation sur le site Arduino.
Commutation automatique des alim :
L'alim "USB" passe par T1 (FDN340P) qui est normalement conducteur donc Rdson = 0 Ohms.
Dès que l'on applique une tension par l'accès Vextérieur l'amplificateur opérationnel IC7b (LM358 monté en comparateur) bascule et bloque le T1. Comme la sortie du FET et celle du régulateur sont reliées le micro continu à être alimenté.