¿Eliminar?, ya con eso lo estas eliminando ¿o es que quieres quitarlo fisicamente?, no haria falta.
Si si puedes alimentarlo via USB para programarlo, pero "ojo" cuando pases a 3,3 V, el USB impondra sus 5V y podrias dañar la fuente de 3,3V o cualquier modulo conectado al nano que no pueda soportar dicho voltaje.
Saludos.