Bueno, más pruebas y más conclusiones.
He hecho pruebas con Aurduinos Uno, Mega y Micro (ahora no tengo ningún Nano disponible). Resulta que tengo un Uno y un Micro, con el mismo modelo de regulador, pero distinto del que puse antes.
Esto es el micro:

Y esto el Uno:

Hago pruebas con el Uno, lo alimento con una fuente regulable de laboratorio a 12V. También conecto el osciloscopio a la alimentación y a la salida de 5V. Voy bajando la tensión, hasta que cuando llego por debajo de los 7V, la tensión de 5V también baja (normal) pero no hay ningún ruido extraño.
Hago lo mismo con el Micro, y en el momento en que la tensión baja de 7V, aparece el ruido, y no desaparece aunque aumente otra vez a los 12V, pero para mi sorpresa, en el momento en que empiezo la prueba a 12V, no hay ruido. Apago la fuente por su interruptor, la vuelvo a encender con una tensión alrededor de los 12V, y todo correcto. Entonces, se me ocurre desconectar la alimentación, pero soltando el borne de masa, no apagando la fuente, y cuando lo vuelvo a conectar, ahí vuelve el ruido, y lo mismo, si lo hago desconectando y volviendo a conectar el borne positivo.
Este comportamiento, no pasa con el Uno. Puedo desconectar el borne que quiera, que cuando lo vuelvo a conectar, todo va bien.
El ruido en cuestión es el siguiente:

Canal rojo alimentación, canal amarillo salida de 5V. El Ruido, llega incluso a la alimentación, y puede oirse un ruido muy flojo como de alta frecuencia, si acercas la oreja al Micro.
La conclusión que saco de esto, es que no parece ser problema del regulador, si no que algo pasa con el diseño del Micro.