No tendrás ningún problema con el USB eliminando el regulador.
Pero ten en cuenta que aun estarás alimentando el chip USB-RS232TTL ¿Por que no usas un Arduino pro mini? Ya viene con un puente para eliminar la regulación y el chip USB-RS232TTL es externo y ya es de 3.3 V.