Atmega 328

No. Senza bootloader non puoi programmarlo tramite seriale.
Come già detto, puoi inserire il bootloader mettendo il micro su una bradboard con quarzo, resistenza e condensatori e scrivere il bootloader tramite l'Arduino che hai già.

Inserire e rimuovere più volte il micro può rovinare i piedini o lo zoccolo; se devi effettuare l'operazione più volte procurati un zoccolo ZIF.