Wenn ich den Bootloader weglasse, dann kann ich mein Projekt doch garnicht starten...
Das stimmt so nicht. Dein Programm startet sofort. Der Bootloader ist auch nur ein Programm, das nach einem Reset / Einschalten direkt aktiv wird und auf der seriellen Schnittstelle lauscht ob ein Programm hochgeladen werden soll. Wenn ja flashed er das übertragene Programm, ansonsten beendet er sich und startet das schon vorhandene Programm.
Wenn man alle Pins z.B. beschaltet hat ( insbesondere Pin 0,1 und 13) macht es sogar Sinn, den Bootloader wegzulassen, da sonst die Pins nach einem Reset erstmal vom Bootloader verwendet werden und je nach Beschaltung (LED, Relais, externe Elektronik) recht seltsame Effekte erzeugen können.
Was Du halt ohne Bootloader nicht mehr machen kannst ist über die serielle Schnittstelle (also ohne ISP / Programmer) einen Sketch auf den Controller laden.