ok il tuo motore funziona a 4.5v ma quanti ampere ciuccia? un carico induttivo come un motore deve essere pilotato in modo che assorba la giusta corrente e che la corrente di frenata non vada a danneggiare l alimentazione.
Come saprai un motore DC è anche una dinamo, quando gli fornisci corrente inizia a ruotare e acquista una certa inerzia. Quando togli corrente, la forza di inerzia si consuma abbastanza rapidamente ma il motore si trasforma in una dinamo e genera una corrente.
In pratica se non metti dei diodi di protezione che fanno scaricare questa corrente a massa rischi di fottere l alimentazione (in questo caso l FT232), fortunatamente a te il motore non è partito

Per pilotare un motore DC in 2 direzioni ti basta un semplicissimo ponte H a BJT o a FET a seconda della corrente che deve passare nel motore.
costruirli e pilotarli è molto semplice.

guarda questo è un ponte H che feci io con 4 bc337(general purpouse npn BJT) e 4 diodi 1N4148(mi pare comunque erano fast diode, Imax 1A)
ogni tanto si bloccava perchè appunto la usb fornisce al massimo 500 mA ma quei motorini ne ciucciano poco di più