Meines erachtens ist es ein grober Fehler die Masse der 12V durch den Spannungswandler mit der Masse der 5V zu verbinden. Es braucht eine gemeinsame stabile Masse oder eine Ansteuerung der MOSFETS über Optoisolatoren.
Ich weiß, daß bei gewissen Spannungswandler die Massen nicht zusammenschaltet werden dürfen. Ist das Bei Dir auch der Fall?
Grüße Uwe