Vcc und JDVcc sind getrennt
liegt die Versorgungsspannung an, arbeiten die Relais. Wenn sie aber geschaltet werden, ... stürzt der Mega manchmal, bis oft ab
... wohl nicht ganz, nach deiner Fehler-Beschreibung ...
Haben alle komplett eigene Netzteile ( zum Test ) ?
Der PCF8574 entkoppelt ja nochmal die Eingangssignale in den Optokoppler vom Arduino. Ich vermute eher Pulse auf Vcc, die den Mega zum Reset veranlassen.