Du solltest us auch die Funktion DMXSerial.read() zeigen. Denn wir müssen ja sehen können, wie der gelesene wert dort verarbeitet wird, um Dir genau sagen zu Können, wie Du ihn invertieren kannst.
Es sei denn, du möchtest es mal so versuchen:
void loop(){
analogWrite(5, 255 - DMXSerial.read(1) );
analogWrite(6, 255 - DMXSerial.read(2) );
analogWrite(10, 255 - DMXSerial.read(3) );
analogWrite(11, 255 - DMXSerial.read(4) );
analogWrite(3, 255 - DMXSerial.read(5) );
}