Quando fai queste prove le fai tenendo tutto inscatolato oppure porti fuori tutto e colleghi passando ad es. per una breadboard?
Perchè se ogni volta che tocchi qualcosa fisicamente, hai effetti diversi, il problema è sicuramente elettrico, magari quando tocchi sposti qualche cavo che capta disturbi diversi.
Se riesci, prova su banco, cioè fuori dalla scatola per evitare o quantomeno ridurre al minimo i problemi di disturbi.