Jo det var sådan jeg tænkte. Og det bekræfter jo at noget er galt med dit kredsløb. Og det er også for enkelt at have gået galt. (Lige nu vil dit kredsløb også kun virke hvis du har USBen i Arduinoen da den jo ellers ikke får strøm noget sted fra.)
Men, nu tror jeg ikke dine ledninger er så lige og pæne som tegningen 
Hvis din Step/Dir indgange ikke er forbundet vil vi se denne opførsel da indgangen på chippen modtger "radio støj" som input. Check og dobbel check. Hvis der mangler GND mellem de to print giver den anden ledningen ingen mening.
Der er to små problemer med breadboards. Det ene er at hvis ens ledninger er for tynde så bliver der ikke en god kontakt. Den anden har drivet mig til vanviiiid mindst en gang. De to lange "strømskinner" langs med yderkanten er ikke gennemgående - de er afbrudt i midten. Så hvis man sætter GND i den ene kant og tror man langs hele længden får GND så bliver man skuffet. Jeg ved - på tegningen bruger du slet ikke kantskinnerne - men du gør måske "in real life"?
Hvis du har en mulitmeter, så mål mellem GND og se om du har 5V på Easydriverens 5V udgang. Tag af alle strømforsyninger og mål med Ohm meter at du har "0 ohm" mellem et af de andre Arduino GND ben og et af den andre EasyDriver GND ben.
Og God jul, det er jo snart