Hallo,
das mit der Flankentriggerung reicht leider nicht, selbst wenn man die "richtige" nimmt. Dann ist das Ergebnis immer Drehzahlabhängig und wie schnell der µC ist. Denn in dem Moment des einen Interrupts dreht sich der Encoder weiter und das auslesen der beiden Phasensignale ist nicht mehr das was man eigentlich haben möchte. Weil das einlesen beider verzögert abläuft. Zudem der TO noch die Schritte benötigt. Bei Stillstand gibts zudem keine Flanken. Nur Pegel. 
Wenn man es richtig machen möchte, muss man beide Signale zeitgleich einlesen. Dazu bedarf es keiner Flankenerkennung. Man muss nur schnell genug zyklisch beide Pegel einlesen.