scusa ma quì c'è un errore di base.
Quando fai
attachInterrupt(1, interruptEncoder, RISING);
stai attaccando un interrupt sul pin di interrupt 1 (che non corrisponde al digitale 1), qundi
1: è inutile il controllo if(PIND&3) perchè il controllo è già fatta a priori.
2: sicuro che il pin interrupt 2 sia il PIND&3? altrimenti fin'ora stai misurando solo rumore