ahhhhhh allora tu non hai a che fare con un segnale digitale, ma analogico.
I fototransistor sono molto più lenti di un fotodiodo.
se metti il fototransistor sul buco, avrai sì un valore quasi a 5V, ma quando l'encoder gira in fretta, probabilmente il passaggio luce/non luce è abbastanza veloce per non accendere completamente il fototransistor, e quindi crea una specie di PWM. E' facile immaginare che il voltaggio non supera i 3V e quindi non viene riconosciuto come 1 logico.
soluzione: baudrate al massimo, fai un loop con una analogRead sui 2 pin a cui collegherai i sensori, e stampa i valori a video. poichè la seriale è un collo di bottiglia, fai la media di 1000 letture analogiche (una lettura analogica dura 200micros, a te i calcoli 
)