Por curiosidade fiz uma mascara e testei, deu certo!
Peguei um papel fiz um pequeno furo com a ponta de uma caneta e deixei um pouco na frente do LED e e os dois distantes do fototransistor e foi suficiente para aciona-lo.
Usei fonte de 5V e resistor de 330R no LED.
Acho que vc consegue fazer ainda menor o furo e pode alinhar duas mascaras assim bloqueia quase todos raios que nao forem paralelos, coloca uma separada uns 2 cm da outra e 1 cm do LED.
Coloca uma outra mascara com furo maior e cobrindo as laterais do fototransistor.
Acho que isso deve dar um feixe bem fino suficinete para detectar um resistor.
Agora falta só vc testar com seu projeto.