Leer una pantalla por partes

Buenos noches, tengo una especie de idea para un proyecto, pero no se si existe algo con lo que lo pueda lograr.

La idea es básicamente, con algún "sensor" (A falta de una descripción más específica), observar una pantalla, ya sea de un smartphone o tablet, y actuar en consecuencia de lo que se va mostrando. Debería poder dividir la pantalla en varias partes (Tipo matriz), ya que según lo que aparezca, voy a necesitar operar una cosa u otra.

Estoy buscando algún proyecto similar, de forma de dar una idea más clara de lo que quiero hacer. Ni bien tenga un poco más de información, edito el mensaje.

Un saludo. Muchas gracias.

EDITO:
Encontré algo similar en este link (Un robot para jugar al Piano Tiles).
Vendría a ser un primer proyecto para hacer, algo más básico que lo que quiero lograr, ya que no sabría de antemano en que parte de la pantalla pueden aparecer la información a la que tendría que reaccionar mi circuito, por lo tanto debería estar escaneando la pantalla constantemente.

Una última consulta. En ese video, que es con lo que hace reaccionar el táctil? Ya que en la descripción dice "artificial fingers".