Y porque no usar un multiplexor tipo 4052 que tienes 4 entradas/salidas, conectas cada 4052 al mismo segmento de cada uno de los 4 Display 7 segmentos o sea que necesitarías 4x CD4052.
Lo que aparece como Xcom Ycom serán 2 segmentos que estarán conectados supongamos a los pines desde el 2 al 9 cumplimentantod los 7 segmentos y el punto decimal.
Suponiendo que los displayas tienen un decodificador BCD a 7 segmentos, entonces todos estarán encendidos buen tiempo. Tiempo suficiente para que tu barras cada display y sepas que esta mostrando, leyendo el estado de esos 8 segmentos.