Das Datenblatt des Displays sagt ja, daß es mit SPI langsamer ist als im 8-Bit Modus. Wenn Du den SPI Takt nicht höher setzen kannst, mußt Du damit leben. Oder einen Controller nehmen, der auch noch ausreichend Pins für die parallele Datenübertragung hat.
Was möchtest Du denn anzeigen, daß Du so viel Speicher brauchst?