El Teensy 3.2 soporta lógica de 3.3V y de 5V, creo que no tendría que haber algún problema, sin embargo el teensy requiere de un cableado lo mas directo posible hacia la pantalla.
El camino que estás siguiendo es nuevo ya que desde un principio opté por el break out-20 de Riverdi, incluso para el Due y el teensy 3.2. Había experimentado previamente con lectores micro SD y di con el adecuado.
ligthcalamar decidió construir un lector a partir de uno de los adaptadores micro SD que tiene kingston y funciona correctamente. De cuando en cuando hay que formatear la tarjeta micro SD con el fin de eliminar alguno que otro error de lectura.
Te sugiero que trates de conseguir el break out-20 de Riverdi, te ahorrará muchos dolores de cabeza
El arreglo final es alimentado por USB y es suficiente para abastecer la demanda de la retroiluminación de la pantalla FT813 de 5". Recuerda que el teensy 3.2 tiene dos pines de 3.3V, uno de esos pines entrega un máximo de 250 mA. Te sugiero usar el segundo, ubicado cerca del procesador cortex.
El cableado que usé en el teensy 3.2 lo volví a usar en el teensy 3.6, lo aprendido con el lector micro SD ayudó a desistir en usar el shield de Riverdi.
