Bueno, si estas haciendo algo de domotica creo que equivocas la topología.
Tendrias que usar una Raspberry Pi 4 8MB o una PI 5 similar o una NUC para correr algo que se llama Home Assistant. Esto te gestiona todo, pantallas, celulares, tablet, etc.
Luego distribuyen los controles con Arduino, ESPs por todos ladoss y consigues lo que quieres sin complicarte la existencia como lo estas haciendo.
Si algo no tiene la capacidad hoy, no vale la pena pensar como lo estas pensando. Buscas algo que si tenga la capacidad y recalculas.
Ese es mi consejo.
Si con libreria no puedes en un Arduino Giga entonces como o de qué manera?
Vas a mejorar algo haciendolo sin librería? Lo dudo. La librería no agrega espacio, en todo caso mira que cosas de la librería no vas a usar y quítalas pero lo demas te ahorrará mucho tiempo.
Mi consejo esta ahi.