Pour 32 LEDS, on compte 60mA au plus par LED, ca ferait un courant max de près de 2A, un peu beaucoup pour un petit Arduino... Tu en a 8 fois plus !
Il vaut mieux en effet une alim externe (vérifie sur la datasheet de ton produit pour choisir ton alim au mieux), pour les LEDs et l'Arduino
Adafruit recommande ceci : (voir cette page et les suivantes) C'est pour une bande de LEDs, mais ça doit être bon pour une matrice
Après, pourquoi FastLED fonctionne et pas Adafruit ? Peut-être une question de gestion des LEDs. Prend celle qui fonctionne, sauf si tu as vraiment besoin d'Adafruit