Lo sketch che hai postato, invia sulla seriale il valore di ciascun byte fft_log_out. Questo array contiene dati binari, non dati ASCII.
Il serial monitor si aspetta che i dati in arrivo siano ASCII. Mi spiego meglio, se vede arrivare un byte = 65 lui stampa la lettera A perchè 65 è il codice ASCII di questa lettera. Nel tuo caso invece il numero 65 che arriva significa proprio 65 cioè il valore numerico.
Probabilmente lo sketch originale da cui sei partito, era fatto per comunicare ad un PC lo spettro calcolato da Arduino tramite la FFT. Ma il programma in ascolto sul PC era scritto ad hoc e si aspettava dati binari.
Un'altra cosa, che non riguarda il problema specifico da te riscontrato. La FFT calcola lo spettro di un segnale analogico, ossia l'ampiezza delle frequenza che lo costituiscono. Se colleghi semplicemente un potenziometro all'ingresso, ho idea che il risultato non sia esattamente quello che ti aspetti. Forse dovresti collegare, per esempio, un segnale audio.
Ciao.
Vittorio.