Wenn Du kein Rechtecksignal siehst, dann steht der Poti für Puls-Pausen-Verhältnis im Anschlag. Wenn Du 0V kontinuerliches Signal hast, dann ist duty cycle bei 0%. Falls 5V, dann ist er bei 100% duty cycle.
Das Beispiel welches Du benutzt hast, nutzt Bibliothek von dieser Seite : DDS-AD9850 + Open oscilloscope - Lxardoscope - Blog
Versuch doch den Code von mir:
Beispiel .ino
AH_AD9850 Arduino Library
AH_AD9850.h Funktionen
//Objekt deklaration
AH_AD9850(int CLK, int FQUP, int BitData, int RESET);
//Funktionen
void reset();
void powerDown();
void set_frequency(boolean PowerDown, byte Phase, double Freq);
void set_frequency(double Freq);