Serial verschluckt Daten ?

@ dsyleixa
Na ... sooo lang ist der Code ja nun auch nicht. Sind ja letztendlich nur 2 Funktionen.
Sei versichert, das habe ich schon mehr als 2x gemacht - auch die ganze Struktur (wieder) umgestellt wie im zuvor beschriebenen "Basisbeispiel".
Es bleibt bei diesem Problem...

Und: Eben grade beim ausdünnen (Raus mit den Debug-Prints u.a.) ist mir das erst aufgefallen, dass da irgendwie bytes verschwinden !
Mit (oder eben mit delay in der Loop) läuft das tadellos.

Mit (oder eben mit delay in der Loop) läuft das tadellos.

Genau das ist der Gedankenfehler.

Die Bits trudeln so langsam ein und Du erwartest sie alle sofort vollzählig im Eingangsbuffer der Schnittstelle.
Mit einem langsamen Programm (durch die delays) funktioniert das dann schon.

Der Sketch muß die Bytes holen wenn sie ankommen und sofort analysieren. Wenn keine ankommen dann kontrolliert er halt solange bis wieder was da ist.

Grüße Uwe

Ein Byte braucht 1 / Baudrate * 10 Sekunden (1 Startbit, 8 Datenbits, 1 Stopbit). Das sind bei 9600 Baud ca. 1ms. Selbst bei sehr hohen Baudraten ist die serielle Schnittstelle noch deutlich langsamer als der Prozessor

TERWI:
@ dsyleixa
Na ... sooo lang ist der Code ja nun auch nicht. Sind ja letztendlich nur 2 Funktionen.
Sei versichert, das habe ich schon mehr als 2x gemacht - auch die ganze Struktur (wieder) umgestellt wie im zuvor beschriebenen "Basisbeispiel".
Es bleibt bei diesem Problem...
Und: Eben grade beim ausdünnen (Raus mit den Debug-Prints u.a.) ist mir das erst aufgefallen, dass da irgendwie bytes verschwinden !
Mit (oder eben mit delay in der Loop) läuft das tadellos.

es geht nicht um das, was du selber alles ausprobiert hast, sondern um einen nachvollziehbaren, minimalen, aber kompletten und sofort kompilierbaren Code, der den Fehler sofort reproduziert, und den wir uns hier ansehen und ggf. auch downloaden und selber austesten können. Ohne alles dafür nicht unbedingt notwendige Zeugs. Höchstens (!) minimal (!) länger als 50 Zeilen.
Also poste bitte mal diese MCVE Code Version.

@ Serenifly
Ich nutze i.d.R. 57600 - nur Testweise hatte ich mal auf 9600 gestellt. Gleiches Prob.
Als "delay" sind zwar die Serial.pint's in der Leseroutine, aber das delay() selbst steht in der Loop.
Anmerkung dazu siehe unten.

@ Uwe
Ich warte ja schon auf z.Zt. min. 14 Zeichen im Puffer (11x Header, 3x Marker).
Das liest die Routine ja auch anständig aus - ggf auch mit angehängten Daten-bytes.

@ dsyleixa
Hier ist eben das Prob, dass das nicht ein 0815-Ding ist, sondern eben etwas komplexer und eigentlich auch nur mit einem "Master" arbeitet, welcher eine Telegramm (Header mit Markern) sendet, diese wieder empfängt und auch wieder prüft.
Wer das richtig testen will, braucht schon meine kleines "DINO-CCOM-Tool" für den PC.
Wenn das anwenderfreundlicher geworden ist, poste ich das hier auch noch.
Hier ist etwas mehr Vorstellungskraft nötig ...

Zum möglichen Gedankenfehler:
Mich beschleicht eher mehr das Gefühl, das CMD_Check ( & CMD_Echo) in der Loop viel zu schnell wieder aufgerufen wird.
D.h., Serial macht alles asynchron und blockt nichts (?!), Routine ist fertig und der nächste Aufruf kommt, bevor der Puffer richtig leer ist ???
Mit delay(20) klappt das gut - mit weniger (<= 10) verhaspelt sich das wieder.

TERWI:
Ich nutze i.d.R. 57600 - nur Testweise hatte ich mal auf 9600 gestellt. Gleiches Prob.

Dann dauert ein Byte immer noch ca. 170µs!

und blockt nichts (?!)

Die FiFos der Seriellen, eines UNO, sind 64 Byte groß.
Danach blockiert das senden.
Das lesen verliert dann Bytes

Aber das kannst du auch alles selber herausfinden.
Denn schließlich liegt der Quellcode auf deinem PC.

Das mit den Puffer-Limits ist mir bekannt.
Aktuell sendet der PC jedoch nur 11 Header-, 3 Daten- und 3 Marker-bytes. Also ges. 17. Da läuft nix über.
Z. Zt. werden zurück gesendet 11 Header- und 6 Marker-bytes zzgl bei

  • bei IDXREPLY=1: 12 bytes (2 Werte, DINO_ID_STRING) als Kennung bei SetUp/Reset
  • bei IDXREPLY=3: 3 bytes wie empfangen zur Kontrolle
    Ges. 17 bzw 29 bytes. Auch da läuft nix über.

Da PC-Proggie wartet nach jeder Übertragung auf Antwort und verifiziert diese.
Erneutes senden wird mit einem Timeout von 3 Sek. geblockt, so das der Dino nicht gestresst wird.
An zu viel Daten und/oder zeitkritischen Aufrufen sollte es also nicht liegen.

CMD_Echo scheint einwandfrei zu sein.
Nur CMD_Check hat nach wie vor offensichtlich ein Problem, Daten richtig zu lesen.
Bisher keine Anhung warum. Immer wenn ich das mit Serial.print irgendwie/-wo debugge, ist alles OK - wie eben mit dem zusätzlichen delay.

Zugegebener Weise ässt sich das in dieser Form schlecht test ....
... aber hat denn niemand in ähnlicher Form schon mal so einen Effekt gehabt ?

... aber hat denn niemand in ähnlicher Form schon mal so einen Effekt gehabt ?

Ja, hatte ich, bei einem Indexüberlauf eine Arrays.
Grüße Uwe

Die Bytefolge ließe sich aus jedem Terminalprogramm heraus senden und empfangen.
Wenn du deinen Sketch auf das Minimum schrumpfst, was das Verhalten noch produziert, springt einen (vielleicht nicht dich) der Fehler oft förmlich an.
Wenn du weiter eindampfst, das der Fehler nicht mehr auftritt, hast du einen Ansatz zum suchen.

... aber hat denn niemand in ähnlicher Form schon mal so einen Effekt gehabt ?

ich verschicke bis zu 1024 Bytes lange messages zwischen Arduino und PC (Borland C++ Builder) über Serial und das Borland-COMM-Widget hin und her und habe nie Probleme mit verschluckten Daten.
UART-clock: Serial.begin(115200).
Ich schreibe (sende) am Arduino verschieden lange cstring-Arrays ( char cbuf[1024], wird aber nicht immer maximal gefüllt ) per Serial.println (Abschluss erfolgt dadurch immer per Message-Ende-Marker '\n' );
lesen (empfangen) von unterschiedlich langen Messages (<1024 bytes) immer byte-weise (vor Weiterverarbeiting am Arduino zunächst per String = String class, am PC als C++ AnsiString) bis Message-Ende-Marker '\n' erreicht ist (Messages werden auch vom PC-Programm damit abgeschlossen).
Weiterverarbeitung der empfangenen (Roh-) strings dann nach Umwandlung in cstrings (ebenfalls char cbuf[1024]).
Lesen/schreiben ist hier auch nicht durch Serial()-Puffer-Limits eingeschränkt.

Ach Leute...
Jetzt lasst unseren TERWI doch noch ein bisschen gären....

Im Moment ist er (scheinbar?) noch nicht bereit das Problem ernsthaft anzugehen.
Er möchte lieber noch etwas jammern.
Bisher agiert er eher Problem orientiert, als Lösungsorientiert.

Als wenn versucht wird ein technisches Problem mit sozialen Lösungsstrategien anzugehen.
Und das wird bekanntlich nichts.
Denn die Technik kann ihre Einstellung nicht ändern.
Und es macht auch wenig Sinn sie zu besprechen.

ich verschicke ..
Ich schreibe ...

Ja, du bist schon ein toller Hecht!
Ohne jeden Zweifel....

Ich möchte dein Glück/Erfolg nicht schmälern, aber wie soll dein Sieg hier helfen?

combie:
Jetzt lasst unseren TERWI doch noch ein bisschen gären....
Er möchte lieber noch etwas jammern.
...
Ja, du bist schon ein toller Hecht!
Ohne jeden Zweifel....

und du bist schon ein toller Troll (aber das kenne ich ja schon von früheren posts von dir, z.B. im Topic C++ für Anfänger und dem zum Wii Nunchuk)!
Hauptsache, die Leute runtermachen, gell?

edit,
ok, jetzt hast du nacheditiert...
es geht auch nicht um einen von dir ironisch-hochnäsig titulierten "Sieg", sondern um die Frage des TO, ob noch jemand sonst derartige Probleme beobachtet hat, und mein Rezept, wie ich sogar deutlich längere Messages zwischen PC und Arduino hin- und herschicken konnte, ohne dass Daten "verschluckt" werden oder wurden, entgegen dem Statement

Die FiFos der Seriellen, eines UNO, sind 64 Byte groß. Danach blockiert das senden. Das lesen verliert dann Bytes.

Haben wir bis jetzt testbaren Code gesehen?
Die Chance, den Fehler zu reproduzieren?
Überhaupt den winzigsten Ansatz, wo es klemmt?
Nein!

Und wir sind jetzt bei 30 Beiträgen.

Entweder setzt jetzt langsam mal eine andere Denkrichtung ein, oder das wird hier gar nichts mehr!


und du bist schon ein toller Troll (aber das kenne ich ja schon von früheren posts von dir, z.B. im Topic C++ für Anfänger und dem zum Wii Nunchuk)!
Hauptsache, die Leute runtermachen, gell?

Es gibt Leute, die verklemmen sich irgendwie mit ihren Gedanken.

Und wenn erst ein Troll kommen muss, um ihnen das zu sagen, ja, dann bin ich wohl ein Troll.
Dann bin ich auch gerne ein Troll.
Und es ist mir gelinge gesagt vollkommen egal, was die Zielperson davon hält.
Die hat sowieso die Kröte zu schlucken, dass Sie auf einem völlig falschen Ast sitzt.
Auf der falschen Baustelle buddelt.

Und dann gibts da noch die Leute, welche lieber sauer, auf andere sind, als die eigene Einstellung zu prüfen.
Die sollen ja schließlich auch ihren Spaß haben!
Matthäus 7

Übrigens:
Sind es nicht meistens eher die Trolle, welche in allem und jedem erst mal einen Troll erkennen?

Sind es nicht meistens eher die Trolle, welche in allem und jedem erst mal einen Troll erkennen?

weiß ich nicht, ich zumindest trolle schließlich nicht rum und mache keine Leute und auch nicht ihre Ideen, ihre Fragen oder ihren Kenntnisstand mies.

ich zumindest trolle schließlich nicht rum

:smiling_imp: Darüber kann man durchaus geteilter Meinung sein! :smiling_imp:

@ combie
Wenn du hier nicht (mangels Vorstellungskraft wegen fehlendem Komplett-Code inkl. Sende-Tool) nicht sinvoll beitragen kannst oder möchtest, dann spar dir bitte deine nutzlosen Kommentare. Danke.

@ ElEspanol
Ich habe schon so weit möglich abgespeckt, so dass der Sinn & Funktion erhalten bleibt.
Ich muss mich wiederholen:
Das funktioniert ja so weit 1A, so lange ich ein (paar) Serial.print's als Debug drin lasse oder eben ein delay(x) in die Loop packe, was ja nicht sonderlich sinnig ist...
Kommentiere ich alles Debug-ähnliche raus, verschwinden irgendwie bytes. Mir völlig unerklärlich. Es lässt sich ohne Debug auch nicht wirklich nachvollziehen, wo. (.... und wenn drin, dann geht's ja ...)

@ dsyleixa
Ich schicke das vom PC aus via Borland Delphi. Das Tool/die Routinen darin sind anderweitig getest und laufen sicher.
Auf dem Dino wollte ich keinen großen Empangspuffer bauen, weil ich den kleinen Speicher später noch für andere Programmsachen brauche - also minimalst dirket lesen und sofort in Aktion umsetzen.

Vielleicht noch mal zum Sinn dieser Aktion:
Ich möchte in einer Routine möglichst verschieden lange Telegramme (der Header) zur allgemeinen Steuerung schicken und dazu dann auch. verschieden lange Datenpakete.
Das ganze sollte möglichst sicher sein, auch wenn die Daten durch Übertragungstörungen (soll auch mal OTA angewendet werden) die Form/Anzahl verlieren/verändern.
Deshalb eben ein MARKER-Start, der den Anfang des Headers definiert. Ein MARKER-Daten, der definiert das Ende des Headers und Begin der Daten anzeigt. Und ein MARKER-End, welcher Das Ende der Übermittlung anzeigt.
Passt alles geht das gleiche Telegramm (nicht immer mit allen/gleichen oder angeforderten Daten) zur Kontrolle zurück.
Passt irgendwie ein Marker nicht an seiner erwarteten Position, ist die ganze Nachricht hinfällig und es findet keine Aktion im DINO statt.
Und/oder wenn der Header ggf. ungültig und kommt kein ECHO, sendet der Master nochmal.

Mittlerweile habe ich den Code ein wenig umgebaut.
Zunächst hatte ich mich auf Aussagen im Forum verlassen, keine blockenden Serial-Funktionen zu nutzen und mich an Robin2's Beispiel gehalten.
Nun hab ich eben diese "bösen" und vermeintlich nicht so doll funzen Blockierfunktionen genommen - macht den Code etwas schlanker und (was am wichtigsten ist !!!) :
ES FUNKTIONIERT endlich.
Auch ohne irgendwelche Debugs oder delay()'s. und mit weniger Globalen.
Für "wie es geht" hab ich entsprechende Kommentare eingefügt.
Hier mal nur die Lese-routine neu:

void CMD_check()
{ 
  if (Serial.available() < 15) return;    // minimum telegram-size

  int num      = 0;
  int ofs      = 0;
  for (int i = 0; i < HEADERSIZE; i++) header[i] = 0;  // clear header

  if (!Serial.find(MARKERSTART))                            // MARKER found ?
    Serial.println("CMD_CKECK - MARKER-Start NOT found !"); // NO
  else                                                      // YES
  {
    header[IDXHEADLEN] = Serial.read();                    // read real Header-length
    num = Serial.readBytes(header + 1, header[IDXHEADLEN] - 1);  // read rest of Header at header[1] !!!
    if (num != (header[IDXHEADLEN] - 1))                  // did we read the wanted number of bytes ?
      Serial.println("CMD_CKECK - HEADER-Size doesn't match !");   // NO
    else                                                           // YES
    {
      if (!Serial.find(MARKERDATA))                             // MARKER found ?
        Serial.println("CMD_CKECK - MARKER-Data NOT found !");  // NO
      else                                                      // YES
      {
        for (int i = 1; i <= header[IDXDATABLK]; i++)   // read all data-blocks
        {
          num = Serial.readBytes(data + ofs, header[IDXDATALEN]);  // read 1 data-block
          if (num != header[IDXDATALEN])   // did we read the wanted number of bytes ?
          {                                // NO
            header[IDXDATALEN] = 0;        // set val in Header to 0 / no length
            header[IDXDATABLK] = 0;        // set val in Header to 0 / no blocks
            break;                         // stop the loop
          }
          ofs = ofs + header[IDXDATABLK];  // increment adress to write to
        }
        if (!Serial.find(MARKEREND))                             // MARKER found ?
          Serial.println("CMD_CKECK - MARKER-End NOT found !");  // NO
        else                                                     // YES
        {
          CMD_eval();  // evaluate the command and/or data
          CMD_echo();  // send echo to master
        }
      }
    }
  }
  while (Serial.available() > 0) Serial.read();  // clear RX-buffer for safety 
}

TERWI:
@ dsyleixa
Ich schicke das vom PC aus via Borland Delphi. Das Tool/die Routinen darin sind anderweitig getest und laufen sicher.
Auf dem Dino wollte ich keinen großen Empangspuffer bauen, weil ich den kleinen Speicher später noch für andere Programmsachen brauche - also minimalst dirket lesen und sofort in Aktion umsetzen.

Vielleicht noch mal zum Sinn dieser Aktion:
Ich möchte in einer Routine möglichst verschieden lange Telegramme (der Header) zur allgemeinen Steuerung schicken und dazu dann auch. verschieden lange Datenpakete.
Das ganze sollte möglichst sicher sein, auch wenn die Daten durch Übertragungstörungen (soll auch mal OTA angewendet werden) die Form/Anzahl verlieren/verändern.
Deshalb eben ein MARKER-Start, der den Anfang des Headers definiert. Ein MARKER-Daten, der definiert das Ende des Headers und Begin der Daten anzeigt. Und ein MARKER-End, welcher Das Ende der Übermittlung anzeigt.
Passt alles geht das gleiche Telegramm (nicht immer mit allen/gleichen oder angeforderten Daten) zur Kontrolle zurück.
Passt irgendwie ein Marker nicht an seiner erwarteten Position, ist die ganze Nachricht hinfällig und es findet keine Aktion im DINO statt.
Und/oder wenn der Header ggf. ungültig und kommt eine ECHO, sendet der Master nochmal.

Genau aus diesem Grunde mache ich es ja auch, nur offenbar mir einem anderen Puffer, anderen Daten und einem anderen Protokoll und ohne dass Daten verlorengehen.

Aber jetzt gerade las ich ja, dass es endlich funktioniert.
Glückwunsch! 8)