Souliss, Domotica e IoT basata su Arduino ed Android

veseo:
Su SourceForge ho rilasciato la revisione A2 di Souliss, la modifica principale è nel supporto contemporaneo di vNet Ethernet (modalità P2P) e la classe Ethernet nativa (modalità Server, Client) di Arduino. Sfruttando questa modifica sono stati aggiunti metodi per la gestione di un server JSON ed un interfaccia HTML da avviare localmente ad un dispositivo con browser Firefox e Chrome.

Altre modifiche hanno riguardato l'aggiunta di nuovi tipici (logiche pronte all'uso orientate alla domotica).

Sulla base di queste modifiche, tutti gli esempi sono stati riscritti, molti di essi dispongono anche di un'interfaccia pronta all'uso.

http://sourceforge.net/projects/veseo-souliss/

Saluti,
Dario.

Vaseo ho provato a dare un'occhiata ma no ci ho capito na sega! Io ho già un impianto Arduino Based co Ethernet shield, collegati tramite Switch PoE.

Non riesco a comprendere come potrei usare il tuo software.

Essendo un Tecnico elettronico più che un Softwerista, saresti in grado di fornirmi uno schema elettrico e come implementare il tuo software dentro gli Arduino?

Thanks

grazie legacy del tuo ultimo post molto interessante.
chissa' perche' hanno sclto il wiz, rimanendo sul ENC avrebbero quindi fatto due cose buone, sia perche' e' migliore, sia perche' esiste in DIP. Con l'ENC si ci puo' costruire una arduino ethernet standalone senza problemi di case

Testato:
innanzitutto complimenti per il lavoro.

Io, come molti altri facenti parte della categoria "poveri", abbiamo comprato la ethernet shield appositamente prodotta per noi, quella con chip non wiz, questa http://www.nuelectronics.com/estore/index.php?main_page=project_eth

e' molto famosa in quanto costa poco. e' supportata dal tuo progetto ? oppure se hai interesse nel supportarla potrei fare da test.
Un'altro punto a suo favore e' che e' costruibile con integrati DIP (ENC28J60), quindi ottimo per standalone, mentre con il wiz non e' possibile

Ciao Testato,

in linea generale è possibile aggiungere altro hardware senza dover modificare nulla nel codice, è sufficiente predisporre la libreria dell'integrato da supportare per il funzionamento il P2P e fornire dei metodi per interfacciarlo con lo "strato" superiore di vNet.

Non conosco l'ENC28J60, ma guardando velocemente il riassuntivo del datasheet trovo: "Integrated MAC and 10BASE-T PHY". Ciò significa che non c'è il supporto in hardware del IP e TCP/UDP, è corretto?

In passato lessi di librerie specifiche per tale chip, se l'implementazione dello stack IP non ruba troppo spazio (RAM/FLASH) può essere considerata come una possibile integrazione futura. Un aspetto fondamentale è nel non gravare eccessivamente sul 328, ad esempio per la gestione dei ACK e delle connessioni.

In linea di principio, si potrebbe anche fare a meno di IP e protocolli annessi, lavorando direttamente con a livello MAC (il chip a 2.4 Ghz di Chibiduino implementa anchesso solo i livelli MAC a PHY), ma si perderebbero alcune facilitazioni come ad esempio HTTP (che richiede TCP).

legacy:
Economica? Consuma poco ? Mah ... Ho realizzato un modulo rete con cirrius C8900 che consuma 1/10 di quell'accrocchio pagando il chip solo $6. Il problema e' che C8900 non e' spi ma necessita di essere memory mapped.

Vaseo, vorrei dei chiarimenti sulle modifiche introdotte al protocollo modbus, cosa e perche'.

Il protocollo Modbus è basato sul concetto Master/Slave, MaCaco è un protocollo P2P con funzionalità di sottoscrizione dei dati. Per il resto i concetti sono analoghi, ma l'implementazione è semplificata in varie parti.

Se hai qualche curiosità in particolare, ne possiamo parlare.

Saluti,
Dario.

BaBBuino:
Vaseo ho provato a dare un'occhiata ma no ci ho capito na sega! Io ho già un impianto Arduino Based co Ethernet shield, collegati tramite Switch PoE.

Non riesco a comprendere come potrei usare il tuo software.

Essendo un Tecnico elettronico più che un Softwerista, saresti in grado di fornirmi uno schema elettrico e come implementare il tuo software dentro gli Arduino?

Thanks

Dipende da cosa ti serve fare. Relativamente agli schemi elettrici non c'è nulla di speciale, sono digital input o output (niente triac fatti a mano) qualche optoisolatore e darlington risolvono i problemi. La parte software è corredata di esempi funzionanti che possono essere usati come base.

Se vuoi possiamo discutere delle tue necessità e capire cosa possa risultarti utile del codice di Souliss, ma ti chiedo di aprire un Topic a parte, non vorrei uscire troppo fuori tema all'interno di questo spazio.

Saluti,
Dario.

yes
allego lo schema a blocchi.

Attualmente le applicazioni che ho trovato, (vedi il link che ho messo dello shield) non implementano il TCP/IP completo
Quindi si potrebbe decidere se provare a scriverlo (o trovarlo se magari e' stato fatto), oppure lavorar su mac, oppure la terza strada, quella appunto del link mio:

" instead of implementing full TCP protocl, a single data packet TCP protocol is used. You webpage contents, including all html tags, must be in one packet. The length of packet is limited by the SRAM size, currently half of the RAM space (500 bytes) is used for network Packet buffer. It is sufficient for simple webpages as shown below."

legacy:
Cosa intendi per sottoscrizione dei dati ? In che parti hai semplificato modbus?
Nella mia rete ho vari slave modbus che se interrogati accedono ai propri database o ai propri sensori e riportano al master quanto questo chiedo loro. Il tutto sftuttado la single regiser function code e la multi register function code. Ho 4 funzioni per fare tutto.

Con MaCaco ci sono diverse modalità per ricevere e/o inviare i dati, per convenzione indico con N1 il nodo che possiede i dati:

  • Sottoscrizione, il nodo ricevente N2 effettua una richiesta ad N1. Alla richiesta segue una risposta contenente i dati, a questo punto N1 invierà i dati solo se gli stessi varieranno. Il nodo sottoscrittore N2, valuta lo stato di salute del canale (un timer con valore di time-out variabile) ed eventualmente rinnova la sottoscrizione.

  • Polling, il nodo ricevente N2 effettua una richiesta ad N1. Alla richiesta segue una risposta. Per avere i dati periodicamente, il nodo N2 effettua richieste continue.

  • Pushing, il nodo N1 scrive nel nodo N2. L'invio dati può essere gestito da un timer (sconsigliato) o dagli eventi (i dati sono cambiati) a cura dell'utente.

La struttura del protocollo è più semplice, anche se concettualmente identica. Ad esempio, per non mantenere uno stato delle richieste, i functional code di richiesta e risposta sono diversi e legati da un fattore 0x10 (ad esempio 0x05 è la richiesta di sottoscrizione, 0x15 è la risposta) e nell'header del messaggio è contenuto il puntatore all'area dati in cui gli stessi andranno memorizzati quando giunti a destinazione.

Ulteriori semplificazioni:

  • Assenza della gestione errori, se viene richiesto di scrivere dove non consentito o leggere dati non presenti, non viene notificato nulla. Semplicemente il frame viene scartato.
  • Assenza di CRC, il tutto viene affidato ai CRC di livello MAC o IP in base al driver usato.

Tutto il resto è analogo, le richieste sono per gruppi di dati contigui.

Saluti,
Dario.

@ Testato, @ legacy,

Il protocollo TCP/IP è necessario se poi si vuole usare HTTP per interfacce grafiche generiche, ad esempio basate su browsers. Sono d'accordo, non è necessario un TCP completo, ma dedicare 500 byte solo come buffer dati su un 328 da 2k è troppo. Inoltre a questi 500 byte vanno aggiunti quelli necessari a mantenere lo stato delle socket.

L'utilizzo diretto in vNet è fattibile, il livello MAC è più che sufficiente, ma si perde la possibilità di avere funzionalità di interfaccia semplici.

Ad esempio, l'idea iniziale per Souliss era di portare l'intero framework su diverse piattaforme. Però poi ho virato verso JSON, quindi usando HTTP come protocollo, per ridurre i tempi di implementazione di un'interfaccia veloce da costruire.

Il punto cruciale è nelle risorse necessarie, vorrei poter aggiungere al codice la possibilità di effettuare alcune configurazioni run-time e l'auto-addressing (sia per nodi Ethernet, sia per nodi Chibi) e sopratutto non voglio giungere ad una libreria che non lasci spazio all'applicazione utente.

Il motivo per cui l'interfaccia web non è caricata da SD, ma va caricata in locale dal PC è per l'eccessivo utilizzo di risorse di TinyWebServer. Ciò per dire che volendo rimanere nel target del 328, il raggio d'azione non è vasto.

Mi impegno nel valutare le librerie esistenti per integrarle in vNet, ma i tempi saranno lunghi, per ora è previsto un lungo periodo in cui il codice non verrà modificato perché mi dedicherò esclusivamente alla riscrittura della documentazione.

Saluti,
Dario.

ottimo,
quando serve un qualsiasi test sulla versione ENC fai un fischio.
Io nel frattempo se trovo altre librerie arduiniche sul ENC28J60 le posto qui

Tu fai generalizzazioni che secondo me non hanno senso pratico.

Dici :astonished:

Comuque, io di udp, ip, tcp non ci capisco nulla, ho studiato in passato ovviamente, ma non ho mai implementato un protocollo, layer ecc. Forse però nel tuo caso hai demandato le funzionalitò http ad una periferica non prevista da veseo (quella cosa che hai detto tu con linux su, che non so cosa sia).

Io seguo, ma non ho il background per contribuire, mi manca il tempo e la volonta per dedicarmi alle problematiche di rete.

Invece capisco che se devi accendere la luce il comando lo invii solo una volta e a quello che ho capito varie logiche sono implementate in MaCaco.

Vi seguo, in silenzio.

Ciao.

Prima della migrazione dei server avevo risposto, ma è andato in timeout e poi down totale.

Sinteticamente hai raggione qui:

Non mi serve alcuna delle funzionalita' offerte dal tcp/ip se devo far parlre 2 nodi domotici, il protocollo modbus va piu' che bene e a livello fisico gli basta anche una serialina.

Al momento non vedo necessità di portarsi dietro http sui nodi, ma ovviamente un nodo speciale deve avere interfaccia tramite http to udp, per gestire la casa tramite application web.

Penso che questo pensiero lo condivida anche veseo.

Quindi su upd hai frame modbus, ottimo, flesibile direi.

Ciao.

@ legacy, @ MauroTec,

Mauro ha colto il fulcro del discorso, le due soluzioni (Souliss e quella di legacy) hanno due architetture diverse. Detto questo, alcune cose dette sono corrette altre no. Provo a fare un punto della situazione.

La comunicazione tra nodi non avviene in HTTP, ma in MaCaco che è di suo un protocollo ispirato al Modbus e necessità solo di un layer inferiore che sia almeno MAC (o superiore). La possibilità di lavorare in HTTP (e quindi in TCP/IP) nasce se un nodo oltre a fare il suo lavoro è anche un'interfaccia verso le applicazioni utente.

Il concetto di fondo dello sviluppo di Souliss è la scalabilità. Intendo dire, se una persona vuole "automatizzare" solo una parte della casa e non tutta (ad esempio solo il cancello d'ingresso, solo il garage, solo la soffitta, ...) diventa economicamente svantaggiosa un'architettura con nodi diversi per funzionalità diverse.

Se si guarda a come è scritto Souliss, le funzionalità possono essere sovrapposte, ma su ogni nodo viene caricato solo il codice effettivamente necessario. In base alle dimensioni dell'impianto si può partire da una scheda, per finire ad un numero non facilmente quantificabile all'interno dei limiti di indirizzamento. Il limite è definito dal traffico sopportabile dai nodi, traffico che è generato dagli eventi (il sistema può non usare il polling).

Se l'architetture è complessa e le funzionalità richieste non sono gestibili da un 328 (es: scenari complessi, archiviazione eventi, ...) si possono introdurre nodi dedicati, ma è una scelta.

Tornando alle scelte sul protocollo, l'idea alla base è quella di utilizzare chip che offrano il livello MAC e comunichino in SPI, oggi giorno è abbastanza comune in molti chip. Offrono un livello MAC i chip a 2.4 Ghz della Nordic e Atmel, così come quelli Ethernet.
Quindi mi affido al CRC dei livelli inferiori (in hardware), senza introdurne un ulteriore in software.

Il vero limite del 328 non è nella potenza computazionale (almeno per questo livello di applicazioni) ma nella RAM/FLASH a disposizione, quindi rinunciare al CRC software mi aiuta a risparmiare.

A mio avviso il vero punto importante di MaCaco è la gestione per sottoscrizione degli eventi, garantisce tempi di risposta estremamente più rapidi del polling. E' un concetto che va in crisi solo se il numero di eventi cresce a dismisura, ma questo non è il caso di un sistema domotico.

Un'altro vantaggio di MaCaco è quello relativo al P2P, ad esempio, posso realizzare in modo semplice logiche distribuite su più nodi. Su un nodo metto i comandi, su uno la logica, sull'altro le uscite (è un esempio estremizzato, ma fattibile). Usando un Master/Slave è fattibile, ma il tempo di risposta introduce un fattore 3.

Le logiche per la gestione domotica sono implementate in Souliss, MaCaco è esclusivamente un protocollo di trasmissione. Sotto c'è vNet, virtualizza il mezzo di trasmissione e gestione routing (aumenta la portata con nodi intermedi) e bridging, volendo, si può benissimo applicare Modbus sopra vNet, ottenendo nodi di diversa tipologia in grado di comunicare tra loro.

Detto questo, nell'implementazione Ethernet di vNet viene utilizzato TCP/IP. Il motivo è semplice, è supportato il W5100 ed in questo caso che sia RAW MAC, UDP/IP o TCP/IP non cambia il carico sul 328. Guadagno la gestione diretta degli ACK, che in MaCaco avviene in modo indiretto e solo in caso di sottoscrizione dei dati (non in polling o pushing mode).

Cosa viene usato dentro vNet (MAC, UDP, TCP) dipende da come sono scritti i driver e non ha alcuna implicazione. Ad esempio, i driver per la radio ATMEL di Chibiduino usano il livello MAC mentre quelli per il W5100 il TCP/IP. L'unico vincolo, deve esserci armonia sullo stesso mezzo di comunicazione

Volendo supportare un chip ethernet che offra il solo livello MAC, si può usare tranquillamente il solo livello MAC. Ovviamente non ci sarebbe compatibilità con il W5100 usato come TCP/IP.
Scegliendo questa strada, si torna al punto iniziale. Per ottenere un'interfaccia grafica in HTTP/JSON diventa indispensabile un dispositivo aggiunto.
Per essere rigorosi, si potrebbe ovviare al problema, gestendo la comunicazione nel dispositivo che funge da interfaccia utente (PC, tablet, ...) direttamente con una comunicazione a livello MAC. Questo significherebbe portare il framework su tali dispositivi.
Nella realtà, questa era in parte la mia idea iniziale, ma è stata temporaneamente scartata per due motivi: impone la piattaforma ed è dispendiosa da realizzare.

Al contrario HTTP/JSON sono facilmente gestibili il AJAX/jQuery, creando un'interfaccia grafica web based e disponibile su più dispositivi. Ma HTTP/JSON è facilmente gestibile anche nelle applicazioni iPhone ed Android.

Il "giro" delle informazioni su Souliss è analogo a quanto descritto da legacy, la differenza è che posso avere un nodo su cui girano JSON Server (perché non uso un web server) e le logiche di pari passo.

Ovviamente io tiro l'acqua al mio mulino :slight_smile:

Saluti,
Dario.

@ legacy

Potremmo discutere per ore, rimanendo ognuno sulle proprie posizioni. Le nostre sono due soluzioni legate a due concetti diversi ed in parte divergenti. Il mondo è bello perché è vario :slight_smile:

Venendo ai tuoi commenti:

Il costo non è solo quello del nodo in se (maggiore di 20 euro), ma il costo degli alimentatori e dell'alimentazione, il maggiore spazio richiesto. Ho sempre creduto nel "quello che non c'è non si rompe" e l'idea di distribuire i compiti tra i nodi è uno degli aspetti principali del progetto.

Suddividere il codice in librerie è già un modo per "imperare", se poi girano su un unico nodo o su nodi diversi, se fatto bene non cambia nulla. Anche io sviluppo il codice da solo, in tempi relativamente lunghi (il progetto è parito a Maggio del 2010) dedicandoci qualche ora la sera. Ultimamente ho ricevuto delle proposte di collaborazione per la parte di interfaccia :slight_smile:

Se consideriamo la funzionalità di un publish/subscribing, gli eventi difficilmente si sovrappongono ed è per questo che uso questa funzionalità in MaCaco :), ma ricorda che sottovalutare Murphy è il primo passo verso il baratro :slight_smile:

L'implementazione parziale del TCP/IP di cui si parlava, era relativa al supporto alla frammentazione dei pacchetti e non all'algoritmo che regola l'occupazione della banda. Tra le righe il W5100 non supporta la frammentazione dei pacchetti (se non ricordo male). Quindi il problema non si pone.

Ritornando al protcollo MaCaco, utilizzare un protocollo derivato e non il Modbus è legato ai motivi già discussi, come tutte le decisioni ha dei pregi e dei vantaggi. Personalmente, non intendo introdurre una compatibilità verso prodotti commerciali.
La compatibilità verso prodotti commerciali proprietari ha senso se si sta progettando prodotto competitiore low cost, ma per un progetto Open Source non ne vedo l'utilità. Inoltre i costi necessari per testare ciò sarebbero fuori dalla mia portata.

Leggendo alcune tue considerazioni, come costo orario e retrocompatibilità, sembra che tu stia lavorando ad un progetto proprietario da immettere sul mercato. In quel caso, utilizzare un numero maggiore di nodi hardware ha un vantaggio diretto in termini di danari, ma è il motivo (a mio avviso) per cui i prodotti commerciali hanno un nodo per il clock, un nodo per gli scenari, un nodo per ogni cosa...

Relativamente a vNet, è un modo per avere tre funzionalità: astrazione, routing e bridging. Queste sono fornite a livello IP, ma non ho intenzione di sviluppare IP su un nodo, quindi uso una soluzione diversa con diverse analogie con IP. Questo mi garantisce delle funzionalità di base anche su interfacce MAC.

Detto questo, spero che da questa discussione nasca la possibilità di migliorare lo sviluppo del mio codice, basandomi su quanto da te fatto e viceversa. Ma tranquillo, non prenderò Apache! :slight_smile:

Saluti,
Dario.

I commerciali venderebbero anche la madre :slight_smile:

Ho una decina di schde, tra arduino e chibiduino che utilizzo di volta in volta con cablaggi temporanei.

Per il CRC, anche aggiungendolo non avrei la compatibilità con il Modbus. Ho functional code diversi per risposta e richesta, questo semplifica tanto la gestione e mi risparmia la gestione di stato dei messaggi.

Saluti,
Dario.

Salve, ho provato a compilare l'esempio 6 di Souliss su Arduino Ethernet. Per non intasare il forum, ho annotato i miei problemi sul wiki del progetto: https://sourceforge.net/p/veseo-souliss/wiki/Home/

Souliss sembra davvero un ottimo lavoro, complimenti, anche se la curva di apprendimento pare ripida! :slight_smile:

Ciao,

il progetto supporta l'IDE 0022, in effetti non è riportato in modo chiaro. I problemi che hai riportato nei commenti al wiki sono tutti legati alla nuova IDE in versione 1. Nel wiki ho riporato alcune risposte.

Ti consiglio di utilizzare l'IDE 0022, il supporto alla versione 1 arriverà in futuro.

Saluti,
Dario.

interessante come per 4 volte ti e' stato detto di usare la versione 022 (anche la 023 va bene), e tu continui come se niente fosse.
Lo scopo principale e' farlo funzionare o farlo funzinare su ide 1.0 ? :slight_smile:

Testato:
interessante come per 4 volte ti e' stato detto di usare la versione 022 (anche la 023 va bene), e tu continui come se niente fosse.
Lo scopo principale e' farlo funzionare o farlo funzinare su ide 1.0 ? :slight_smile:

Colpa mia, sono io ad aver ripetuto quell'informazione più volte giusto per tenerne traccia. Ho risposto a tutte in un colpo.

Per questione di ordine, ho riportato i problemi evidenziati in precedenza come ticket rimuovendo i commenti dal wiki.

Invito chiunque voglia ricevere supporto sul codice ad utilizzare i ticket, segnalando l'apertura anche via messaggio privato sul forum.

Grazie,
Dario.

E' disponibile la release A2.1 su SourceForge http://sourceforge.net/projects/veseo-souliss/, i contenuti sono invariati ma sono stati risolti alcuni bug.