next topic »

[on:]

Bonjour tout le monde !

Comme vous le savez surement déja depuis quelques temps, nous les Arduinistes Francophone, nous sommes organisé pour nous rebeller faire entendre et rendre notre sous-forum plus conviviale et sympathique.

Nous avons d'or et déja réussi à faire accepter par l'administration la mise en place de sous-catégories, afin de pouvoir (enfin) trier les topics, et ainsi rendre la navigation plus agréable.
(Pour information: la mise en place des catégories est prévu dans les alentours du 9 mars)

Pour ceux qui n'auraient pas suivit l'histoire, voici le topic sur lequel tout la logistique a était débattu :
http://arduino.cc/forum/index.php/topic,88176.msg710916.html#new


Mais il serait dommage de s'en arrêter là !

C'est pourquoi ils nous faut, dans un premier temps, créer une charte et un règlement pour le forum, ce passage obligatoire pour assurer un environnement de communication libre et agréable est ouverte à toute proposition :
http://arduino.cc/forum/index.php/topic,94783.0.html

-- rédaction en cours --
-- J-F tu peut split le reste des topics de l'ancien forum pendant que je finit ? --

Je propose également une date limite pour les sujets n'ayant pas de réponse.

Skywodd, c'est possible de faire un bot qui détecte le nombre de message et la date de création du sujet ?

[Reply #1 on:]

Yep!

Je propose également une date limite pour les sujets n'ayant pas de réponse.

Skywodd, c'est possible de faire un bot qui détecte le nombre de message et la date de création du sujet ?

Il y a aussi beaucoup de message avec des liens urls non valides !!!

Detections des urls non valides ???

@+

Zoroastre.

[Reply #2 on:]

Je propose également une date limite pour les sujets n'ayant pas de réponse.

Skywodd, c'est possible de faire un bot qui détecte le nombre de message et la date de création du sujet ?

Le nombre de message : oui,
La date de création : oui mais avec quelques astuces,

Il y a aussi beaucoup de message avec des liens urls non valides !!!

Detections des urls non valides ???

Humm ... détection des liens mal écrit genre htp://google.fr, ou des liens qui ne point vers un 404 not found ou sur un serveur inexistant ?
Si c'est une détection des liens pointant vers un 404 ou rien, j'avais fait un script qui vérifié la validité des liens megaupload, moyennant modification ça doit pouvoir ce faire.

Un client PC pour le forum ... c'est un projet qui me tente bien
Un petit topic sur le sujet pour en débattre ?

[Reply #3 on:]

Yep!

Je viens d'y penser et de faire quelques essais.
Le moteur de recherche arduino, même si il n'est pas parfait, peut nous aider dans cette tâche.

Exemple :
http://arduino.cc/forum/index.php?action=search2&brd=33&minage=0&maxage=10&sort=numReplies|asc&search="2n2222"

- brd=33 // board 33 --> forum français
- minage = x // fourchette mini de l'age des sujets
- maxage = x // fourchette maxi de l'age des sujets
- sort = { relevance|desc,        // resultat les plus correspondants
                numReplies|desc,     // grand nombre de réponse d'abord
                numReplies|asc,       // faible nombre de réponse d'abord
                ID_MSG|desc,            // sujet plus récent d'abord
                ID_MSG|asc }            // sujet moins récent d'abord
- show_complete = (0|1) // affiche ou pas le contenu
- subject_only = (0|1) // affiche ou pas l'entête
- searchtype = (1|2) // 1 = recherche tous les mots ensembles, 2 = recherche chaques mots.

Je pense avoir fait le tour des options possibles. Le seul inconvénient est qu'il faut nécessairement entrer un mot clé pour la recherche (&search="2n2222"). En cherchant des mots clé, tel que le, la, les, un, une, je pense que l'on peut rapidement faire le tour des sujets en les triant par nombre de réponse.

Cà serait cool d'avoir notre propre moteur de recherche 100% francophone  

@+

Zoroastre.

PS : Skywodd, ces quelques options peuvent améliorer tes robots

[Reply #4 on:]

Je viens d'y penser et de faire quelques essais.
Le moteur de recherche arduino, même si il n'est pas parfait, peut nous aider dans cette tâche.

Exemple :
http://arduino.cc/forum/index.php?action=search2&brd=33&minage=0&maxage=10&sort=numReplies|asc&search="2n2222"

- brd=33 // board 33 --> forum français
- minage = x // fourchette mini de l'age des sujets
- maxage = x // fourchette maxi de l'age des sujets
- sort = { relevance|desc,        // resultat les plus correspondants
                numReplies|desc,     // grand nombre de réponse d'abord
                numReplies|asc,       // faible nombre de réponse d'abord
                ID_MSG|desc,            // sujet plus récent d'abord
                ID_MSG|asc }            // sujet moins récent d'abord
- show_complete = (0|1) // affiche ou pas le contenu
- subject_only = (0|1) // affiche ou pas l'entête
- searchtype = (1|2) // 1 = recherche tous les mots ensembles, 2 = recherche chaques mots.

Je pense avoir fait le tour des options possibles. Le seul inconvénient est qu'il faut nécessairement entrer un mot clé pour la recherche (&search="2n2222"). En cherchant des mots clé, tel que le, la, les, un, une, je pense que l'on peut rapidement faire le tour des sujets en les triant par nombre de réponse.

Ya beaucoup plus simple pour tout récupérer.
Il suffit de parser chaque page du forum, et placer les résultat d'une série de regex dans une base de données type sqlite ou mysql.
Ensuite pour chaque topic tu refait le même systéme pour en extraire les post, sa reviendrai à générer une copie de la base de donnée france du forum.
De la il serait possible de monter notre propre moteur de recherche et notre propre client d'alerte/popup.

Cà serait cool d'avoir notre propre moteur de recherche 100% francophone  

+1

-> topic dédié or not ?

[Reply #5 on:]

-> topic dédié or not ?

+1

[Reply #6 on:]

Yep!

Il suffit de parser chaque page du forum, et placer les résultat d'une série de regex dans une base de données type sqlite ou mysql.

Je n'y aurait même pas pensé !!! Mais cela sous entend d'externaliser le moteur ???

Ensuite pour chaque topic tu refait le même systéme pour en extraire les post, sa reviendrai à générer une copie de la base de donnée france du forum.

Cà j'y avait déjà pensé, mais pour une toute autre utilité, celle du nettoyage du forum que nous commençons
A vrai dire, j'ai une flemmingite aigüe grave, même un simple pavuk me fait horreur en ce moment  Ainsi l'image récuperée aurait subie un traitement recursif.

Dans l'idée génerale, nous avions déjà évoqué les problèmes relatifs au moteur de recherche, même si il contient les options qui permettent une recherche spécifique, si nous pouvions faciliter son utilisation et le contenir au forum francophone, je suis 100% partant.

+1 topic dédié (faut pas tout mélanger )

@+

Zoroastre.

[Reply #7 on:]

-> topic dédié or not ?

+1

Ok, je vais faire un topic dédié.
Tu pourra déplacer les post à partir de ton post http://arduino.cc/forum/index.php/topic,94783.msg712996.html#msg712996 ?

[Reply #8 on:]

C'est fait.

J'ai du mettre ton premier message en citation dans mon premier message, je n'arrive pas à changer les dates de créations, ce qui influence l'ordre des message dans le topic.

[Reply #9 on:]

C'est fait.

J'ai du mettre ton premier message en citation dans mon premier message, je n'arrive pas à changer les dates de créations, ce qui influence l'ordre des message dans le topic.

Ok no problém.
C'est ennuyeux quand même ce probléme de timestamp des post ... ça veut dire que tu ne peut pas fusionner deux topic sans que les post se mélange ?
Ce serait un truc à dire aux admin pour qu'il ajoute un fonction "timeshift" pour déplacer dans le temps tout une série de post.

[Reply #10 on:]

Il suffit de parser chaque page du forum, et placer les résultat d'une série de regex dans une base de données type sqlite ou mysql.

Je n'y aurait même pas pensé !!! Mais cela sous entend d'externaliser le moteur ???

Externaliser le moteur et la base de donnée, ou avoir un accord d'accès à celle déja existante (on peut toujours rêver ).
Externalisé -> avoir un controle total -> pouvoir optimiser selon NOS besoin.

Cà j'y avait déjà pensé, mais pour une toute autre utilité, celle du nettoyage du forum que nous commençons
A vrai dire, j'ai une flemmingite aigüe grave, même un simple pavuk me fait horreur en ce moment   Ainsi l'image récuperée aurait subie un traitement recursif.

L'avantage d'avoir une copie de travail c'est de pouvoir la journaliser, en cas d'erreur on ne touche jamais à l'original.
Et aussi de pouvoir envoyer des requête / script trés puissant pour manipuler les post très rapidement et de manière totalement automatisé.

Dans l'idée génerale, nous avions déjà évoqué les problèmes relatifs au moteur de recherche, même si il contient les options qui permettent une recherche spécifique, si nous pouvions faciliter son utilisation et le contenir au forum francophone, je suis 100% partant.

J'avais déja fait un client en java pour le forum korben .info, donc si d'autre membres sont partant pour ce lancer dans le projet pourquoi pas.


EDIT: J'ai renverser la mise en forme du forum, tout le design est basé sur des <table> <tr> <td>.

je suis en train de faire un script python qui va générer une bdd contenant les info suivante :
icône du topic,
nom du topic,
nom du membre rédacteur,
nombre de reply,
nombre de vue,
date du derniers post,
nom du membre rédacteur du derniers post,
lien vers le topic

En parallèle je vais faire en sort qu'il génère une table des membres avec les info suivante :
nom du membre, lien vers son profil

Affaire à suivre, pour le contenu des topics je verrais dans un second temps.

Problème que je viens de découvrir, il n'est pas possible d'avoir un avertissement en cas de post édité, je sait pas comment je vais faire pour détecter les éditions de post, enfin je verrai ça plus tard.

(Je suis sur le point de générer 1520 requêtes http, je vais devoir limiter le nombre de requêtes par seconde sinon je vais me faire tuer.)

[Reply #11 on:]

Tient au passage :

Code:

<!-- Piwik -->
(...)
<!-- End Piwik Tracking Code -->

La team arduino utilise piwik ... et aprés ils se demandent pourquoi leurs serveur rament ...

http://stats.arduino.cc/piwik/piwik.php -> "SQLSTATE[08004] [1040] Too many connections"

[Reply #12 on:]

Yep!

piwik

Je ne connaissais pas piwik, mais prés de 700 ms de latence çà ne me donne pas une bonne image 

@+

Zoroastre.

[Reply #13 on:]

Je ne connaissais pas piwik, mais prés de 700 ms de latence çà ne me donne pas une bonne image 

-> http://demo.piwik.org

A coté google analytics c'est rien ... vive big brother

[Reply #14 on:]

Je l'avais testé sur mon site.... je l'ai vite enlevé