Vélib', statistiques et jolis graphiques ::Suricat, quoi de neuf ?

Vélib', statistiques et jolis graphiques

mardi 31 juillet 2007 à 21:17

Velib

J'ai vraiment un côté geek que je ne peux pas renier... En présentant le service Velib, j'avais imaginé un jeu basé sur les tickets permettant de calculer le temps entre chaque station... Je pense que ça viendra.

En attendant, j'ai été une nouvelle fois confronté à un problème d'approvisionnement des stations voisines de chez moi. Mais quand diable donc y-a-t-il des vélos dans cette station... Hum, et si on faisait quelques courbes pour avoir la tendances...

(EDIT 20081103 : voir aussi ce billet pour les cartes de densité Vélib')

Du genre :

Statistiques de la station Vélib' 11035 149 avenue Parmentier :

Statistiques de la station Vélib' 11034 124 avenue Parmentier :

Statistiques de la station Vélib' 10039 37 rue Sambre et Meuse :

Statistiques de la station Vélib' 11036 28 avenue Jules Ferry :

Statistiques de la station Vélib' 6028 6 rue des quatre vents :

Statistiques de la station Vélib' 6022 17 rue Lobineau :

Statistiques de la station Vélib' 6017 34 rue de Condé :

Que constate-t-on ?

Pour l'instant, pas grand chose, si ce n'est que la somme des places disponibles et des Vélib' disponibles ne donne pas nécessairement le nombre d'emplacements de la station. Les zones en blanc apparaissent lorsque le serveur ne répond pas - ou envoi des "0" dans tous les champs - ou que mon programme plante. Edit 04/08/2007 : en pratique, le serveur de la ville est très souvent saturé, en particulier en fin de journée - 17h00/19h00, ce qui explique toutes les zone blanches rencontrées. Victime de leur succès ?

Je vais laisser tourner cela quelques temps pour me donner une idée de l'évolution au cours de la journée des stations proches de la maison ou du bureau. Quels seront les moments les plus chargés, les plus disponibles, etc...

Comment est-ce réalisé ? L'information est publique sur le site des Vélib' dans la section "Trouver une station" lorsque l'on consulte la carte. Je récupère donc ces informations à coup de wget, je les collecte dans une base RRDTool et c'est tout. Un petit bout de Perl pour faire fonctionner le tout, une touche de rsync pour envoyer les images sur le serveur web, et voilà :-)

NOTE 1 : pour mettre à jour les images, rafraîchir la page

NOTE 2 : c'est de la béta donc les mises à jour restent aléatoires et je ne sais pas dans quelle mesure je ne risque pas de me faire blacklister du serveur contenant l'information, bien que ce soit publique....

BONUS : demandez votre station, et je l'ajoute dans la liste...

15033
15065
16036
Les trois stations ci-dessus sont regroupées dans cette page personnalisée - Je ne sais pas si je ferai ça pour tout le monde :-)

Edit au 04/08/2007 : ajout des trois stations suivantes

1001
4001
4002
12040 (ajout le 15/08/2007)
Nouvelle personnalisation pour les trois stations précédentes pour Maître Eolas

Billets connexes (à lire pour toute l'aventure) :

Suricat Commenter Vélib' 15943 lectures

« Article précédent

Article suivant »

32 commentaires »

Suivez le fil des commentaires en vous abonnant à ce lien

Alain

Le mercredi 1 août 2007 à 08:13

J'étais sur le point de commettre la même bidouille pour me faire de jolis graphiques :-) J'imagine que les responsables de Velib ont bien ces données sous les yeux pour planifier les rééquilibrages en camion (enfin pas sûr vue l'efficacité).

Je suis preneur des courbes 16036, 15065, 15033, siouplait.

Suricat

Le mercredi 1 août 2007 à 11:38

Ajout des trois stations en lien dans le billet. Je n'affiche pas les images directement pour ne pas surcharger la page.

Je vais voir ce que l'on pourrait avoir comme interface. J'imagine bien, du mashup Google Map, encore faudrait-il avoir les coordonnées GPS des stations. J'ai trouvé une liste de POI Vélib incomplète, mais ça doit exister ou cela existera probablement dans l'avenir.

Et il faut que je me mette au mashup, jamais fait pour l'instant...

Alain

Le mercredi 1 août 2007 à 20:45

:-) Merci beaucoup !

Alain

Le mercredi 1 août 2007 à 21:13

Pour les coordonnées: abofr-velib.cyclocity.fr/...

Alain

Le jeudi 2 août 2007 à 08:44

En fait je trouvais le site officiel un peu trop lent pour voir les données sur les stations, donc je me suis fait un petit front-end aussi: alain.frisch.fr/velib

Suricat

Le jeudi 2 août 2007 à 11:34

Ah oui, c'est une bonne idée et c'est très lisible ainsi présenté (je vais copier dès que j'ai un peu le temps).

Merci aussi pour le lien avec toutes les stations.

Maitre Eolas

Le vendredi 3 août 2007 à 14:16

Tiens, c'est intéressant comme idée... Je serais intéressé par les stations près du palais de justice : 4001, 4002, et 1001, pour voir si c'est jouable d'y aller comme ça.
Merci du travail...

Suricat

Le samedi 4 août 2007 à 00:31

Et une petite page personnalisée pour Maître Eolas, une ! Un honneur de vous voir ici...

(si quelqu'un connaît bien RRDtool, je cherche toujours un moyen de changer les RRA sans perdre les données - sans refaire un simple "create" de façon à passer les courbes sur 24h et non sur 2h)

Eolas

Le dimanche 5 août 2007 à 12:34

Une page rien que pour moi ? Je n'en demandais pas tant.

merci beaucoup en tout cas.

Suricat

Le dimanche 5 août 2007 à 14:56

Avec Alain et Eolas, je n'ai eu que deux demandes, je pouvais bien vous faire une page personnelle, surtout que les images ne sont pas accessibles - enfin, si mais il faut bricoler - depuis un autre site...

Maitre Eolas

Le dimanche 5 août 2007 à 18:55

Si j'osais demander l'ajout de la 12040 ?

Suricat

Le mercredi 15 août 2007 à 17:50

Et une 12040, une !

Zegogo

Le lundi 27 août 2007 à 23:57

Marche plus. Idem pour le site velib.shiva.easynet.fr/

devant le nombre de personnes qui aspiraient les données, je crains que l'exploitant ait coupé le robinet à octets...

Suricat

Le mardi 28 août 2007 à 10:10

En fait, c'est planté pour tout le monde, y compris le site velib. Normal, pour l'instant je ne vois pas comment ils peuvent bloquer seulement certaines connexion compte tenu du fonctionnement actuel...

Il est temps qu'ils mettent à disposition un service qui tient la route... Voir pour les crétins comme moi, mettre un fichier à disposition contenant toutes les stations plutôt que de laisser poller chaque station...

Ceci dit, j'ai tout de même un bug dans mon code, il ne devrait pas y avoir les "HASH" dans l'image... Je regarde

Edit : corrigé. Juste un bug dans la gestion de l'image, pas dans les traitement de données. Il y a un "joli" U maintenant (et tout ça en parlant d'ADSL et de fibre optique)

Guito

Le lundi 22 octobre 2007 à 12:19

Salut,

je serais intéressé non pas par le graphique mais par les données brutes d'une station (de préférence la 11020 mais n'importe laquelle ferait l'affaire...)
j'aimerais faire des stats en fonction de l'heure et du jour pour calculer la proba de trouver un vélib de dispo, ou la proba de trouver un emplacement de libre !! ;)

est-ce que tu as ce genre de base de données à ta dispo ?

Suricat

Le lundi 22 octobre 2007 à 18:47

Les données sont stockées dans une base RRD. Je conserve les données toutes les 5 minutes pendant 24h, puis 15 minutes pendant 1 semaine, etc... J'ai toujours un soucis avec ça vers lequel je ne me suis pas penché. Je peux éventuellement extraire des données que je pourrais te transmettre toutes les 24h pendant 7 jours, au moins pour vérifier ton calcul de stat.

Si cela est pertinent, on pourrait l'intégrer ensuite à la page que j'ai en préparation... Contacte par mail (webmaster) ce sera plus simple que par les commentaires du blog.

guito

Le mardi 23 octobre 2007 à 14:29

euh... je suis ptet aveugle, mais je trouve pas le mail du webmaster... :(
Alors le mien c'est grandguito|at|club-internet.fr

je n'y connais rien dans les formats internet, les extractions base de données, requetes ou autres...

si tu peux m'envoyer 2 ou 3 stations histoire de pouvoir faire des comparaisons. par exemple la 11020, 11111 et 11112
je suis preneur pour tes bases de 15 minutes (5 minutes, c'est trop fin). si tu peux m'envoyer les 7 derniers jours que tu as en stock...

merci d'avance, j'espère qu'on pourra en tirer un truc de sympa :)

guito

Le mardi 23 octobre 2007 à 14:46

1 mois de données avec un relevé toutes les 15 minutes, ça fait 2976 lignes.
il faut 3 colonnes par stations : velib dispo, borne dispo, HS
ça fait donc à peu près un fichier excel de 435Ko

pour 1000 stations, ça ferait 435Mo mais on n'en est pas là...

tomlerouge

Le mercredi 30 janvier 2008 à 17:35

Super interressant.
Je pensais faire de meme pour comparer des stations dans differents quartiers..

Suricat, je ne sais pas si tu regardes toujours ce site mais je voulais savoir quel type de wget tu utilises pour ca?
je suis debutant dans ce domaine et je me demandais si n'importe quel wget faisait l'affaire.
A plus.
tomlerouge

Suricat

Le jeudi 31 janvier 2008 à 20:57

Ce n'est pas wget mais puf (puf.sourceforge.net/
)

tomlerouge

Le mardi 5 février 2008 à 11:59

Merci

Juanse

Le vendredi 18 avril 2008 à 01:00

Je pense qu'avoir une base de données sur les emplacements et faire des graphiques n'est util que si on extrait de l'information. Or, savoir qu'il y a eu aujourd'hui à tel endroit à telle heure, telle quantité de places, on s'en fout royalement.

Par contre, si la même base de données est utilisée pour calculer dans le futur, la probabilité d'avoir une place. C'est beaucoup plus utile.

Mais bon.......
C'est un avis comme un autre.

Suricat

Le vendredi 18 avril 2008 à 02:50

D'abord je ne suis pas d'accord sur le côté inutile de l'information actuelle. En effet, c'est toujours pratique avant de sortir chercher un vélo de savoir si l'on part plutôt vers une station ou une autre.

Mais effectivement, le pronostique serait une information intéressante.

C'est dans un premier temps l'effet des courbes. On peut se faire une idée de la tendance du moment et donc essayer de prévoir si le temps de sortir chercher un Vélib', il y en aura toujours.

Dans un second temps, et c'est aussi pour cela qu'il y a eu assez peu de mise à jour sur le thème Vélib', la collecte de données est en place depuis novembre. Quand il y aura assez de données et que j'aurais du temps, on se penchera sur les probabilités :-)

cdud

Le vendredi 23 octobre 2009 à 15:49

Salut,

Je suis en retard, je viens d'avoir la même idée. J'aimerais bien la reproduire, ça m'intéresse de le développer pour m'amuser un peu. Par contre, peux-tu me filer une indication sur les URL que tu utilises pour les stations ?

Merci par avance pour ta réponse.

Suricat

Le vendredi 23 octobre 2009 à 15:54

boah, en cherchant ne serait-ce que un tout petit peu on trouve très vite....Genre dans le source de www.velib.paris.fr/trouve...

cdud

Le vendredi 23 octobre 2009 à 19:24

Ok c'est trouvé...
Par contre je continue à t'embêter, je n'ai jamais utilisé puf, tu peux m'indiquer quelles options tu as utilisées ?

Merci par avance

Suricat

Le samedi 24 octobre 2009 à 10:27

Je compile toutes les urls des fichiers xml (il existe un fichier avec toutes les stations sur le site velib que je transforme), que je télécharge en le mettant en paramètre de puf et en limitant le temps de téléchargement à 2 minutes pour ne pas que cela sature s'il y a un plantage

Et sinon, sauf si ça t'amuse de refaire le boulot, j'ai ça
velib.suricat.net/export/

rico

Le samedi 24 octobre 2009 à 18:08

Bonjour,
serait-il possible de rajouter la station 42201 qui me semble sans arrêt pleine..

Suricat

Le samedi 24 octobre 2009 à 19:48

Présente :-)

velib.suricat.net/velib-d...

rico

Le dimanche 25 octobre 2009 à 16:04

Waouh! génial !
Merci beaucoup Suricat ! très sympa !
Est-ce qu'il y aurait moyen pour moi de récupérer les données détaillées (par 5 minutes jecrois ?) pour les stocker ? ce qui m'intéresse surtout, c'est de conserver les valeurs avec 0 place disponible pour monter un dossier sur cette station. J'ai de l'espace de stockage, soit sur site web, soit sur un pc, mais je ne sais pas trop comment faire..

rico

Le dimanche 25 octobre 2009 à 16:10

c'est encore moi.. J'ai lu le post à propos des exports.. Est-ce que ce fichier inclu les détails par 5 minutes ? Si oui, est-ce que tu aurais une requête pour que je puisse lenvoyer vers MySQL ? (ou la structure du fichier..)

Suricat

Le dimanche 25 octobre 2009 à 21:18

@rico : heu, c'est pas très compliqué de prendre un fichier et de regarder ce qu'il y a dedans, non ? Les valeurs sont bien toutes les 5 minutes et les valeurs indiquées sont moyenées. Sinon, effectivement, la 42201 semble bien souvent pleine.