Category Archives: Entretien

L’édition d’adaptation à la nouvelle licence est prête

Bonjour à tous,
Je suis heureux d’annoncer que le robot d’édition est prêt à démarrer.

Nous commencerons l’édition des contributions non compatibles aux nouvelles Conditions de contribution (CT) et licence ODbL (moins de 1% des données) dès cette semaine. Nous devrions débuter le mercredi 11 juillet, assumant que certains détails finaux de mise en place auront été réglés d’ici là.

Le robot fera l’édition dans la séquence suivante:

  1. Irlande
  2. Royaume-Uni
  3. Europe de l’Ouest
  4. Amérique du Nord
  5. Australie
  6. Le reste de la planète

Une fois complétés, nous serons prêts à distribuer sous la licence ODbL et nous en ferons l’annonce dans un autre communiqué. Le dernier jeu de données préédition disponibles sous CC-BY-SA a été généré à http://planet.openstreetmap.org/planet-120704.osm.bz2. À mesure que les régions seront éditées, toute tentative d’accès à partir de l’API ou du site retournera une réponse à cet effet.

Les tests ont montré que le robot fonctionne comme nous le voulions, mais nous surveillerons évidemment ces progrès. Nous nous attendons que l’édition dure environ un mois; compte tenu des différentes variables, j’ai bien peur que nous ne puissions donner une image plus précise pour le moment, mais nous souhaitons vous informer au fur et à mesure du déroulement via les listes announce@ et talk@).

Il n’y aura pas de pannes de l’API, ni autre interruption d’édition. Lorsque le robot éditera dans votre région du monde, sauvegardez fréquemment vos éditions pour minimiser les conflits potentiels.

(Des messages séparés sont envoyés à talk-ie@ et talk-gb@ compte tenu que ce seront les deux premières régions affectées. S’il vous plait, traduisez et faites suivre dans vos listes de courriel régionales.)

Comme vous savez, nous nous attendions à démarrer le tout juste après le 1er avril, mais la complexité de la tâche à provoquer le délai. Merci à tous pour votre patience, et un merci particulier à tous ceux qui ont contribué à la programmation, que ce soit par des corrections, suggestions ou en consolidant le tout.

posté sur la liste de courriel par Richard, pour le conseil d’administration de la fondation (OSMF)

Traduit de l’anglais par Daniel Bégin

Le changement de licence encore en cours

Il y a plusieurs semaines, nous écrivions que nous étions encore à améliorer le «robot d’édition». La composante de code qui passe à travers les données et édite (enlève/cache) toute donnée qui n’est pas compatible avec la nouvelle licence. À notre grande déception, ça prendra encore du temps avant que le robot fonctionne parfaitement. Bonne nouvelle : le robot passe présentement plus de tests que jamais; mauvaise nouvelle : il ne les passe pas tous. Plusieurs personnes travaillent là-dessus, pour le faire fonctionner sans erreurs.

Lorsque ces tests système passeront, des tests sur des données réelles seront conduits sur un serveur déjà configuré qui est en attente. Suite au succès de ce test, un nouveau test sera effectué sur un secteur isolé de la base de données, probablement l’Irlande. Si tout se passe avec succès, nous procéderons alors avec le reste des données.

Sur une note positive : au cours des dernières semaines, nous nous sommes également entendus avec plusieurs contributeurs pour conserver leurs données dans la base de données. Nous voudrions remercier toutes les personnes qui ont permis que cela se réalise.

Nous donnerons une nouvelle mise à jour le weekend prochain.
Merci à tous pour votre patience.

Traduit de l’anglais par Daniel Bégin

Nouvelles sur le changement de licence : Obtenir les bons résultats

Avec le nouveau serveur installé avec succès par l’équipe d’administration des systèmes, nous abordons maintenant la seconde partie de la migration — le travail d’édition des données nécessaire au passage à la nouvelle licence ODbL. Nous avions promis un rapport pour la semaine du 9 avril, mais beaucoup de gens le demande, voici donc un rapport quatre jours plus tôt.

Le changement de code à l’API d’Openstreetmap a été complété et revu avec succès. Openstreetmap.org est par conséquent prêt à distribuer la nouvelle donnée. Merci à Matt Amos pour la rédaction du code et Tom Hughes pour sa revue.

La seconde composante est le robot d’édition. C’est la partie de code qui, pour chaque région couverte par Openstreetmap, passera à travers les données pour éditer (enlever/cacher) celles qui ne sont pas compatibles avec la nouvelle licence. C’est la partie la plus critique de tout le processus de migration. Nous souhaitons ne conserver aucune donnée pour laquelle le contributeur original n’a pas permis sa distribution sous la nouvelle licence ODbL, et inversement, ne rien détruire accidentellement de la vaste majorité des données qui est compatible.

Depuis mercredi 4 avril, nous procédons à des tests sur des données réelles (merci à Frederik Ramm pour son aide). Nous ne sommes pas encore satisfaits à 100 % du résultat alors nous continuons à travailler le code. Évidemment, nous ne démarrerons pas le robot d’édition avant que nous ne soyons certains qu’il produise les résultats attendus. Nous devrions pouvoir compléter le tout avant la fin de la semaine du 9 avril. Ça nous donne quelques jours de retard sur l’horaire, mais nous devons bien cela aux contributeurs.

Si vous êtes développeur, vous pouvez aider à corriger les tests qui échouent encore. Vous pouvez accéder le code à https://github.com/zerebubuth/openstreetmap-license-change.

Si vous êtes un contributeur, ça vous donne quelques jours supplémentaires pour mettre votre région en bon état! Et si vous êtes un utilisateur des données, vous pouvez continuer à utiliser les données existantes sous licence CC-BY-SA 2.0.

Nous aurons d’autres mises à jour la semaine prochaine et, dans tous les cas, avant que le robot d’édition ne commence son travail.

Traduction de l’anglais par Daniel Bégin

Coordonnées GPS en lot

Les contributeurs d’Openstreetmap ont utilisé leurs fichiers de données GPS depuis des années alors qu’ils amélioraient les données OSM. Ils ont partagé ce fichier et les coordonnées de leurs tracés ont été rendues disponibles aux autres éditeurs via différents outils d’édition et le site web. Nous rendons maintenant disponible une façon d’accéder à tous ces points d’un seul coup.

Nous vous présentons planet.osm.org/gps

Il s’agit de toutes les coordonnées GPS collectées au cours des sept dernières années et demie d’Openstreetmap. Il s’agit d’une très grosse collection de points bruts.

  • le fichier compressé est de 7GBytes.
  • décompressé, c’est un fichier texte qui fait 55GByte.
  • il s’agit d’un ensemble de coordonnées, sans métadonnées.
  • les coordonnées proviennent de milliers d’usagers.
  • les coordonnées proviennent de milliers de fichiers GPS distincts.
  • les données comprennent 2,770,233,904 points

Est-ce une grosse affaire?

Il s’agit probablement de la plus grosse collection de coordonnées GPS publiée avec une licence ouverte. Vous en connaissez une plus large? Faites-le-nous savoir dans les commentaires.

Travailler avec ce fichier n’est peut-être pas votre tasse de thé. Avec le temps, je m’attends à ce que des outils émergent de la communauté pour en simplifier la gestion. Pour le moment, il s’agit d’un gros volume de données.

Par le passé, toutes ces données ont été rendues disponibles aux contributeurs d’Openstreetmap sous différentes formes, via les éditeurs et le site web. Ce fichier permet d’accéder à toutes ces données en même temps.

Exemple de données

Si vous décidez de travailler avec ce fichier, voici le format auquel vous devez vous attendre.

-900000000,1771882380
-900000000,1293757490
-891154290,1237501070
-877697750,1653442410
-871875000,1589069750
-871875000,1237507350
-843750000,1350007780
-843750000,1153132660
-843750000,1040632590
-843750000,1012507800
-843750000,1012507340
-824414060,1082922390
-815625000,1575007660
-805627440,1579614290
-805517580,1579284700
-805517580,1578845240
-804473020,1373773550
-787500000,1237507380
-787500000,1181257510
-787500000,1096882780
-787499970,1096882780
-778591613,1666901550
-778591613,1666898345
-778591384,1666911621

Quelle sorte de format est-ce?

Il s’agit de latitudes/longitudes en nombre entières, séparées par une virgule, le tout dans un format texte très simple. Pour obtenir les coordonnées en nombre réel, il suffit de diviser chaque nombre par 10**7. Les points sont triés par localisation, l’origine se trouvant à l’extrémité sud-ouest du globe (90 S,180 E) et les données s’étendant vers le nord-ouest.

Merci

Merci, comme toujours, aux centaines de milliers de contributeurs d’Openstreetmap qui ont participé au projet au cours des dernières sept années et demie. Merci également aux administrateurs du système qui ont déplacé ces données en un endroit accessible à tous.

Cette version du fichier GPS est sous licence CC-By-SA et publié par Openstreetmap et ses Contributeurs. L’image au haut de cet article est une visualisation d’une partie de ces points en Europe. Cette image est également sous licence CC-By-SA et a été produite par Dave Stubbs.

Traduit de l’anglais par Daniel Bégin

Période d’entretien des systèmes : Mars — avril 2012

La mise à niveau de la licence, attendue avec tant d’impatience, arrive bientôt. La conclusion d’un processus qui a pris des années. Pour minimiser les périodes d’interruptions de service auprès des usagers, nous profiterons de l’opportunité pour installer notre nouveau serveur de base de données (payé par vos généreuses contributions).

Veuillez prendre connaissance du calendrier des opérations d’entretien et de migration dans les lignes qui suivent.

La mise à niveau de la licence commencera par le changement de serveur de la base de données. Toutes les dates et heures indiquées sont sujettes à changement : nos bénévoles travaillent d’arrache-pied. Merci à l’avance pour votre patience et votre soutien.

Éditeurs de données

Il y aura plusieurs jours où la disponibilité de l’API sera limitée. L’API sera en lecture seulement pendant le déplacement des données vers le nouveau serveur, ramoth. Ce serveur a été payé par vos contributions lors de la campagne de financement du mois de décembre 2011. Il n’y aura pas d’édition possible de la carte pendant que l’API sera en lecture seulement.

Pendant le reste de la mise à niveau, l’API devrait opérer normalement. Si possible, remettez les éditions de masse jusqu’après le changement de licence. Comme toujours lors des améliorations du système, vos suggestions sont appréciées. Référez-vous au “OSM IRC chat channel”, #osm sur irc.oftc.net, si vous avez des questions.

Nous demandons aux éditeurs qui n’ont pas encore accepté la nouvelle licence de se connecter sur OSM avant le début de la migration le 1er avril (08:00 UTC) et de signaler leur intention. Nous sommes heureux que la vaste majorité des données OSM ne soient pas affectées par le changement de licence et nous remercions tous les éditeurs qui ont consenti à ce que leurs données soient distribuées sous la nouvelle licence.

Consommateur de données

La génération du “Planet file” prévue cette semaine-là a été remise à plus tard. Le dernier “Planet file” associé à l’ancienne licence sera créé à partir des données du 1er avril 2012. Il sera publié lorsque sa création sera complétée, ce qui pourrait être reporté de quelques jours.

L’ancien service de réplication (diff) sera arrêté lorsque la base de données passera en mode de lecture lors de la migration de serveur. Un nouveau service de réplication (diff) débutera dès la fin de la mise à niveau de la licence à partir d’une nouvelle adresse. Les détails d’utilisation de ce nouveau service seront diffusés lorsque ce sera le temps de l’utiliser.

Dates importantes

Ces dates sont sujettes à modification sans préavis.

  • 1er avril : Passage au mode lecture seulement 08:00 UTC
  • 4 avril : Fin de la mise à niveau. Passage au mode lecture/écriture sur le nouveau serveur en avant-midi (sujet à changement.
  • 5-6 avril : Test de reconstruction de logique.
  • 7 avril : Début des opérations de nettoyage des données associées à la vieille licence.
  • 9 avril : Rapport sur le progrès des opérations et estimation du temps nécessaire pour compléter les opérations.
  • À déterminer : À la fin des opérations, si nous sommes satisfaits des résultats, les données sont déclarées ODbL. Immédiatement après, un premier “Planet file” sera généré/publié et la création des fichiers “diff” recommencera

Remerciements

Merci, comme toujours, à tous les gens qui fond d’Openstreetmap quelque chose de grand. Ces individus incluent les innombrables éditeurs qui améliorent les données, les bénévoles qui s’assurent que tout fonctionne correctement, les programmeurs qui rendent l’utilisation d’OSM plus simple tous les jours, et à nos donateurs qui nous fournissent la quincaillerie de laquelle nous dépendons.

Plusieurs d’entrevous font partit de plusieurs de ces catégories. Sachez que ces remerciements sont cumulatifs :-)

[Extraits de "Dermot McNally's announcement". Contexte ajouté de sources additionnelles.]

Traduit de l’anglais par Daniel Bégin

Arêt de la Base de données – 20 mars 2012

Mardi 20 mars 2012, entre 13:45 et 16:15 (GMT / UTC) le serveur principal de la base de données ne sera pas disponible en raison d’un entretient d’urgence.

Les services suivants seront affectés:

  • www.openstreetmap.org – le site ne permettra pas aux usagers de se connecter ou d’éditer (Potlatch). [1]
  • L’API et l’édition de la base de données (JOSM, Merkaartor etc.) ne seront pas disponibles.
  • planet.openstreetmap.org sera disponible, mais il n’y aura pas de diffs générés pendant la coupure de service.
  • Forum (pas de connexion)
  • trac (bug-tracker, pas de connexion)
  • help.openstreetmap.org (pas de connexion)

Les autres services ne seront pas affectés – tous les services suivants devraient fonctionner normalement:

  • Serveur de tuiles (“Voir la carte ” & “Exporter”)
  • Wiki
  • Nominatim (recherche)
  • Liste de courriels
  • subversion et git (dépôts de code source)
  • donate.openstreetmap.org

Technique: Serveur Smaug: Remplacement de la carte mère.
Spécialiste sur place. Nous avons du matériel d’urgence disponible.

1: Les cartes continueront d’être visibles sur la page d’openstreetmap.org et sur les autres sites web.

Sincèrement
Grant Slater
Au nom de l’équipe d’administration des systèmes d’Openstreetmap

Traduit de l’anglais par Daniel Bégin

Mise à niveau de la quinquaillerie de la Fondation

Serveurs, ramoth et bowser, en place.

L’équipe d’administration des systèmes a acheté de la quincaillerie additionnelle pour notre plus grand plaisir. Les serveurs d’Openstreetmap portent le nom de dragons, tirés de « Here be Dragons », reprenant l’inscription désignant les parties inexplorées sur les cartes du moyen-âge. (voir les dragons d’Openstreetmap).

  • azure - Java-XAPI. Expérimental. Distribue en lecture seulement des données OSM à partir d’un code XAPI rafraichi. Azure a eu une mise à niveau longuement anticipée de son disque.
  • bowser - rejoint soup et fiddlestick à titre de “Web Front End”. Ce serveur web de première ligne rendra la navigation du site web osm.org plus fringante.
  • eustace - Statistiques Web. Expérimental. Observe le comportement des usagers à travers les serveurs OSM pour comprendre et améliorer leur expérience.
  • gorwen et orm -Cache de tuiles geoDNS. gorwen est gracieusement fourni et hébergé par Teleservice Skåne AB. GeoDNS fournit des rendus cartographiques (tuiles) à partir du serveur le plus proche. L’équipe d’administration des systèmes espère avoir un serveur nord-américain très bientôt. Nous cherchons de l’hébergement pour d’autres serveurs (géographique). Si vous êtes intéressé et que 100Mbits/s ne vous inquiète pas, adressez-vous à l’administration des systèmes sur #osm-dev at http://irc.osm.org
  • poldi - Toponymie. Fournis un outil de recherche et de géolocalisation de noms utilisant les données OSM. Retourne un positionnement local d’un nom en un clin d’oeil.
  • ramoth - est le second serveur de base de données. Le succès de la campagne de financement de décembre 2011 a permis l’installation de ce serveur. Ce serveur accroit la fiabilité des opérations de la base de données. Statut : installé et en cours de configuration.

Nous souhaitons également la bienvenue aux deux nouveaux membres de l’équipe des serveurs – Ian Dees (iandees) and Sarah Hoffman (lonvia). Ils maintiendront les serveurs Java-XAPI et Toponymie.

Photo de Firefishy.
Traduit de l’anglais par Daniel Bégin

Levée de fonds — améliorer la fiabilité et la performance d’OSM!

Pound Coins
Pound Coins photo by William Warby CC-BY-2.0

Traduction de l’anglais par Daniel Bégin

Openstreetmap grandit rapidement. Nous avons récemment souhaité la bienvenue à notre 500,000e contributeur enregistré, ainsi qu’à la 10.000.000e mise à jour de la carte. Au cours des prochaines semaines, nous allons faire une levée de fonds pour investir dans un serveur pour accroître la performance et la fiabilité d’Openstreetmap. Si vous aimiez supporter le projet de cette façon ou si vous connaissez quelqu’un qui aimerait donner aux contributeurs d’OSM un cadeau de Noël, visitez notre page de souscription :

donate.openstreetmap.org/server2011

Il y a une option pour ajouter votre nom à la liste des donateurs. Nous visons £15,000 (~ 23,000 U.S. dollars). Voyons la rapidité avec laquelle nous atteindrons la cible!

Nous devons faire une nouvelle levée de fonds puisque la dernière d’importance remonte à 2009 (old blog post) et nous avions été ébahis de la rapidité avec laquelle nous avions atteint le montant ciblé. C’était comme si les gens cherchaient une façon de prouver leur générosité et leur bonne volonté envers le projet. Comme nous planifions acheter un nouveau serveur, ça semble le bon moment pour répéter l’exploit.

Le groupe de travail sur les opérations (OWG) qui a le rôle important de garder le coeur des opérations d’Openstreetmap en service continu planifie investir dans un nouveau serveur. Il va permettre une duplication de la base de données. Cette amélioration est au coeur de l’infrastructure d’Openstreetmap, donnant aux services une plus grande résilience. Ça signifie que le système reviendra sur les rails plus rapidement en cas de panne mécanique. Le temps venu, le serveur apportera également un d’amélioration de performance. Nous avons une page wiki concernant la levée de fonds ( avec plus de détails techniques concernant cette nouvelle acquisition).

Nous espérons que vous acquiescerez au fait que, même si cette amélioration est un peu en arrière scène, elle est importante.

S’il vous plait, donnez généreusement pour aider à ce qu’elle se réalise!

Encore plus de serveurs

Sculpture de dragon sur le Pont des Dragons à Ljubljana. Photo CC-By-SA, dani_7C3

Traduction de l’anglais par Daniel Bégin

La Fondation d’Openstreetmap, et le groupe de travail des opérations aimeraient remercier «Nokia UK Limited» pour le don de certains de leurs serveurs en surplus. Ces composantes matérielles ont trouvé un nouvel usage sous la forme de deux nouveaux serveurs web: «soup»[1] et «fiddlestick»[2]. Un troisième serveur, «eustace»[3] sera initialement utilisé comme serveur test de statistiques web.

Les serveurs web soup et fiddlestick, remplacent puff et fuchur qui ont tenu ce rôle depuis 2008. Les serveurs web d’OpenStreetMap fournissent l’explorateur de données/couches de données, aussi bien que de journal et autres fonctions « sociales ».

Eustace commencera son nouveau rôle pour OpenStreetMap en collectant des statistiques web. La Fondation OpenStreetMap souhaite mieux connaître comment les usagers utilisent le site web de l’OSM dans un effort pour améliorer la façon dont OSM rend ses services.

[1] Personnage de «Les Clangers», un programme pour enfant du Royaume-Uni.
[2] Strangewood (1999): Fiddlestick, a petit dragon sensible à la musique.
[3] Transformmé en dragon dans L’Odyssée du passeur d’aurore (Le Monde de Narnia) après avoir glissé sur un bracelet d’or.

Présentation de Zark

Zark, pendant l'installation.

Traduction de l’anglais par Daniel Bégin

Zark est le dernier serveur d’Openstreetmap. Accueillons-le chaleureusement. La tradition de donner aux serveurs d’Openstreetmap des noms de dragon se continue. « Zark » est tirée des Chroniques d’Eidolon par Jane Johnson.

La première tâche de Zark sera d’être un serveur de tests et d’évaluation pour le service OWL – OpenStreetMap Watch List. La popularité de OWL sur le serveur dev a conduit à des problèmes de performance et de longs délais de mis à jour. Après plus d’un an de développements et une popularité croissante de OWL pour son habileté à suivre les changements locaux sans être affecté par les « gros » changesets, passer de OWL à Zark rendra le service encore plus efficace pour les usagers.

Mille mercis à bitfolk.com pour nous avoir gracieusement donné ce serveur.