Category Archives: Groupes de travail OSMF

Une année de progrès en matière d’infrastructure : mise à jour pour 2023 / 2024 de l’ingénieur chargé de la fiabilité des sites

En tant que Senior Site Reliability Engineer (SRE) de la Fondation OpenStreetMap, je me suis concentré sur l’efficacité, l’amélioration de la résilience et la mise à l’échelle de notre infrastructure pour soutenir la croissance continue du projet OpenStreetMap au cours de l’année écoulée. De la migration vers le cloud à la mise à niveau des serveurs, nous avons apporté plusieurs améliorations depuis l’année dernière afin de mieux positionner l’infrastructure d’OpenStreetMap pour répondre à ces défis de résilience et de croissance.

Améliorer les services aux utilisateurs

Services de rendu améliorés

L’infrastructure de rendu des tuiles a fait l’objet d’améliorations notables, notamment des optimisations matérielles et logicielles, une expiration plus rapide du cache des tuiles pour lutter contre le vandalisme, et l’automatisation pour bloquer les utilisateurs qui n’attribuent pas les tuiles OSM. Les tuiles à faible zoom sont désormais rendues quotidiennement, ce qui améliore les performances et permet un retour d’information plus rapide. Le service de tuiles est largement utilisé et répondre à la demande est un défi permanent.

Nouveau service d’imagerie aérienne

Lancement d’un nouveau service d’imagerie aérienne qui prend en charge les COG GeoTIFF. Le service héberge désormais aerial.openstreetmap.org.za qui s’appuie sur 16 To d’images à haute résolution. Le nouveau service facilite l’hébergement d’images supplémentaires à l’avenir.

Transition vers des alternatives à Gmail et Google Docs et réduction des spams

Après avoir été confronté à d’importants problèmes de spam avec l’espace de travail Google de l’OSMF, j’ai migré les services de messagerie électronique de l’OSMF vers mailbox.org. Cela a permis de réduire le volume de spam et d’améliorer l’efficacité administrative. Nous sommes également en train de transférer les données historiques d’OSMF sur Google Docs vers un service auto-hébergé.

Faire face aux attaques DDoS et au vandalisme

Cette année, nous avons été confrontés à plusieurs attaques par déni de service distribué (DDoS), y compris un incident majeur de DDoS contre rançon, qui a été signalé aux autorités policières. Ces attaques ont mis à l’épreuve notre infrastructure, mais nous avons mis en œuvre des mesures pour renforcer notre résilience et mieux nous protéger contre les menaces futures.

Nous avons également fait face à des actes de vandalisme à grande échelle qui ont affecté les services d’OpenStreetMap. Grâce à la réaction rapide et aux ajustements effectués par l’équipe des opérations, nous avons renforcé notre infrastructure afin de mieux gérer les abus et d’assurer un service continu.

Hébergement de Planet Data sur AWS S3

Avec l’équipe opérationnelle d’OpenStreetMap, j’ai transféré l’hébergement de nos données planet sur AWS S3 avec des miroirs dans l’UE et aux États-Unis, ce qui nous permet de rétablir complètement le catalogue des données historiques. Grâce au parrainage OpenData d’AWS, les différences de réplication et les données planet sont désormais plus accessibles.

Faciliter la gestion des systèmes

Gestion complète de l’infrastructure AWS avec OpenTofu

Avec l’équipe des opérations d’OpenStreetMap, j’ai réussi à migrer toutes les ressources AWS gérées manuellement vers l’Infrastructure-as-Code (IAC) en utilisant OpenTofu (anciennement Terraform). Cette transition nous a permis d’améliorer la rentabilité, de renforcer la sécurité en adoptant un modèle IAM à moindre privilège, et d’obtenir une meilleure visibilité sur les dépenses grâce à des étiquettes de facturation détaillées. En outre, nous avons intégré S3 Storage Analytics pour optimiser davantage nos coûts, mis en place des sauvegardes supplémentaires et implémenté des règles de cycle de vie améliorées.

Amélioration de l’alerte en cas d’interruption de service

Nous avons mis en place un système d’alerte par SMS pour les pannes de service critiques, ainsi qu’un compte PagerDuty sponsorisé. Ces améliorations garantissent des temps de réponse plus rapides et une meilleure coordination pendant les pannes, avec une intégration complète avec Prometheus/Alertmanager et Statuscake en cours de réalisation.

Réduction de la dette technique

Cette année, nous avons progressé dans la réduction de la dette technique en déplaçant plusieurs services hérités vers des solutions plus faciles à maintenir. Par exemple, nous avons conteneurisé d’anciens services, notamment les sites web des State of the Mapqui fonctionnaient auparavant avec des installations WordPress mal entretenues. Cette transition a permis d’améliorer l’évolutivité, la sécurité et la maintenabilité à long terme de ces services.

En outre, nous avons remplacé notre installation personnalisée d’OTRS par une installation de paquets Znunyde Debian. Ce changement simplifie les mises à jour et réduit la charge de maintenance, garantissant que le système reste à jour et sécurisé sans modifications personnalisées.

Assurer la résilience de l’infrastructure malgré les défaillances matérielles

Au cours de l’année écoulée, nous avons maintenu une infrastructure résiliente, même en cas de défaillance du matériel. Nous avons remplacé de nombreux disques et de la mémoire vive, ce qui a permis de minimiser les interruptions de service. Notre système de surveillance sur mesure nous permet de détecter les premiers signes de défaillance du matériel, ce qui nous permet d’agir rapidement et de remplacer les composants défectueux avant qu’ils ne causent des problèmes importants. Cette approche proactive a été essentielle pour maintenir la disponibilité et la fiabilité du système.

Modernisation des infrastructures

Réplication intersites des sauvegardes

Pour garantir une solide reprise après sinistre, j’ai mis en place une réplication inter-comptes et inter-régions pour les sauvegardes AWS S3, ce qui permet une reprise à point nommé. Cela permet de sauvegarder les données et les services essentiels, même en cas de défaillance majeure, et d’assurer une tranquillité d’esprit à long terme.

Infrastructure à haute disponibilité

Des mises à niveau matérielles importantes dans nos sites d’Amsterdam, de Dublin et de l’OSUOSL ont permis d’améliorer les performances, la capacité de stockage et la fiabilité du réseau. De nouveaux commutateurs ont été installés en 2022, et nous avons maintenant terminé la mise en place d’une configuration de haute disponibilité (HA) pour assurer un meilleur service, que nous avons continué à améliorer en passant à des liaisons montantes ISP doubles et diversifiées pour une meilleure résilience.

Migration vers Debian

Nous migrons d’Ubuntu à Debian 12 (Bookworm) comme distribution standard. Tous les nouveaux serveurs fonctionnent désormais sous Debian. La gestion de la configuration de notre chef a été mise à jour avec du code de test pour assurer une compatibilité continue. Cette transition marque un changement vers une plus grande stabilité et sécurité à long terme. Voici un essage sur Mastodon célébrant la transition.

Perspectives d’avenir

L’année à venir nous offre de nouvelles opportunités passionnantes en nous appuyant sur les progrès accomplis. Les principales priorités pour 2024 / 2025 sont les suivantes :

Engagement

Engagement communautaire et communication externe : nous chercherons à renforcer la collaboration avec le groupe de travail sur la communication (CWG) et améliorer notre communication avec le public sur l’état des services et les pannes.

Améliorer la documentation et l’intégration : nous améliorerons la documentation d’accueil et organiserons des sessions dédiées pour aider les nouveaux contributeurs à s’impliquer plus facilement dans les opérations. Il s’agit notamment d’améliorer la fiabilité et la couverture de nos processus de test, de garantir des contributions plus fluides et de réduire la courbe d’apprentissage pour les nouveaux membres de l’équipe.

Planification et optimisation

Planification de la capacité pour la croissance de l’infrastructure : au fur et à mesure qu’OpenStreetMap et la demande pour nos services augmenteront, nous nous assurerons que nous pouvons évoluer pour répondre à la demande. En anticipant les besoins futurs et en équilibrant les performances avec une croissance rentable, nous visons à maintenir la qualité de service et la disponibilité que notre communauté attend.

Optimisation continue des coûts: nous continuerons à trouver des moyens de réduire les coûts en tirant parti de parrainages tels que le programme AWS OpenData, afin de garantir des opérations durables.

Poursuite de la réduction de la dette technique : nous continuerons à simplifier notre infrastructure en réduisant la charge de maintenance des systèmes existants, notamment en augmentant l’utilisation des conteneurs. Cela contribuera à rationaliser les tâches de gestion et nous permettra de nous concentrer sur d’autres améliorations, rendant l’infrastructure plus efficace et plus évolutive au fil du temps.

Poursuivre l’amélioration des infrastructures

Mise en œuvre d’équilibreurs de charge à haute disponibilité : déploiement de la configuration HA (VRRP + LVS + DSR) pour les équilibreurs de charge afin d’améliorer la fiabilité du système et de réduire les temps d’arrêt potentiels.

Finalisation de l’intégration de Prometheus avec PagerDuty : achèvement de l’intégration de Prometheus pour la surveillance et de PagerDuty pour la rationalisation des alertes et de la réponse aux incidents.

Achever la transition vers un environnement Debian complet : migration de tous les services restants d’Ubuntu vers Debian pour une stabilité et une sécurité accrues.

Améliorer les stratégies de récupération et de sauvegarde en cas de catastrophe : continuer à affiner notre documentation sur la reprise et introduire des mesures de sauvegarde supplémentaires pour que les services essentiels soient protégés et puissent être récupérés en cas de panne.

Le groupe de travail « Ingénierie » fait le point sur l’état d’avancement des tuiles vectorielles

Le groupe de travail sur l’ingénierie de la fondation OpenStreetMap fait le point sur les efforts déployés pour créer des tuiles vectorielles pour openstreetmap.org. Lisez la suite pour savoir pourquoi ce travail est important, ce qui a été fait jusqu’à présent et la manière dont les commentaires de la communauté sont pris en compte, ainsi que les détails techniques pour ceux qui veulent en savoir plus.

Le contexte

Actuellement, le site web openstreetmap.org propose des tuiles matricielles, qui sont des tuiles d’images composées de pixels – comme une image téléchargée d’une partie d’une carte. Mais des efforts ont été entrepris pour créer des tuiles vectorielles pour le site, ce qui permettra d’améliorer l’aspect et le fonctionnement de la carte. Pour en savoir plus sur l’historique du projet, cliquez ici.

Les tuiles vectorielles présentent les cartes sous forme de vecteurs : points, lignes et polygones. Elles stockent des données géographiques (comme celles qui composent OpenStreetMap) dans un format qui permet une mise en forme et une interactivité dynamiques. Pour les utilisateurs, les tuiles vectorielles sont synonymes d’un nouveau style de carte à l’aspect moderne, avec un zoom continu sur openstreetmap.org. La carte peut être mise à jour plus rapidement lorsque les données changent, et elle devrait être plus performante pour les utilisateurs.

À plus long terme, l’aspect le plus excitant est ce que ce projet de tuiles vectorielles rendra facile pour les volontaires et les utilisateurs de tuiles : des cartes en 3D, des mélanges et des correspondances de données plus efficaces et l’intégration d’autres ensembles de données, des styles thématiques, des cartes multilingues, des vues différentes pour les frontières administratives, des points d’intérêt interactifs, des cartes plus accessibles pour les utilisateurs malvoyants, et certainement beaucoup d’autres idées que personne n’a encore imaginées. Vous vous souviendrez peut-être que nombre d’entre elles intéressent depuis longtemps les membres de la communauté OSM.

Le projet

L’objectif du projet vectoriel est de fournir une configuration vectorielle qui puisse fonctionner pour openstreetmap.org – c’est-à-dire un site mondial de cartes de base complexes, très demandé par les utilisateurs et les services du monde entier, où les données sous-jacentes à la carte changent en permanence.

Ou, pour le dire techniquement, de créer une configuration pour une carte de base mondiale complexe soumise à une forte charge et nécessitant des mises à jour minutieuses.

Paul Norman pilote le projet de tuiles vectorielles.

Il s’efforce de compléter son projet Tilekiln qui génère des tuiles vectorielles à partir d’une base de données PostgreSQL (comme celle d’OpenStreetMap), en utilisant la fonction du modèle Shortbread, qui est un format de données permettant de nommer les couches et les propriétés d’une tuile vectorielle, et l’amélioration de Themepark, qui permet d’ajouter des données OSM à une base de données Postgres.

Le travail est divisé en trois étapes : 

1. Première série d’améliorations de Tilekiln et de Shortbread Themepark

2. Amélioration du parallélisme

3. Shortbread disponible publiquement en production

Les deux premières étapes sont presque achevées. Tilekiln génère désormais des tuiles en parallèle, ce qui permet de générer des tuiles pour le monde entier. L’étape suivante consiste à lancer le déploiement dans le serveur de l’OSMF afin de préparer la production. 

Détails techniques sur l’étape 1

Pour ceux qui s’intéressent aux détails techniques de ce qui est en cours de réalisation, la première étape ci-dessus comporte cinq éléments principaux.

        1.        Packaging automatisé de Tilekiln

        2.        Publication des métriques Tilekiln avec un exportateur Prometheus

        3.        Themepark Shortbread revu et corrigé

        4.        Mise en place d’un serveur de démonstration fonctionnant avec des mises à jour minutieuses des tuiles Shortbread, rendant les tuiles à la demande.

        5.        Démonstration présentée à la communauté

Les points 1 et 2 sont achevés sans qu’il soit nécessaire de les examiner plus avant. Pour le point 3, Paul a constaté que l’implémentation osm2pgsql Themepark Shortbread nécessitait plus de travail que prévu car il manquait une couche et présentait quelques problèmes. 

Les points 4 et 5 sont achevés. Le serveur de démonstration de Paul fonctionne avec des mises à jour constantes et les exigences matérielles sont plus modestes que prévu. 

La communauté a également fourni un retour d’information utile, notamment sur le message de Paul sur le forum communautaire OSM.

La communauté a fait de nombreuses suggestions, dont certaines ont déjà été prises en compte. Les problèmes restants de la communauté sont les suivants : le rendu des lignes courbes est irrégulier et les tuiles vectorielles sont trop grandes.

Le problème des lignes irrégulières est dû à la façon dont les courbes lisses sont représentées dans les tuiles vectorielles. Ce problème a été en grande partie résolu, mais on s’attend à ce que des problèmes similaires réapparaissent à l’avenir. Une échelle cible équivalente à l’échelle minimale de la couche de tuiles standard a été définie. Il est possible de zoomer à une échelle encore plus petite, mais des artefacts risquent d’apparaître.

La taille des tuiles vectorielles restera un problème sur lequel il faudra travailler en permanence, mais les tuiles actuelles sont particulièrement grandes. Depuis cette partie du test, des modifications ont été apportées qui ont permis de réduire la taille de moitié. L’optimisation de la taille des tuiles est une question qui nécessite un travail continu, car la taille des tuiles est le facteur le plus important dans l’expérience de l’utilisateur.

Les tuiles produites sont utilisables, mais il reste encore du travail à faire. Maintenant que le travail sur le parallélisme est terminé, il est possible de générer de grands ensembles de tuiles afin de les tester. Paul va donc se remettre à travailler sur les définitions des tuiles afin d’en améliorer la taille et de résoudre quelques problèmes restants, mais les tuiles actuelles sont utilisables.

Informations sur les outils utilisés

Voici quelques informations sur les différents outils utilisés pour ce projet.

Tilekiln est un logiciel écrit par Paul Norman pour générer des tuiles vectorielles à partir d’une base de données PostgreSQL. Les alternatives sont martin (ou peut-être t_rex). Tilekiln est en cours de développement, bien qu’il utilise de nombreuses fonctionnalités standard de PostgreSQL pour générer les données vectorielles des tuiles. La plupart des cartes basées sur OSM (y compris osm-carto sur osm.org) sont générées à partir de requêtes SQL provenant d’une base de données PostgreSQL. Tilekiln génère des tuiles vectorielles à partir de requêtes similaires.

Themepark fait partie de la suite d’outils osm2pgsql, pour permettre d’ajouter des données OSM à postgres, et de partager ces étapes de traitement entre d’autres projets. De nombreux styles de cartes OSM basés sur PostgreSQL (comme osm-carto) utilisent osm2pgsql 

osm2pgsql existe depuis plus de 15 ans dans OSM et est utilisé dans de nombreux domaines. Bien que Paul ait contribué au code, il n’en est pas le principal développeur. osm2pgsql est devenu plus avancé et meilleur au cours des dernières années. Une partie de sa force réside dans le prétraitement des données, et Themepark est une tentative de faciliter ces étapes de prétraitement.

Shortbread est un « schéma de tuiles vectorielles » créé par Geofabrik. Il s’agit d’un format de données permettant de nommer les couches et les propriétés d’une tuile vectorielle.

Ce billet contient des contributions d’Adam Hoyle, Mikel Maron, Amanda McCann, Paul Norman et Andrew Wiseman.

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap. Elle se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap et est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map (État de la carte). Nos groupes de travail bénévoles et notre petit noyau de personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.

2024 : annonce de l’année des cartes vectorielles OpenStreetMap

OpenStreetMap fera un grand bond en avant avec l’introduction des tuiles vectorielles sur openstreetmap.org cette année. Ceci est le premier d’une série d’articles de blog où nous partagerons nos progrès.

Pour diriger notre projet de tuiles vectorielles, la Fondation OpenStreetMap a engagé Paul Norman, une figure renommée de la cartographie et des données ouvertes, dont le parcours avec OpenStreetMap a commencé en 2010 par une rencontre fortuite sur les forums xkcd. Son rôle dans la communauté a pris son essor avec son travail sur OpenStreetMap Carto en 2013. Son engagement bénévole au sein de la Fondation OSM, y compris ses contributions à plusieurs groupes de travail et son mandat au conseil d’administration de l’OSMF, souligne son engagement pour le projet. Sur le plan professionnel, il a occupé divers postes influents chez MapQuest, CartoDB, Wikimedia Foundation et Amazon. Des milliards de personnes ont vu les produits de son travail. Pour en savoir plus sur Paul, visitez son site  blog Pour des plongées techniques approfondies dans les tuiles vectorielles, suivez-le sur Mastodon ou sur Twitter.

Les tuiles vectorielles représentent une avancée significative dans la manière dont les données cartographiques sont traitées et présentées. Contrairement aux tuiles matricielles traditionnelles, qui sont  Images statiques avec des pixels, les tuiles vectorielles sont comme les “SVG” du monde de la cartographie : vous obtenez des lignes et des points. Elles stockent les géodonnées dans un format qui permet une stylisation et une interactivité dynamiques, ce qui permet à l’utilisateur d’adapter l’aspect visuel de la carte sans modifier les données. Si cela ressemble à ce que vous avez vu sur d’autres cartes, vous avez raison ! Les tuiles vectorielles sont devenues la norme dans l’industrie des cartes interactives qui, à la différence des  openstreetmap.org, ne sont pas mis à jour souvent, et où vous pouvez simplement recalculer l’ensemble de votre base de données de temps en temps.

Mais la carte affichée sur openstreetmap.org est tout à fait différent ! Elles sont mises à jour de manière incrémentale et constante, une minute après votre édition ; c’est une partie essentielle de la boucle de rétroaction pour les cartographes – et c’est la raison pour laquelle l’auteur de ce billet de blog a été accroché en premier lieu. C’est pourquoi nous devons investir dans notre propre logiciel de tuiles vectorielles.

Dans un avenir proche, pour les utilisateurs, cela se traduira par un nouveau style de carte moderne avec un zoom transparent openstreetmap.org. À plus long terme, la partie la plus excitante est ce que ce projet de tuiles vectorielles rendra facile pour les volontaires et les utilisateurs de tuiles : des cartes en 3D, des mélanges de données plus efficaces et l’intégration d’autres ensembles de données, des styles thématiques, des cartes multilingues, des vues différentes pour les limites administratives, des points d’intérêt interactifs, des cartes plus accessibles pour les utilisateurs malvoyants, et je suis sûr que beaucoup d’autres idées n’ont pas encore été formulées. Cette technologie n’est pas seulement un saut esthétique, mais aussi un saut fonctionnel, qui améliore l’expérience globale de l’utilisateur.

Dans le 2021 enquête communautaire (page 15), il n’y avait pas de sentiment clair sur ce que la fondation devrait faire sur les tuiles vectorielles. Nous avons constaté un clivage dans les préférences : certains préconisaient un développement mené par des bénévoles, d’autres un engagement professionnel. L’écosystème a évolué depuis lors, facilitant la construction à partir de briques logicielles existantes. Nous considérons notre projet comme un équilibre raisonnable entre les deux réponses les plus populaires. Investir dans les logiciels de base est également  dans le cadre de notre plan stratégique pluriannuel.

La Fondation OpenStreetMap dépend des dons pour mener à bien ce projet. Si vous souhaitez soutenir spécifiquement notre année de tuiles vectorielles, vous pouvez   donner et laisser des « tuiles vectorielles » dans le message de don. Chaque contribution, petite ou grande, soutient directement notre capacité à garantir qu’OpenStreetMap puisse être ouverte, accessible et dynamique pour tous. Votre soutien n’est pas un simple don ; c’est un investissement dans l’avenir de la cartographie libre.

Nous n’en sommes qu’au début de ce voyage passionnant. Restez à l’écoute car nous approfondirons les aspects liés au schéma et au style dans de futurs articles de blog.

Microsoft s’engage à verser 150 000 USD pour soutenir OpenStreetMap

Le conseil d’administration de la Fondation OpenStreetMap est ravi d’annoncer un don de 150 000 USD de Microsoft au profit du projet et de la communauté OpenStreetMap. Ce soutien substantiel ira directement à l’amélioration des opérations et de l’infrastructure OSM, ainsi qu’au financement des activités de la communauté OSM telles que les State of the Map locaux, régionaux et mondiaux.

Chez Microsoft, nous nous engageons pleinement à soutenir OpenStreetMap, non seulement par des contributions financières, mais aussi en adoptant et en encourageant pleinement les données cartographiques ouvertes et en participant activement à la communauté par le biais de bénévolat et d’efforts de développement.

—-Marko Panić, chef de produit principal chez Microsoft

Les fonds provenant de ce don seront alloués de la manière suivante :

Il est important de noter que Microsoft soutient OSM par le biais de dons en nature, ainsi que de contributions monétaires. L’entreprise a fait don de son expertise technique et de ses ressources d’ingénierie. a contribué à sensibiliser à l’importance d’OSM auprès d’autres entreprises, organisations à but non lucratif et autres entités, et a joué un rôle de consultant important au sein du Conseil consultatif d’OSM.

Le Conseil consultatif OSM est un groupe au sein de la communauté OSM qui rassemble des entreprises et des communautés locales.  Il établit des liens positifs entre les entreprises qui utilisent OSM et y contribuent et les communautés locales qui connaissent les directives locales, dirigent des projets de développement et rassemblent les cartographes OSM par le biais de l’éducation et d’événements.

— Mikel Maron, membre du conseil d’administration de l’OSMF

Microsoft, par l’intermédiaire de ses représentants, de dons et d’autres formes d’aide, a apporté un soutien significatif à la maintenance de l’éditeur iD, travaille sur des améliorations du flux d’inscription d’OSM et a présenté OSM à une base d’utilisateurs plus large grâce au générateur de cartes de Bing. Le conseil d’administration de l’OSMF est reconnaissant pour ses nombreuses contributions au succès d’OpenStreetMap.

L’OSMF accueille favorablement le soutien en nature, ainsi que le soutien financier pour le développement technique, les opérations et la communauté d’OSM : 

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap . Elle se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap et est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map (État de la carte) . Nos groupes de travail bénévoles et une très petite équipe de base sont le principal soutien du projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap .

Congrès des sections locales – En direct et en ligne en 2022 !

Par : Local Chapters & Communities Working Group (LCCWG) Groupes de travail des sections locales et communautées 

Le Groupe de travail sur les sections locales et les communautés (LCCWG) tente d’organiser un congrès annuel en personne in situ et un congrès virtuel annuel des chapitres locaux. Pour des raisons évidentes, les événements de 2020 et 2021 ne pouvaient se produire que virtuellement. Mais en 2022, nous avons réussi à faire les deux! Cet article couvre à la fois les congrès virtuels et IRL (dans la vie réelle).

État de la carte Florence – Communauté rencontre en réel in situ.

Le 19 août, lors de l’état de la carte à Florence, en Italie, le LCCWG a organisé un mini-congrès en personne (woo hoo!). Si vous l’avez manqué, voici quelques-unes des idées qui ont émergé d’une discussion fructueuse et amusante. Nous espérons que vous envisagerez de vous joindre à la prochaine session à la fin de 2023!

Nous avons commencé la session en nous divisant en continents – et tous les continents étaient représentés! Il s’est avéré que beaucoup de gens des mêmes régions ne se connaissaient pas. 

Ensuite, nous avons entendu Allan Mustard, Tobias Knerr et Jean-Marc Liotier parler du rôle des sections locales du point de vue de la Fondation OpenStreetMap. 

Ensuite, nous avons distribué deux couleurs de notes autocollantes et demandé aux participants de partager des choses qui ont fonctionné dans leurs communautés ou les défis auxquels ils ont été confrontés. Il y avait beaucoup de bonnes réponses et de nombreux points communs.

Dans quel aspect avez-vous vu le succès de la communauté de rassemblement?

En ce qui concerne l’organisation, certains groupes ont trouvé utile d’avoir plusieurs salons de discussion dédiés sur des sujets spécifiques. D’autres groupes ont trouvé plus simple de déplacer les éléments organisationnels vers des logiciels open source comme Collabora, LibreOffice, LimeSurvey. Beaucoup de gens ont réussi à établir des liens avec leur gouvernement local et à organiser des événements locaux, comme State of the Map. D’autres points communs concernaient les projets de renforcement communautaire et de cartographie. Le renforcement des communautés dans le monde semble avoir plus de succès lorsque l’accent est mis sur l’établissement de relations, la collaboration avec d’autres communautés et la tenue de réunions informelles régulières. Tous les participants s’efforcent de garder leurs espaces ouverts et accueillants. 

Souvent, les communautés sont contactées par les autorités locales qui veulent aider à maintenir les données OSM à jour. Cela peut conduire à des partenariats pour des projets de cartographie, tels que la cartographie des infrastructures de santé pour covid, la cartographie des bâtiments et des adresses, le suivi des notes et simplement les nouveaux cartographes partant pour contribuer par eux-mêmes. 

Qu’est-ce qui est difficile dans l’organisation de la communauté?

Sur l’autre note autocollante, les gens ont partagé des choses qui étaient plus difficiles. Un thème général semblait être les douleurs de croissance – par où commencer? Une fois que vous avez un petit groupe, comment vous formalisez-vous? Lorsque vous devenez une section locale, comment trouvez-vous de nouveaux objectifs à atteindre pour la communauté ? Dans certaines régions, il est difficile d’obtenir du bénévolat. Dans d’autres, il s’agit surtout de garder les gens à bord plus longtemps.

Une autre difficulté commune était les défis institutionnels et financiers associés à l’existence d’un groupe local. Comment financez-vous votre organisation? Comment gérez-vous les activités commerciales ? Au cours de notre session, il y a eu des discussions sur les limites de la cartographie rémunérée par les sections locales, les difficultés de croissance du passage d’un groupe informel à un groupe formel, la procédure pour devenir une section locale et quand les demandes de personnes extérieures ou la gestion en tant que bénévole peuvent prendre trop de temps. 

Parmi les autres défis, citons la façon de choisir entre les chaînes ouvertes et les chaînes fermées (où beaucoup de gens ont tendance à être déjà, comme WhatsApp), le fait d’avoir trop de canaux différents, d’obtenir des visas pour assister à des événements mondiaux, d’engager des volontaires dans les pays à faible revenu et de se réunir à nouveau en personne après COVID.

Quand il s’agit de cartographie, c’est souvent le cadet des soucis d’un chapitre! Bien que dans certains pays, les incitations pour les volontaires et le manque de ressources comme des connexions Internet décentes constituent un obstacle. Un autre défi peut être d’amener les gens à s’ organiser et regarder dans la même direction pour atteindre des objectifs de cartographie communs, ou de décider quels outils de cartographie utiliser. Et il y a de plus en plus de données ouvertes de qualité qui vous permettent d’améliorer OpenStreetMap – mais c’est tellement de travail pour les utiliser.

Congrès des sections locales – La communauté se réunit en ligne

Le 12 novembre 2022, la communauté mondiale OSM s’est réunie pour le 3e Congrès virtuel annuel des sections locales et des communautés 2022. Les dirigeants et les membres de diverses communautés OSM, qu’il s’agisse de sections locales officiellement reconnues de la Fondation OSM ou simplement d’un groupe d’utilisateurs réguliers de cartographes OSM, se sont réunis pour partager des histoires et apprendre les uns des autres.

Il y a eu des présentations éclair, des présentations par les membres du LCCWG et beaucoup de grandes discussions. OSM Italia a présenté une vidéo amusante sur le SotM ( État de la carte) à Florence. Adrés Gómez a parlé de la façon dont la communauté colombienne gère avec succès d’énormes quantités de notes et données – et comment le projet s’étend à d’autres pays. Janet Chapman a parlé de Crowd2Map Tanzania. Puis nous avons entendu parler du nouveau “forum de discussion” qui vit à community.openstreetmap.org. Pour conclure, nous avons entendu un groupe de collectivités du monde entier.

Vous pouvez consulter l’agenda complet sur le wiki et regarder les présentations de la journée sur cette playlist youtube.

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap . Il se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map . Nos groupes de travail bénévoles et notre petit personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.

Date limite du projet EWG : « Ajout de la fonctionnalité de mise en sourdine des utilisateurs »

Le groupe de travail technique (EWG) souhaite annoncer la date limite pour le projet suivant : Ajout de la fonctionnalité de mise en sourdine des utilisateurs sur le site openstreetmap.org.

Date limite du projet

La  date limite pour soumettre une proposition est le 13 mars 2023. Après la date limite de soumission, le Groupe de travail technique (EWG) décidera d’attribuer le marché dans un délai de deux semaines.

A propos du projet

Les utilisateurs qui reçoivent des messages indésirables dans leur boîte de réception openstreetmap.org doivent actuellement signaler l’auteur du message et attendre qu’un administrateur prenne des mesures. Cette fonctionnalité permettra à chacun de mettre en sourdine (d’ignorer) les messages privés d’un autre utilisateur.

Pour plus de détails sur le projet, y compris la façon de postuler et les exigences de la proposition, veuillez consulter le référentiel de financement de projet du groupe de travail sur l’ingénierie sur Github. Cliquez sur  « Possibilité de désactiver le son des autres utilisateurs » dans la section Projets ou visitez ce lien pour obtenir une liste des livrables.

Comprendre le processus de financement des projets

Avant de soumettre une proposition, assurez-vous de lire également le cadre de proposition de financement de projet du groupe de travail technique pour avoir un aperçu général du processus. Si vous avez des questions sur le processus de financement, veuillez contacter le groupe de travail technique à l’adresse engineering@osmfoundation.org.

À propos du groupe de travail technique

Le groupe de travail sur l’ingénierie est chargé, entre autres, de gérer le développement de logiciels payés par l’OSMF, de lancer des appels à propositions sur des tâches d’intérêt, d’offrir une plate-forme pour la coordination des efforts de développement de logiciels dans l’écosystème OSM et de gérer la participation d’OSM aux programmes de mentorat logiciel. 

Le groupe de travail technique se réunit une fois toutes les deux semaines. Les réunions sont ouvertes à tous et tout le monde est le bienvenu. Des questions? Veuillez envoyer un e-mail à engineering@osmfoundation.org. Nous sommes un petit groupe et nous accueillons toujours de nouveaux membres !

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap . Il se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map . Nos groupes de travail bénévoles et un petit noyau de personnel travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.

Rappel : Appel à commentaires sur le modèle de données

Étude du modèle de données

Le groupe de travail d’ingénierie de la Fondation OpenStreetMap a commandé une étude début 2022 sur la manière d’améliorer le modèle de données existant. Jochen Topf a livré les résultats de cette étude, y compris des recommandations sur la façon de rendre le modèle de données OpenStreetMap plus efficace sur le plan informatique et plus accessible.

Deux suggestions clés ont été faites :

  • Présentation d’un type de données de zone pour représenter des polygones
  • Se débarrasser des nœuds non étiquetés

Consultation de la communauté

Afin de décider des prochaines étapes de ce processus, nous voulons avoir plus de discussions avec la communauté des développeurs car les changements proposés ont un impact sur le logiciel OpenStreetMap qui dépend directement ou indirectement du modèle de données.

Rejoignez la discussion

Avantages potentiels

Moins de désordre pour les zones

Certains cartographes peuvent être surpris d’apprendre qu’OSM n’a pas déjà de type de données Area. Après tout, l’éditeur iD met en évidence des boutons pour dessiner des points, des lignes et des zones. Une fois cartographiées, ces zones apparaissent généralement sur la carte comme prévu. Le wiki OSM indique si une balise est généralement utilisée sur les zones, et même Overpass Turbo vous permet d’utiliser des zones dans votre requête.

Dans les coulisses, cependant, ces domaines sont représentés comme des moyens ou des relations. Chaque outil travaillant avec des données OSM utilise son propre ensemble de règles pour deviner si une manière particulière représente une ligne ou une zone. Faire des zones une partie appropriée du modèle de données OSM conduirait à une interprétation cohérente entre les applications, permettrait à l’API d’empêcher les zones brisées d’être téléchargées et pourrait éventuellement conduire à la prise en charge de téléchargements partiels de très grandes zones.

Garder le traitement OSM accessible

Actuellement, les moyens sont constitués de références aux nœuds, et nous nous appuyons sur ces références pour déterminer comment les moyens se connectent les uns aux autres. La résolution des coordonnées de ces références de nœuds est un processus coûteux au sein de la chaîne d’outils OpenStreetMap car cela prend des heures ou des jours, même sur du matériel compatible.

À l’avenir, nous pourrions modéliser les moyens comme une simple liste de coordonnées – en fonction de la mise en œuvre exacte que nous obtenons. Cela offrirait de grands avantages en termes de performances, mais se débarrasser des nœuds non étiquetés constituerait un changement important.

À première vue, les améliorations de performances peuvent ne pas sembler particulièrement excitantes. Mais la facilité avec laquelle il est possible de travailler avec nos données a un impact direct sur l’utilité d’OpenStreetMap pour le monde entier. Comme l’observe Jochen : « L’objectif est de garder OSM comme cette grande ressource qui peut être utilisée non seulement par des entreprises de plusieurs milliards de dollars, mais aussi par l’étudiant qui veut créer une carte du monde sur son ordinateur portable ou l’activiste avec son ordinateur d’occasion donné. »

Meilleure histoire OSM

De nombreux cartographes sont déçus lorsqu’ils réalisent à quel point l’onglet historique du site Web peut réellement montrer peu de choses. Il existe de nombreux outils, comme OSMCha et Achavi, qui offrent beaucoup plus, mais nécessitent tout de même un certain degré de compétence pour les utiliser.

Vous vous demandez peut-être pourquoi, et la réponse est très technique – l’emplacement d’une seule version d’une méthode n’est, dans de nombreux cas, pas défini. C’est la raison pour laquelle le suivi des changements est resté une discipline experte avec des outils relativement hostiles aux débutants. En changeant le modèle de données, nous nous éloignerons de cette barrière et, par la suite, nous pouvons nous attendre à des outils nettement meilleurs, mais pas avant d’avoir obtenu les coordonnées et les versions appropriées.

Génération minutieuse de tuiles vectorielles

Bien qu’il existe un certain nombre de générateurs de tuiles vectorielles matures de nos jours, quelques problèmes sont encore ouverts.

  • L’une est de savoir quelles caractéristiques doivent entrer dans les tuiles vectorielles pour openstreetmap.org
  • L’autre est de savoir comment concilier minutieusement les mises à jour avec les tuiles vectorielles pour des performances à un niveau acceptable.

Cette tâche devient plus facile si vous pouvez non seulement vraiment paralléliser la génération de tuiles, mais aussi éliminer la première étape coûteuse pour déterminer à quelle tuile appartient une voie modifiée.

Nous pourrions être en mesure de trouver quelqu’un qui encapsule la puissance de calcul brute nécessaire pour le faire. Mais même si c’est le cas, il s’agit d’un degré hautement indésirable de dépendance à l’égard de ce partenaire.

Alors oui, les tuiles vectorielles pour openstreetmap.org sont en principe possibles sans ce changement de modèle de données, mais à un coût tellement plus élevé que seul le matériel spécialisé sera en mesure de suivre les changements minutieux.

Donnez votre avis sur l’avenir

Une sorte de changement est inévitable. La croissance de la base de données OSM dépasse les améliorations de vitesse dans le matériel, et le modèle basé sur l’ID signifie que l’ensemble du processus ne peut pas être parallélisé avec une accélération complète. Suivre les changements était facilement possible dans le passé, mais les besoins nécessitent de plus en plus d’astuces maintenant. Il y a un moment dans le futur où le matériel spécialisé suffira également pour suivre les changements minutieux.

Cependant, il existe de nombreuses approches possibles pour relever ce défi. C’est maintenant l’occasion pour la communauté des développeurs de partager son opinion sur la voie à suivre.

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap . Elle se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap et est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map (état de la carte) . Nos groupes de travail bénévoles et notre petit noyau de personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap. Traduction: Georges Küster

Présentation de l’onglet Communautés sur OSM.org

Il existe une nouvelle façon de trouver et de se connecter avec les communautés OSM.

Dans le coin supérieur droit de OSM.org, vous pouvez maintenant voir un onglet « Communautés » qui renvoie à un seul emplacement centralisé qui répertorie les chapitres locaux formels, ainsi que les autres communautés OSM. Compte tenu du nombre de communautés et de la rapidité avec laquelle OSM se développe, c’est le bon moment pour ajouter un moyen important de se connecter.

Selon Joost Schouppe, membre du LCCWG , le nouvel onglet « est probablement le changement le plus visible sur osm.org depuis l’ajout de Notes ».

Une fois que vous avez navigué vers la nouvelle page « Communautés », vous verrez que les données pour les listes des chapitres locaux sont fournies dynamiquement via l’indice de communauté OSM (OCI). En fait, l’aspect le plus difficile du projet a été de trouver comment intégrer les données du BEC dans la page plutôt que de simplement ajouter une simple liste de chapitres locaux en tant que contenu statique. Comme l’a noté Andy Allan, responsable du site Web, « Ce dernier aurait été rapide et facile, mais l’utilisation de l’OCI signifie qu’il est automatiquement mis à jour lorsque de nouveaux chapitres sont ajoutés, et cela signifie également que nous réutilisons toutes les traductions pour les noms de chapitres des 46 langues différentes que nous prenons déjà en charge. »   

Bien qu’il n’y ait actuellement aucun moyen de saisir dynamiquement toutes les autres communautés moins formalisées, l’ajout de la section « Autres groupes » met en évidence leur existence et indique la voie à suivre pour obtenir plus d’information.  

« Ce n’est qu’un début », déclare Adam Hoyle, membre du LCCWG (Sections locales et groupe de travail communautaire), qui a également travaillé sur le projet.  « Idéalement, cela peut devenir une page centralisée encore meilleure pour que les personnes et les communautés puissent se retrouver. » 

Afficher une liste de sections locales ne fait qu’effleurer la surface de ce qui peut être fait, maintenant que les différents défis techniques sous-jacents ont été résolus. Par exemple, lorsque les nouveaux cartographes définissent leur emplacement d’origine sur leur profil, une liste de forums locaux, de groupes de cartographie et de canaux de communication personnalisés en fonction de leur emplacement peut être immédiatement affichée sur leur tableau de bord personnel. 

La clé pour envoyer des améliorations supplémentaires à la page « Communautés » est d’avoir des bénévoles pour aider. « Toute cette information communautaire se trouve déjà dans le BEC, alors nous avons maintenant besoin de gens pour nous aider à élargir notre intégration », explique Allan. Schouppe ajoute que « cette question particulière est à l’ordre du jour du LCCWG (Sections locales et groupe de travail communautaire) depuis octobre 2020, et Adam a commencé à y travailler en janvier 2021. Cela montre que, parce que nous sommes tous bénévoles, il faut beaucoup de temps et d’efforts pour faire évoluer le site Web osm.org, mais cela peut être fait.

→ Pour contribuer au développement de OSM.org, veuillez visiter le Github principal et / ou ce numéro, qui met en évidence les nombreuses demandes d’extraction existantes et donne des idées sur la façon de contribuer.

→ Pour aider le LCCWG (Sections locales et groupe de travail communautaire) dans ses efforts pour aider les communautés locales à se développer, veuillez rejoindre l’un de leurs canaux.

 J’aimerais remercier Adam Hoyle pour son travail et sa patience pendant que nous travaillions.  en mettant en place les bases techniques, ce qui a pris un certain temps, mais nous prépare pour l’avenir; et aussi à l’équipe derrière OCI qui a apporté quelques changements à son côté des choses pour nous aider à obtenir les traductions  Travailler pleinement plus facilement. –-Andy Allan

The OpenStreetMap Foundation is a not-for-profit organisation, formed to support the OpenStreetMap Project. It is dedicated to encouraging the growth, development and distribution of free geospatial data for anyone to use and share. The OpenStreetMap Foundation owns and maintains the infrastructure of the OpenStreetMap project, is financially supported by membership fees and donations, and organises the annual, international State of the Map conference. Our volunteer Working Groups and small core staff work to support the OpenStreetMap project. Join the OpenStreetMap Foundation for just £15 a year or for free if you are an active OpenStreetMap contributor.

Appel à propositions du Groupe de travail technique

Le groupe de travail technique (EWG) souhaite lancer un appel à propositions pour le projet suivant : Ajout de la possibilité de mettre en mode silence les utilisateurs sur le site web openstreetmap.org.

A propos du projet

Les utilisateurs qui reçoivent des messages indésirables dans leur boîte de réception openstreetmap.org doivent actuellement signaler l’auteur du message et attendre qu’un administrateur prenne des mesures. Cette fonctionnalité permettra à chacun de mettre en sourdine (d’ignorer) les messages privés d’un autre utilisateur.

Pour plus de détails sur le projet, y compris la façon de postuler et les exigences de la proposition, veuillez consulter le dépôt de financement de projet du Groupe de travail technique sur Github. . Cliquez sur ” Possibilité de mettre en sourdine d’autres utilisateurs ” dans la section Projets ou consultez ce lien pour obtenir la liste des livrables.

Comprendre le processus de financement des projets

Avant de soumettre une proposition, assurez-vous de lire également le cadre de proposition de financement de projet du groupe de travail technique pour avoir un aperçu général du processus. Si vous avez des questions sur le processus de financement, veuillez contacter le groupe de travail technique à l’adresse engineering@osmfoundation.org.

À propos du groupe de travail technique

Le groupe de travail technique Le est chargé, entre autres, de gérer le développement de logiciels payés par la Fondation OpenStreetMap, de lancer des appels à propositions sur des tâches d’intérêt, d’offrir une plateforme de coordination des efforts de développement de logiciels dans l’ensemble de l’écosystème OSM et de gérer la participation de OSM aux programmes de mentorat en matière de logiciels.

Le groupe de travail technique se réunit une fois toutes les deux semaines. Les réunions sont ouvertes à tous et tout le monde est le bienvenu. Des questions? Veuillez envoyer un e-mail à engineering@osmfoundation.org. Nous sommes un petit groupe et nous accueillons toujours de nouveaux membres !

À propos d’OpenStreetMap

La Fondation OpenStreetMap   est une organisation à but non lucratif, créée pour soutenir le projet OpenStreetMap. Il est dédié à encourager la croissance, le développement et la distribution de données géospatiales gratuites pour que tout le monde puisse les utiliser et les partager. La Fondation OpenStreetMap détient et maintient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map . Nos groupes de travail  bénévoleset notre petite équipe centrale travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap  pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.