Category Archives: Groupe de travail technique

Le groupe de travail « Ingénierie » fait le point sur l’état d’avancement des tuiles vectorielles

Le groupe de travail sur l’ingénierie de la fondation OpenStreetMap fait le point sur les efforts déployés pour créer des tuiles vectorielles pour openstreetmap.org. Lisez la suite pour savoir pourquoi ce travail est important, ce qui a été fait jusqu’à présent et la manière dont les commentaires de la communauté sont pris en compte, ainsi que les détails techniques pour ceux qui veulent en savoir plus.

Le contexte

Actuellement, le site web openstreetmap.org propose des tuiles matricielles, qui sont des tuiles d’images composées de pixels – comme une image téléchargée d’une partie d’une carte. Mais des efforts ont été entrepris pour créer des tuiles vectorielles pour le site, ce qui permettra d’améliorer l’aspect et le fonctionnement de la carte. Pour en savoir plus sur l’historique du projet, cliquez ici.

Les tuiles vectorielles présentent les cartes sous forme de vecteurs : points, lignes et polygones. Elles stockent des données géographiques (comme celles qui composent OpenStreetMap) dans un format qui permet une mise en forme et une interactivité dynamiques. Pour les utilisateurs, les tuiles vectorielles sont synonymes d’un nouveau style de carte à l’aspect moderne, avec un zoom continu sur openstreetmap.org. La carte peut être mise à jour plus rapidement lorsque les données changent, et elle devrait être plus performante pour les utilisateurs.

À plus long terme, l’aspect le plus excitant est ce que ce projet de tuiles vectorielles rendra facile pour les volontaires et les utilisateurs de tuiles : des cartes en 3D, des mélanges et des correspondances de données plus efficaces et l’intégration d’autres ensembles de données, des styles thématiques, des cartes multilingues, des vues différentes pour les frontières administratives, des points d’intérêt interactifs, des cartes plus accessibles pour les utilisateurs malvoyants, et certainement beaucoup d’autres idées que personne n’a encore imaginées. Vous vous souviendrez peut-être que nombre d’entre elles intéressent depuis longtemps les membres de la communauté OSM.

Le projet

L’objectif du projet vectoriel est de fournir une configuration vectorielle qui puisse fonctionner pour openstreetmap.org – c’est-à-dire un site mondial de cartes de base complexes, très demandé par les utilisateurs et les services du monde entier, où les données sous-jacentes à la carte changent en permanence.

Ou, pour le dire techniquement, de créer une configuration pour une carte de base mondiale complexe soumise à une forte charge et nécessitant des mises à jour minutieuses.

Paul Norman pilote le projet de tuiles vectorielles.

Il s’efforce de compléter son projet Tilekiln qui génère des tuiles vectorielles à partir d’une base de données PostgreSQL (comme celle d’OpenStreetMap), en utilisant la fonction du modèle Shortbread, qui est un format de données permettant de nommer les couches et les propriétés d’une tuile vectorielle, et l’amélioration de Themepark, qui permet d’ajouter des données OSM à une base de données Postgres.

Le travail est divisé en trois étapes : 

1. Première série d’améliorations de Tilekiln et de Shortbread Themepark

2. Amélioration du parallélisme

3. Shortbread disponible publiquement en production

Les deux premières étapes sont presque achevées. Tilekiln génère désormais des tuiles en parallèle, ce qui permet de générer des tuiles pour le monde entier. L’étape suivante consiste à lancer le déploiement dans le serveur de l’OSMF afin de préparer la production. 

Détails techniques sur l’étape 1

Pour ceux qui s’intéressent aux détails techniques de ce qui est en cours de réalisation, la première étape ci-dessus comporte cinq éléments principaux.

        1.        Packaging automatisé de Tilekiln

        2.        Publication des métriques Tilekiln avec un exportateur Prometheus

        3.        Themepark Shortbread revu et corrigé

        4.        Mise en place d’un serveur de démonstration fonctionnant avec des mises à jour minutieuses des tuiles Shortbread, rendant les tuiles à la demande.

        5.        Démonstration présentée à la communauté

Les points 1 et 2 sont achevés sans qu’il soit nécessaire de les examiner plus avant. Pour le point 3, Paul a constaté que l’implémentation osm2pgsql Themepark Shortbread nécessitait plus de travail que prévu car il manquait une couche et présentait quelques problèmes. 

Les points 4 et 5 sont achevés. Le serveur de démonstration de Paul fonctionne avec des mises à jour constantes et les exigences matérielles sont plus modestes que prévu. 

La communauté a également fourni un retour d’information utile, notamment sur le message de Paul sur le forum communautaire OSM.

La communauté a fait de nombreuses suggestions, dont certaines ont déjà été prises en compte. Les problèmes restants de la communauté sont les suivants : le rendu des lignes courbes est irrégulier et les tuiles vectorielles sont trop grandes.

Le problème des lignes irrégulières est dû à la façon dont les courbes lisses sont représentées dans les tuiles vectorielles. Ce problème a été en grande partie résolu, mais on s’attend à ce que des problèmes similaires réapparaissent à l’avenir. Une échelle cible équivalente à l’échelle minimale de la couche de tuiles standard a été définie. Il est possible de zoomer à une échelle encore plus petite, mais des artefacts risquent d’apparaître.

La taille des tuiles vectorielles restera un problème sur lequel il faudra travailler en permanence, mais les tuiles actuelles sont particulièrement grandes. Depuis cette partie du test, des modifications ont été apportées qui ont permis de réduire la taille de moitié. L’optimisation de la taille des tuiles est une question qui nécessite un travail continu, car la taille des tuiles est le facteur le plus important dans l’expérience de l’utilisateur.

Les tuiles produites sont utilisables, mais il reste encore du travail à faire. Maintenant que le travail sur le parallélisme est terminé, il est possible de générer de grands ensembles de tuiles afin de les tester. Paul va donc se remettre à travailler sur les définitions des tuiles afin d’en améliorer la taille et de résoudre quelques problèmes restants, mais les tuiles actuelles sont utilisables.

Informations sur les outils utilisés

Voici quelques informations sur les différents outils utilisés pour ce projet.

Tilekiln est un logiciel écrit par Paul Norman pour générer des tuiles vectorielles à partir d’une base de données PostgreSQL. Les alternatives sont martin (ou peut-être t_rex). Tilekiln est en cours de développement, bien qu’il utilise de nombreuses fonctionnalités standard de PostgreSQL pour générer les données vectorielles des tuiles. La plupart des cartes basées sur OSM (y compris osm-carto sur osm.org) sont générées à partir de requêtes SQL provenant d’une base de données PostgreSQL. Tilekiln génère des tuiles vectorielles à partir de requêtes similaires.

Themepark fait partie de la suite d’outils osm2pgsql, pour permettre d’ajouter des données OSM à postgres, et de partager ces étapes de traitement entre d’autres projets. De nombreux styles de cartes OSM basés sur PostgreSQL (comme osm-carto) utilisent osm2pgsql 

osm2pgsql existe depuis plus de 15 ans dans OSM et est utilisé dans de nombreux domaines. Bien que Paul ait contribué au code, il n’en est pas le principal développeur. osm2pgsql est devenu plus avancé et meilleur au cours des dernières années. Une partie de sa force réside dans le prétraitement des données, et Themepark est une tentative de faciliter ces étapes de prétraitement.

Shortbread est un « schéma de tuiles vectorielles » créé par Geofabrik. Il s’agit d’un format de données permettant de nommer les couches et les propriétés d’une tuile vectorielle.

Ce billet contient des contributions d’Adam Hoyle, Mikel Maron, Amanda McCann, Paul Norman et Andrew Wiseman.

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap. Elle se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap et est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map (État de la carte). Nos groupes de travail bénévoles et notre petit noyau de personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.

2024 : annonce de l’année des cartes vectorielles OpenStreetMap

OpenStreetMap fera un grand bond en avant avec l’introduction des tuiles vectorielles sur openstreetmap.org cette année. Ceci est le premier d’une série d’articles de blog où nous partagerons nos progrès.

Pour diriger notre projet de tuiles vectorielles, la Fondation OpenStreetMap a engagé Paul Norman, une figure renommée de la cartographie et des données ouvertes, dont le parcours avec OpenStreetMap a commencé en 2010 par une rencontre fortuite sur les forums xkcd. Son rôle dans la communauté a pris son essor avec son travail sur OpenStreetMap Carto en 2013. Son engagement bénévole au sein de la Fondation OSM, y compris ses contributions à plusieurs groupes de travail et son mandat au conseil d’administration de l’OSMF, souligne son engagement pour le projet. Sur le plan professionnel, il a occupé divers postes influents chez MapQuest, CartoDB, Wikimedia Foundation et Amazon. Des milliards de personnes ont vu les produits de son travail. Pour en savoir plus sur Paul, visitez son site  blog Pour des plongées techniques approfondies dans les tuiles vectorielles, suivez-le sur Mastodon ou sur Twitter.

Les tuiles vectorielles représentent une avancée significative dans la manière dont les données cartographiques sont traitées et présentées. Contrairement aux tuiles matricielles traditionnelles, qui sont  Images statiques avec des pixels, les tuiles vectorielles sont comme les “SVG” du monde de la cartographie : vous obtenez des lignes et des points. Elles stockent les géodonnées dans un format qui permet une stylisation et une interactivité dynamiques, ce qui permet à l’utilisateur d’adapter l’aspect visuel de la carte sans modifier les données. Si cela ressemble à ce que vous avez vu sur d’autres cartes, vous avez raison ! Les tuiles vectorielles sont devenues la norme dans l’industrie des cartes interactives qui, à la différence des  openstreetmap.org, ne sont pas mis à jour souvent, et où vous pouvez simplement recalculer l’ensemble de votre base de données de temps en temps.

Mais la carte affichée sur openstreetmap.org est tout à fait différent ! Elles sont mises à jour de manière incrémentale et constante, une minute après votre édition ; c’est une partie essentielle de la boucle de rétroaction pour les cartographes – et c’est la raison pour laquelle l’auteur de ce billet de blog a été accroché en premier lieu. C’est pourquoi nous devons investir dans notre propre logiciel de tuiles vectorielles.

Dans un avenir proche, pour les utilisateurs, cela se traduira par un nouveau style de carte moderne avec un zoom transparent openstreetmap.org. À plus long terme, la partie la plus excitante est ce que ce projet de tuiles vectorielles rendra facile pour les volontaires et les utilisateurs de tuiles : des cartes en 3D, des mélanges de données plus efficaces et l’intégration d’autres ensembles de données, des styles thématiques, des cartes multilingues, des vues différentes pour les limites administratives, des points d’intérêt interactifs, des cartes plus accessibles pour les utilisateurs malvoyants, et je suis sûr que beaucoup d’autres idées n’ont pas encore été formulées. Cette technologie n’est pas seulement un saut esthétique, mais aussi un saut fonctionnel, qui améliore l’expérience globale de l’utilisateur.

Dans le 2021 enquête communautaire (page 15), il n’y avait pas de sentiment clair sur ce que la fondation devrait faire sur les tuiles vectorielles. Nous avons constaté un clivage dans les préférences : certains préconisaient un développement mené par des bénévoles, d’autres un engagement professionnel. L’écosystème a évolué depuis lors, facilitant la construction à partir de briques logicielles existantes. Nous considérons notre projet comme un équilibre raisonnable entre les deux réponses les plus populaires. Investir dans les logiciels de base est également  dans le cadre de notre plan stratégique pluriannuel.

La Fondation OpenStreetMap dépend des dons pour mener à bien ce projet. Si vous souhaitez soutenir spécifiquement notre année de tuiles vectorielles, vous pouvez   donner et laisser des « tuiles vectorielles » dans le message de don. Chaque contribution, petite ou grande, soutient directement notre capacité à garantir qu’OpenStreetMap puisse être ouverte, accessible et dynamique pour tous. Votre soutien n’est pas un simple don ; c’est un investissement dans l’avenir de la cartographie libre.

Nous n’en sommes qu’au début de ce voyage passionnant. Restez à l’écoute car nous approfondirons les aspects liés au schéma et au style dans de futurs articles de blog.

Rappel : Appel à commentaires sur le modèle de données

Étude du modèle de données

Le groupe de travail d’ingénierie de la Fondation OpenStreetMap a commandé une étude début 2022 sur la manière d’améliorer le modèle de données existant. Jochen Topf a livré les résultats de cette étude, y compris des recommandations sur la façon de rendre le modèle de données OpenStreetMap plus efficace sur le plan informatique et plus accessible.

Deux suggestions clés ont été faites :

  • Présentation d’un type de données de zone pour représenter des polygones
  • Se débarrasser des nœuds non étiquetés

Consultation de la communauté

Afin de décider des prochaines étapes de ce processus, nous voulons avoir plus de discussions avec la communauté des développeurs car les changements proposés ont un impact sur le logiciel OpenStreetMap qui dépend directement ou indirectement du modèle de données.

Rejoignez la discussion

Avantages potentiels

Moins de désordre pour les zones

Certains cartographes peuvent être surpris d’apprendre qu’OSM n’a pas déjà de type de données Area. Après tout, l’éditeur iD met en évidence des boutons pour dessiner des points, des lignes et des zones. Une fois cartographiées, ces zones apparaissent généralement sur la carte comme prévu. Le wiki OSM indique si une balise est généralement utilisée sur les zones, et même Overpass Turbo vous permet d’utiliser des zones dans votre requête.

Dans les coulisses, cependant, ces domaines sont représentés comme des moyens ou des relations. Chaque outil travaillant avec des données OSM utilise son propre ensemble de règles pour deviner si une manière particulière représente une ligne ou une zone. Faire des zones une partie appropriée du modèle de données OSM conduirait à une interprétation cohérente entre les applications, permettrait à l’API d’empêcher les zones brisées d’être téléchargées et pourrait éventuellement conduire à la prise en charge de téléchargements partiels de très grandes zones.

Garder le traitement OSM accessible

Actuellement, les moyens sont constitués de références aux nœuds, et nous nous appuyons sur ces références pour déterminer comment les moyens se connectent les uns aux autres. La résolution des coordonnées de ces références de nœuds est un processus coûteux au sein de la chaîne d’outils OpenStreetMap car cela prend des heures ou des jours, même sur du matériel compatible.

À l’avenir, nous pourrions modéliser les moyens comme une simple liste de coordonnées – en fonction de la mise en œuvre exacte que nous obtenons. Cela offrirait de grands avantages en termes de performances, mais se débarrasser des nœuds non étiquetés constituerait un changement important.

À première vue, les améliorations de performances peuvent ne pas sembler particulièrement excitantes. Mais la facilité avec laquelle il est possible de travailler avec nos données a un impact direct sur l’utilité d’OpenStreetMap pour le monde entier. Comme l’observe Jochen : « L’objectif est de garder OSM comme cette grande ressource qui peut être utilisée non seulement par des entreprises de plusieurs milliards de dollars, mais aussi par l’étudiant qui veut créer une carte du monde sur son ordinateur portable ou l’activiste avec son ordinateur d’occasion donné. »

Meilleure histoire OSM

De nombreux cartographes sont déçus lorsqu’ils réalisent à quel point l’onglet historique du site Web peut réellement montrer peu de choses. Il existe de nombreux outils, comme OSMCha et Achavi, qui offrent beaucoup plus, mais nécessitent tout de même un certain degré de compétence pour les utiliser.

Vous vous demandez peut-être pourquoi, et la réponse est très technique – l’emplacement d’une seule version d’une méthode n’est, dans de nombreux cas, pas défini. C’est la raison pour laquelle le suivi des changements est resté une discipline experte avec des outils relativement hostiles aux débutants. En changeant le modèle de données, nous nous éloignerons de cette barrière et, par la suite, nous pouvons nous attendre à des outils nettement meilleurs, mais pas avant d’avoir obtenu les coordonnées et les versions appropriées.

Génération minutieuse de tuiles vectorielles

Bien qu’il existe un certain nombre de générateurs de tuiles vectorielles matures de nos jours, quelques problèmes sont encore ouverts.

  • L’une est de savoir quelles caractéristiques doivent entrer dans les tuiles vectorielles pour openstreetmap.org
  • L’autre est de savoir comment concilier minutieusement les mises à jour avec les tuiles vectorielles pour des performances à un niveau acceptable.

Cette tâche devient plus facile si vous pouvez non seulement vraiment paralléliser la génération de tuiles, mais aussi éliminer la première étape coûteuse pour déterminer à quelle tuile appartient une voie modifiée.

Nous pourrions être en mesure de trouver quelqu’un qui encapsule la puissance de calcul brute nécessaire pour le faire. Mais même si c’est le cas, il s’agit d’un degré hautement indésirable de dépendance à l’égard de ce partenaire.

Alors oui, les tuiles vectorielles pour openstreetmap.org sont en principe possibles sans ce changement de modèle de données, mais à un coût tellement plus élevé que seul le matériel spécialisé sera en mesure de suivre les changements minutieux.

Donnez votre avis sur l’avenir

Une sorte de changement est inévitable. La croissance de la base de données OSM dépasse les améliorations de vitesse dans le matériel, et le modèle basé sur l’ID signifie que l’ensemble du processus ne peut pas être parallélisé avec une accélération complète. Suivre les changements était facilement possible dans le passé, mais les besoins nécessitent de plus en plus d’astuces maintenant. Il y a un moment dans le futur où le matériel spécialisé suffira également pour suivre les changements minutieux.

Cependant, il existe de nombreuses approches possibles pour relever ce défi. C’est maintenant l’occasion pour la communauté des développeurs de partager son opinion sur la voie à suivre.

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap . Elle se consacre à encourager la croissance, le développement et la distribution de données géospatiales gratuites que tout le monde peut utiliser et partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap et est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map (état de la carte) . Nos groupes de travail bénévoles et notre petit noyau de personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap. Traduction: Georges Küster

Appel à propositions du Groupe de travail technique

Le groupe de travail technique (EWG) souhaite lancer un appel à propositions pour le projet suivant : Ajout de la possibilité de mettre en mode silence les utilisateurs sur le site web openstreetmap.org.

A propos du projet

Les utilisateurs qui reçoivent des messages indésirables dans leur boîte de réception openstreetmap.org doivent actuellement signaler l’auteur du message et attendre qu’un administrateur prenne des mesures. Cette fonctionnalité permettra à chacun de mettre en sourdine (d’ignorer) les messages privés d’un autre utilisateur.

Pour plus de détails sur le projet, y compris la façon de postuler et les exigences de la proposition, veuillez consulter le dépôt de financement de projet du Groupe de travail technique sur Github. . Cliquez sur ” Possibilité de mettre en sourdine d’autres utilisateurs ” dans la section Projets ou consultez ce lien pour obtenir la liste des livrables.

Comprendre le processus de financement des projets

Avant de soumettre une proposition, assurez-vous de lire également le cadre de proposition de financement de projet du groupe de travail technique pour avoir un aperçu général du processus. Si vous avez des questions sur le processus de financement, veuillez contacter le groupe de travail technique à l’adresse engineering@osmfoundation.org.

À propos du groupe de travail technique

Le groupe de travail technique Le est chargé, entre autres, de gérer le développement de logiciels payés par la Fondation OpenStreetMap, de lancer des appels à propositions sur des tâches d’intérêt, d’offrir une plateforme de coordination des efforts de développement de logiciels dans l’ensemble de l’écosystème OSM et de gérer la participation de OSM aux programmes de mentorat en matière de logiciels.

Le groupe de travail technique se réunit une fois toutes les deux semaines. Les réunions sont ouvertes à tous et tout le monde est le bienvenu. Des questions? Veuillez envoyer un e-mail à engineering@osmfoundation.org. Nous sommes un petit groupe et nous accueillons toujours de nouveaux membres !

À propos d’OpenStreetMap

La Fondation OpenStreetMap   est une organisation à but non lucratif, créée pour soutenir le projet OpenStreetMap. Il est dédié à encourager la croissance, le développement et la distribution de données géospatiales gratuites pour que tout le monde puisse les utiliser et les partager. La Fondation OpenStreetMap détient et maintient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map . Nos groupes de travail  bénévoleset notre petite équipe centrale travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap  pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.