Tag Archives: OSMF

Une année de progrès en matière d’infrastructure : mise à jour pour 2023 / 2024 de l’ingénieur chargé de la fiabilité des sites

En tant que Senior Site Reliability Engineer (SRE) de la Fondation OpenStreetMap, je me suis concentré sur l’efficacité, l’amélioration de la résilience et la mise à l’échelle de notre infrastructure pour soutenir la croissance continue du projet OpenStreetMap au cours de l’année écoulée. De la migration vers le cloud à la mise à niveau des serveurs, nous avons apporté plusieurs améliorations depuis l’année dernière afin de mieux positionner l’infrastructure d’OpenStreetMap pour répondre à ces défis de résilience et de croissance.

Améliorer les services aux utilisateurs

Services de rendu améliorés

L’infrastructure de rendu des tuiles a fait l’objet d’améliorations notables, notamment des optimisations matérielles et logicielles, une expiration plus rapide du cache des tuiles pour lutter contre le vandalisme, et l’automatisation pour bloquer les utilisateurs qui n’attribuent pas les tuiles OSM. Les tuiles à faible zoom sont désormais rendues quotidiennement, ce qui améliore les performances et permet un retour d’information plus rapide. Le service de tuiles est largement utilisé et répondre à la demande est un défi permanent.

Nouveau service d’imagerie aérienne

Lancement d’un nouveau service d’imagerie aérienne qui prend en charge les COG GeoTIFF. Le service héberge désormais aerial.openstreetmap.org.za qui s’appuie sur 16 To d’images à haute résolution. Le nouveau service facilite l’hébergement d’images supplémentaires à l’avenir.

Transition vers des alternatives à Gmail et Google Docs et réduction des spams

Après avoir été confronté à d’importants problèmes de spam avec l’espace de travail Google de l’OSMF, j’ai migré les services de messagerie électronique de l’OSMF vers mailbox.org. Cela a permis de réduire le volume de spam et d’améliorer l’efficacité administrative. Nous sommes également en train de transférer les données historiques d’OSMF sur Google Docs vers un service auto-hébergé.

Faire face aux attaques DDoS et au vandalisme

Cette année, nous avons été confrontés à plusieurs attaques par déni de service distribué (DDoS), y compris un incident majeur de DDoS contre rançon, qui a été signalé aux autorités policières. Ces attaques ont mis à l’épreuve notre infrastructure, mais nous avons mis en œuvre des mesures pour renforcer notre résilience et mieux nous protéger contre les menaces futures.

Nous avons également fait face à des actes de vandalisme à grande échelle qui ont affecté les services d’OpenStreetMap. Grâce à la réaction rapide et aux ajustements effectués par l’équipe des opérations, nous avons renforcé notre infrastructure afin de mieux gérer les abus et d’assurer un service continu.

Hébergement de Planet Data sur AWS S3

Avec l’équipe opérationnelle d’OpenStreetMap, j’ai transféré l’hébergement de nos données planet sur AWS S3 avec des miroirs dans l’UE et aux États-Unis, ce qui nous permet de rétablir complètement le catalogue des données historiques. Grâce au parrainage OpenData d’AWS, les différences de réplication et les données planet sont désormais plus accessibles.

Faciliter la gestion des systèmes

Gestion complète de l’infrastructure AWS avec OpenTofu

Avec l’équipe des opérations d’OpenStreetMap, j’ai réussi à migrer toutes les ressources AWS gérées manuellement vers l’Infrastructure-as-Code (IAC) en utilisant OpenTofu (anciennement Terraform). Cette transition nous a permis d’améliorer la rentabilité, de renforcer la sécurité en adoptant un modèle IAM à moindre privilège, et d’obtenir une meilleure visibilité sur les dépenses grâce à des étiquettes de facturation détaillées. En outre, nous avons intégré S3 Storage Analytics pour optimiser davantage nos coûts, mis en place des sauvegardes supplémentaires et implémenté des règles de cycle de vie améliorées.

Amélioration de l’alerte en cas d’interruption de service

Nous avons mis en place un système d’alerte par SMS pour les pannes de service critiques, ainsi qu’un compte PagerDuty sponsorisé. Ces améliorations garantissent des temps de réponse plus rapides et une meilleure coordination pendant les pannes, avec une intégration complète avec Prometheus/Alertmanager et Statuscake en cours de réalisation.

Réduction de la dette technique

Cette année, nous avons progressé dans la réduction de la dette technique en déplaçant plusieurs services hérités vers des solutions plus faciles à maintenir. Par exemple, nous avons conteneurisé d’anciens services, notamment les sites web des State of the Mapqui fonctionnaient auparavant avec des installations WordPress mal entretenues. Cette transition a permis d’améliorer l’évolutivité, la sécurité et la maintenabilité à long terme de ces services.

En outre, nous avons remplacé notre installation personnalisée d’OTRS par une installation de paquets Znunyde Debian. Ce changement simplifie les mises à jour et réduit la charge de maintenance, garantissant que le système reste à jour et sécurisé sans modifications personnalisées.

Assurer la résilience de l’infrastructure malgré les défaillances matérielles

Au cours de l’année écoulée, nous avons maintenu une infrastructure résiliente, même en cas de défaillance du matériel. Nous avons remplacé de nombreux disques et de la mémoire vive, ce qui a permis de minimiser les interruptions de service. Notre système de surveillance sur mesure nous permet de détecter les premiers signes de défaillance du matériel, ce qui nous permet d’agir rapidement et de remplacer les composants défectueux avant qu’ils ne causent des problèmes importants. Cette approche proactive a été essentielle pour maintenir la disponibilité et la fiabilité du système.

Modernisation des infrastructures

Réplication intersites des sauvegardes

Pour garantir une solide reprise après sinistre, j’ai mis en place une réplication inter-comptes et inter-régions pour les sauvegardes AWS S3, ce qui permet une reprise à point nommé. Cela permet de sauvegarder les données et les services essentiels, même en cas de défaillance majeure, et d’assurer une tranquillité d’esprit à long terme.

Infrastructure à haute disponibilité

Des mises à niveau matérielles importantes dans nos sites d’Amsterdam, de Dublin et de l’OSUOSL ont permis d’améliorer les performances, la capacité de stockage et la fiabilité du réseau. De nouveaux commutateurs ont été installés en 2022, et nous avons maintenant terminé la mise en place d’une configuration de haute disponibilité (HA) pour assurer un meilleur service, que nous avons continué à améliorer en passant à des liaisons montantes ISP doubles et diversifiées pour une meilleure résilience.

Migration vers Debian

Nous migrons d’Ubuntu à Debian 12 (Bookworm) comme distribution standard. Tous les nouveaux serveurs fonctionnent désormais sous Debian. La gestion de la configuration de notre chef a été mise à jour avec du code de test pour assurer une compatibilité continue. Cette transition marque un changement vers une plus grande stabilité et sécurité à long terme. Voici un essage sur Mastodon célébrant la transition.

Perspectives d’avenir

L’année à venir nous offre de nouvelles opportunités passionnantes en nous appuyant sur les progrès accomplis. Les principales priorités pour 2024 / 2025 sont les suivantes :

Engagement

Engagement communautaire et communication externe : nous chercherons à renforcer la collaboration avec le groupe de travail sur la communication (CWG) et améliorer notre communication avec le public sur l’état des services et les pannes.

Améliorer la documentation et l’intégration : nous améliorerons la documentation d’accueil et organiserons des sessions dédiées pour aider les nouveaux contributeurs à s’impliquer plus facilement dans les opérations. Il s’agit notamment d’améliorer la fiabilité et la couverture de nos processus de test, de garantir des contributions plus fluides et de réduire la courbe d’apprentissage pour les nouveaux membres de l’équipe.

Planification et optimisation

Planification de la capacité pour la croissance de l’infrastructure : au fur et à mesure qu’OpenStreetMap et la demande pour nos services augmenteront, nous nous assurerons que nous pouvons évoluer pour répondre à la demande. En anticipant les besoins futurs et en équilibrant les performances avec une croissance rentable, nous visons à maintenir la qualité de service et la disponibilité que notre communauté attend.

Optimisation continue des coûts: nous continuerons à trouver des moyens de réduire les coûts en tirant parti de parrainages tels que le programme AWS OpenData, afin de garantir des opérations durables.

Poursuite de la réduction de la dette technique : nous continuerons à simplifier notre infrastructure en réduisant la charge de maintenance des systèmes existants, notamment en augmentant l’utilisation des conteneurs. Cela contribuera à rationaliser les tâches de gestion et nous permettra de nous concentrer sur d’autres améliorations, rendant l’infrastructure plus efficace et plus évolutive au fil du temps.

Poursuivre l’amélioration des infrastructures

Mise en œuvre d’équilibreurs de charge à haute disponibilité : déploiement de la configuration HA (VRRP + LVS + DSR) pour les équilibreurs de charge afin d’améliorer la fiabilité du système et de réduire les temps d’arrêt potentiels.

Finalisation de l’intégration de Prometheus avec PagerDuty : achèvement de l’intégration de Prometheus pour la surveillance et de PagerDuty pour la rationalisation des alertes et de la réponse aux incidents.

Achever la transition vers un environnement Debian complet : migration de tous les services restants d’Ubuntu vers Debian pour une stabilité et une sécurité accrues.

Améliorer les stratégies de récupération et de sauvegarde en cas de catastrophe : continuer à affiner notre documentation sur la reprise et introduire des mesures de sauvegarde supplémentaires pour que les services essentiels soient protégés et puissent être récupérés en cas de panne.

Élections 2023 du Conseil d’administration de la Fondation OSM

Le logo OpenStreetMap, avec le texte « OpenStreetMap Foundation » à droite

Les membres de la Fondation OpenStreetMap (OSMF) voteront pour élire un nouveau Conseil d’administration en décembre. Le vote débutera le 2 décembre 2023 à 16h00 UTC et les résultats seront annoncés le 9 décembre 2023, lors de l’Assemblée générale annuelle 2023.

Sièges disponibles dans cette élection

Il y aura au moins trois sièges disponibles au Conseil d’administration lors de cette élection: ceux de Guillaume Rischard, Mikel Maron et Roland Olbricht, dont les mandats se terminent. Pendant ce temps, les mandats d’Arnalie Vicario, Craig Allan, Mateusz Konieczny et Sarah Hoffmann se poursuivront. Le Conseil d’administration compte sept sièges en tout.

Guillaume Rischard et Roland Olbricht ont décidé de se présenter à nouveau. Mikel Maron ne peut pas se représenter, selon les statuts de la Fondation. Tous les membres du Conseil d’administration sont des bénévoles.

Qui a le droit de vote

Tout membre normal [1] et membre associé [2] (y compris un membre qui a adhéré via le programme d’adhésion de contributeur actif) a le droit de vote à condition que :

  • il est membre ou membre associé pendant toute la période de 90 jours précédant la date de la tenue de l’assemblée ;
  • son compte d’adhérent ne comporte pas d’arriérés 7 jours avant la date de l’assemblée générale ;
  • il soit une personne physique.
[1] Les membres normaux fournissent leur adresse de résidence complète et peuvent voter sur toutes les résolutions de l'assemblée générale. Leur adresse de résidence peut être divulguée aux autres membres.
[2] Les membres associés fournissent uniquement leur pays de résidence - qui peut également être divulgué aux autres membres - et peuvent voter, mais pas sur toutes les résolutions de l'assemblée générale. En outre, ils ne peuvent pas être candidats au conseil d'administration.

Veuillez noter que « 90 jours » signifie que la date de début de l’adhésion actuelle doit être avant le début du dimanche 10 septembre 2023 en temps universel, si l’assemblée générale annuelle a lieu le 9 décembre 2023, comme prévu.

Si vous souhaitez voter et que vous avez une adhésion à la Fondation OSM qui se termine avant l’Assemblée générale 2023, assurez-vous de la renouveler à l’avance. Pour trouver la date de fin de votre adhésion, ou son type, vous pouvez consulter le courriel que vous avez reçu lors de votre dernier renouvellement d’adhésion ou vous pouvez demander aux bénévoles du groupe de travail sur l’adhésion.

Règles du Conseil d’administration, responsabilités et pourquoi présenter sa candidature

Veuillez lire les liens sur le wiki OSM pour en savoir plus sur les règles du Conseil d’administration, les responsabilités et pourquoi présenter sa candidature.

Une grande partie du travail de la fondation est effectuée par les bénévoles de nos groupes de travail, et si vous voulez aider la Fondation, vous pouvez également envisager de vous joindre à eux.

Quelques-uns des membres actuels et passés du Conseil d’administration ont mentionné que l’idée d’être candidat au conseil ne leur avait pas traversé l’esprit jusqu’à ce qu’elle leur soit suggérée. Donc, vous voudrez peut-être réfléchir si vous souhaitez vous présenter au Conseil d’administration ou suggérer à d’autres de se porter candidat.

Critères d’admissibilité pour les candidats au Conseil d’administration

Toute personne peut être élue membre du Conseil d’administration, pourvu que :

  • elle soit membre normal de l’OSMF 28 jours avant l’Assemblée Générale, et
  • elle a été membre normal ou associé pendant les 180 jours complets [3] précédant l’Assemblée générale ;
  • elle est disposée à agir à titre de membre du Conseil d’administration ;
  • elle est autorisée par la loi à le faire.
[3] 180 jours : date d'adhésion à l'OSMF avant le 12 juin 2023, si l'assemblée générale annuelle a lieu le 9 décembre 2023, comme prévu.

Si vous êtes membre associé et que vous répondez au reste des critères, il est possible de changer votre type d’adhésion en membre normal. Veuillez communiquer avec les bénévoles du Groupe de travail sur l’adhésion et fournir votre adresse de résidence.

Résolutions proposées par les membres de la Fondation OSM

Les membres de la Fondation OSM peuvent soumettre des résolutions et demander aux membres de voter à leur sujet. Les résolutions doivent être soutenues par au moins 5% des membres ayant le droit de vote [4], afin d’être ajoutées aux bulletins de vote. À lire : Loi de 2006 sur les sociétés : le pouvoir des membres d’exiger la diffusion d’une résolution écrite. La date limite pour proposer une résolution sera probablement le 25 octobre 2023. Veuillez vérifier les dates clés sur le wiki OSM dans les semaines à venir (lien ci-dessous). 

[4] Si le vote avait lieu aujourd'hui, vous auriez besoin du soutien d'au moins 76 membres de l'OSMF ayant le droit de vote. Veuillez noter que ce nombre est susceptible de changer.

Ressources sur l’élection du Conseil d’administration et l’Assemblée générale annuelle 2023

Les deux principales pages qui seront enrichies au cours des prochaines semaines avec des informations sur l’élection du Conseil d’administration de 2023 et l’Assemblée générale annuelle sont :

Si vous êtes membre de la Fondation OSM, vous pouvez également garder un œil sur osmf-talk (la liste de diffusion des membres de l’OSMF) pour les mises à jour. En tant que membre de l’OSMF, vous pouvez vous inscrire à osmf-talk ici (veuillez utiliser l’adresse e-mail associée à votre adhésion à OSMF) et les archives de la liste de diffusion sont ici.

Si vous souhaitez lire comment fonctionne habituellement le processus électoral, vous pouvez consulter les pages de l’élection précédente sur le wiki OSM et le site Web de l’OSMF.

À propos de la Fondation OpenStreetMap

La Fondation OpenStreetMap   est une organisation à but non lucratif, créée pour soutenir le projet OpenStreetMap. Elle est dédiée à encourager la croissance, le développement et la distribution de données géospatiales gratuites pour que tout le monde puisse les utiliser et les partager. La Fondation OpenStreetMap détient et maintient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations des membres et les dons, et organise la conférence internationale annuelle State of the Map . Ses groupes de travail  bénévoles et sa petite équipe centrale travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap  pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur actif d’OpenStreetMap.

Lignes directrices éthiques pour la collecte de fonds de la Fondation OpenStreetMap

OpenStreetMap se prépare pour une campagne en 2023 pour financer la maintenance et la croissance des services de base qui permettent à son incroyable communauté de cartographier. C’est tellement important que le conseil d’administration de l’OSMF a consulté et a décidé d’engager une aide rémunérée pour organiser la campagne de financement. Avec ce grand pas, il est impératif que cet effort soit guidé par des normes éthiques élevées alignées sur la mission et les valeurs de l’OSMF.

Le Conseil d’administration a rédigé l’ébauche des Lignes directrices sur la collecte de fonds et souhaite connaître les retours de la communauté à leur sujet. En résumén la collecte de fonds est guidée par ces points principaux.

  • Les fonds sont collectés pour soutenir la mission de l’OSMF.
  • Nous équilibrons le respect des souhaits et des préférences des donateurs tout en respectant les valeurs des communautés.
  • Notre communication respectera des normes élevées d’intégrité et de transparence.
  • La collaboration et l’inclusivité de la communauté OSM diversifiée dans les efforts de collecte de fonds sont primordiales.
  • La collecte de fonds sera exécutée et gérée efficacement.
  • Nos lignes directrices sont ancrées dans des politiques claires.

Nous vous invitons à y jeter un coup d’œil et à nous faire part de vos commentaires dans le forum, dans les commentaires ou   directement au Conseil d’administration.

Proposez votre candidature pour les élections du conseil d’administration de la Fondation OSM d’ici le 22 octobre !

Le logo de la Fondation OpenStreetMap

Voici l’occasion de vous impliquer dans la Fondation OpenStreetMap, l’organisation à but non lucratif qui soutient le projet OSM !

Les élections du conseil d’administration de la Fondation OpenStreetMap auront lieu en décembre, et trois sièges seront vacants Si vous êtes intéressé à participé, la date limite pour proposer votre candidature approche, le 22 octobre 2022 à 23h59 UTC.

À propos du conseil d’administration de la Fondation OpenStreetMap

Le conseil d’administration, de sept personnes, travaille sur les questions de la Fondation OSM sur une base bénévole (non rémunérée) et est élu par les membres de la Fondation OSM.

Le conseil d’administration se réunit régulièrement pour travailler sur des questions administratives, politiques et de collection de fonds, pour voter sur des résolutions et pour soutenir les groupes de travail de l’OSMF, qui sont également composés de bénévoles. Les groupes de travail sont toujours à la recherche d’aide aussi!

Pour les élections de décembre, les mandats des membres du conseil d’administration Eugene Alvin Villar, Jean-Marc Liotier et Tobias Knerr arrivent à expiration, de sorte que leurs sièges seront disponibles. (Ils peuvent également choisir à candider à nouveau.)

Si vous êtes intéressé à vous présenter vous-même, ou si vous connaissez quelqu’un qui pourrait l’être, il y a plus d’informations sur les nominations et les élections ici. Vous pouvez proposer votre candidature!

Les membres du conseil d’administration ont un mandat de deux ans et peuvent être réélus plusieurs fois, avec une limite de trois mandats lors des huit dernières élections. (Vous pouvez obtenir plus d’informations sur les limites de mandat du conseil d’administration dans les articles 33 et 34 des statuts de l’OSMF. Les statuts sont les règles et directives de la Fondation OSM.)

Les élections du conseil d’administration commencent le 3 décembre et se terminent le 10 décembre. Vous pouvez voir plus de dates clés ici.

Les réunions mensuelles du conseil d’administration sont ouvertes aux membres de l’OSMF pour faire des observations, remarques ou poser des questions. Vous pouvez trouver les procès-verbaux des réunions passées ici.

Pourquoi devriez-vous vous présenter au conseil d’administration

Nous avons toujours besoin de candidats au conseil d’administration! Considérez-le vous-même ou demandez à quelqu’un d’autre qui, selon vous, pourrait être bon pour la prochaine élection du conseil d’administration de l’OSMF, qui aura lieu le 10 décembre 2022! 

Pourquoi se présenter au conseil d’administration? Ci-dessous, vous pouvez lire les points de vue personnels des membres actuels et passés du conseil d’administration:

(Veuillez noter que pour vous présenter, vous devez être membre normal de l’OSMF 28 jours avant l’élection, et non un membre associé , et vous devez avoir été membre pendant les 180 jours précédant l’élection.)

Si vous n’êtes pas déjà membre de la Fondation, c’est un excellent moyen de soutenir le projet OpenStreetMap, d’exprimer vos opinions et de voter aux élections du conseil d’administration. Vous pouvez apprendre à rejoindre l’OSMF ici, ce qui peut être gratuit si vous êtes un contributeur actif à OSM.

Remarque: les traductions de cet article sont à venir.

À propos d’OpenStreetMap

La Fondation OpenStreetMap est une organisation à but non lucratif, formée pour soutenir le projet OpenStreetMap. Il est dédié à encourager la croissance, le développement et la distribution de données géospatiales gratuites pour que tout le monde puisse les utiliser et les partager. La Fondation OpenStreetMap possède et entretient l’infrastructure du projet OpenStreetMap, est soutenue financièrement par les cotisations et les dons, et organise la conférence internationale annuelle State of the Map . Nos groupes de travail bénévoles et quelque personnel de base travaillent pour soutenir le projet OpenStreetMap. Rejoignez la Fondation OpenStreetMap pour seulement 15 £ par an ou gratuitement si vous êtes un contributeur OpenStreetMap actif.