Tag Archives: OSMF

Un año de progreso en infraestructuras: Informe del Ingeniero de Fiabilidad del Sitio 2023/2024

Como Ingeniero Senior de Fiabilidad del Sitio (SRE) de la Fundación OpenStreetMap, el año pasado me centré dentro del Equipo de Operaciones de OpenStreetMap en impulsar la eficiencia, mejorar la resistencia y ampliar nuestra infraestructura para apoyar el crecimiento continuo del proyecto OpenStreetMap. Desde la migración a la nube hasta la actualización de los servidores, hemos realizado varias mejoras desde el año pasado para posicionar mejor la infraestructura de OpenStreetMap y hacer frente a estos retos de resistencia y crecimiento.

Mejorar los servicios de cara al usuario

Servicios de renderizado mejorados

La infraestructura de renderizado de teselas ha experimentado notables mejoras, como optimizaciones de hardware y software, una caducidad más rápida de la caché de teselas para hacer frente al vandalismo, y la automatización para bloquear a los usuarios no atribuidores. Ahora a diario volvemos a renderizar las teselas de zoom bajo, lo que mejora el rendimiento y permite un bucle de retroalimentación al mapeador más rápido. El servicio de teselas se utiliza mucho y mantener la demanda es un reto continuo.

Nuevo servicio de imágenes aéreas

Lanzamos un nuevo servicio de imágenes aéreas compatible con COGs GeoTIFF. El servicio aloja ahora aerial.openstreetmap.org.za, respaldado por 16 TB de imágenes de alta resolución. El nuevo servicio facilita el alojamiento de imágenes adicionales en el futuro.

Transición a la alternativa de Gmail y mitigación del spam

Tras enfrentarme a importantes problemas de spam con el espacio de trabajo de Google de OSMF, migré los servicios de correo electrónico de OSMF a mailbox.org. Esto ha reducido el volumen de spam y ha mejorado la eficiencia administrativa. También estamos en el proceso de transición de los datos históricos de Google Docs de OSMF a un servicio autoalojado.

Hacer frente a los ataques DDoS y al vandalismo

Este año nos hemos enfrentado a varios ataques de denegación de servicio distribuido (DDoS), incluido un importante incidente de DDoS para pedir rescate, del que se informó a las fuerzas de seguridad. Estos ataques pusieron a prueba nuestra infraestructura, pero hemos aplicado medidas para reforzar nuestra resistencia y protegernos mejor contra futuras amenazas.

También hicimos frente al vandalismo a gran escala que afectó a los servicios de OpenStreetMap. Gracias a la rápida respuesta y a los ajustes realizados por el equipo de Operaciones, hemos reforzado nuestra infraestructura para gestionar mejor los abusos y garantizar un servicio continuo.

Alojamiento de Planet Data en AWS S3

Junto con el Equipo de Operaciones de OpenStreetMap, he trasladado nuestro alojamiento de datos de planetas a AWS S3 con réplicas tanto en la UE como en EE.UU., lo que nos ha permitido restablecer por completo el catálogo retrospectivo de datos históricos. A través del patrocinio OpenData de AWS, los diffs de replicación y los datos planetarios son ahora más accesibles.

Facilitar la gestión de los sistemas

Gestión completa de la infraestructura de AWS con OpenTofu

Con el Equipo de Operaciones de OpenStreetMap he migrado con éxito todos los recursos de AWS gestionados manualmente a la Infraestructura como Código (IAC) utilizando OpenTofu (antes Terraform). Esta transición nos ha permitido mejorar la rentabilidad, aumentar la seguridad adoptando un modelo IAM de mínimo privilegio y obtener una mejor visibilidad de los gastos mediante etiquetas de facturación detalladas. Además, hemos integrado S3 Storage Analytics para optimizar aún más nuestros costes, hemos configurado copias de seguridad adicionales y hemos implementado reglas de ciclo de vida mejoradas.

Alerta mejorada de interrupción del servicio

Hemos implementado alertas por SMS para las interrupciones críticas del servicio, junto con una cuenta patrocinada de PagerDuty. Estas mejoras garantizan tiempos de respuesta más rápidos y una mejor coordinación durante las interrupciones, y se está trabajando en la integración completa con Prometheus/Alertmanager y Statuscake.

Reducción de la Deuda Técnica

Este año hemos avanzado en la reducción de la deuda técnica trasladando varios servicios heredados a soluciones más fáciles de mantener. Por ejemplo, hemos puesto en contenedores servicios antiguos, como los sitios web del Estado del Mapa, que antes funcionaban con instalaciones de WordPress mal mantenidas. Esta transición ha mejorado la escalabilidad, la seguridad y el mantenimiento a largo plazo de estos servicios.

Además, sustituimos nuestra instalación de código personalizado de OTRS por una instalación del paquete Znunyde Debian. Este cambio simplifica las actualizaciones y reduce la carga de mantenimiento, garantizando que el sistema permanezca actualizado y seguro sin modificaciones personalizadas.

Garantizar la resistencia de la infraestructura a pesar de los fallos del hardware

El año pasado mantuvimos una infraestructura resistente incluso ante fallos de hardware. Sustituimos numerosos discos y RAM, garantizando una interrupción mínima de los servicios. Nuestro sistema de supervisión a medida nos permite detectar señales tempranas de fallos de hardware, lo que nos permite actuar con rapidez y sustituir los componentes defectuosos antes de que causen problemas importantes. Este enfoque proactivo ha sido clave para mantener el tiempo de actividad y la fiabilidad del sistema.

Mejora de las infraestructuras

Replicación entre sitios de las copias de seguridad

Para garantizar una sólida recuperación de desastres, he establecido una replicación entre cuentas y regiones para las copias de seguridad de AWS S3, lo que permite una recuperación puntual. Esto salvaguarda los datos y servicios críticos, incluso ante fallos graves, proporcionando tranquilidad a largo plazo.

Infraestructura de alta disponibilidad

Las actualizaciones de hardware clave en nuestras sedes de Ámsterdam, Dublín y OSUOSL mejoraron el rendimiento, la capacidad de almacenamiento y la fiabilidad de la red. En 2022 se instalaron nuevos conmutadores, y ahora hemos terminado de establecer una configuración de alta disponibilidad (HA) para garantizar un mejor servicio, que hemos seguido mejorando pasando a enlaces ascendentes diversos duales con nuestro ISP para mejorar la capacidad de recuperación.

Migración a Debian

Estamos migrando de Ubuntu a Debian 12 (Bookworm) como nuestra distribución estándar. Todos los servidores nuevos funcionan ahora con Debian. Nuestra gestión de configuración de chefs se ha actualizado con código de prueba para garantizar la compatibilidad permanente. Esta transición marca un cambio hacia una mayor estabilidad y seguridad a largo plazo. Post de Mastodon celebrando la transición.

De cara al futuro

El año que tenemos por delante nos brinda nuevas y emocionantes oportunidades a medida que avanzamos. Las prioridades clave para 2024 / 2025 incluyen:

Involucramiento

Compromiso con la Comunidad y Comunicación Exterior: Aumentar la colaboración con el Grupo de Trabajo de Comunicación (GTC) y mejorar nuestra comunicación de cara al público sobre el estado del servicio y los cortes.

Mejorar la documentación y la incorporación: Mejoraremos la documentación de incorporación y realizaremos sesiones específicas para ayudar a los nuevos colaboradores a participar en las operaciones más fácilmente. Esto incluye mejorar la fiabilidad y la cobertura de nuestros procesos de prueba, garantizando contribuciones más fluidas y reduciendo la curva de aprendizaje para los nuevos miembros del equipo.

Planificar y optimizar

Planificación de la capacidad para el crecimiento de la infraestructura: A medida que OpenStreetMap y la demanda de nuestros servicios crezcan, nos aseguraremos de que podemos escalar para satisfacer la demanda. Al anticiparnos a las necesidades futuras y equilibrar el rendimiento con un crecimiento rentable, pretendemos mantener la calidad y disponibilidad del servicio que espera nuestra comunidad.

Optimización continua de los costes: Seguiremos buscando formas de reducir costes aprovechando patrocinios como el programa AWS OpenData, garantizando operaciones sostenibles.

Seguir reduciendo la deuda técnica: Seguiremos simplificando nuestra infraestructura reduciendo la carga de mantenimiento de los sistemas heredados, por ejemplo aumentando el uso de contenedores. Esto ayudará a agilizar las tareas de gestión y nos permitirá centrarnos en otras mejoras, haciendo que la infraestructura sea más eficiente y escalable con el tiempo.

Seguir mejorando las infraestructuras

Implantación de equilibradores de carga de alta disponibilidad: Despliegue de la configuración HA (VRRP + LVS + DSR) de los equilibradores de carga para mejorar la fiabilidad del sistema y reducir los posibles tiempos de inactividad.

Finalización de la integración de Prometheus con PagerDuty: Finalización de la integración de Prometheus para la supervisión y PagerDuty para agilizar las alertas y la respuesta a incidentes.

Completar la transición a un entorno Debian completo: Migrar todos los servicios restantes de Ubuntu a Debian para aumentar la estabilidad y la seguridad.

Mejorar las estrategias de recuperación y copia de seguridad en caso de catástrofe: Perfeccionando nuestra documentación de recuperación e introduciendo medidas adicionales de copia de seguridad en todos los servicios críticos están protegidos y son recuperables en caso de fallo.


¡Nomínate para las Elecciones de la Junta de la Fundación OSM antes del 22 de octubre!

Logotipo de la Fundación OpenStreetMap

¡Esta es una oportunidad para involucrarte en la Fundación OpenStreetMap, la organización sin fines de lucro que apoya el proyecto OSM!

Las elecciones de la Junta de la Fundación OpenStreetMap serán en diciembre, y hay tres asientos que estarán abiertos. Si estás interesado en postularte, la fecha límite para nominarte se aproxima: el 22 de octubre de 2022 a las 23:59 UTC.

Acerca de la Junta Directiva de la Fundación OpenStreetMap

La Junta Directiva de siete personas trabaja en asuntos de la Fundación OSM de forma voluntaria (no remunerada) y es elegida por los miembros de la Fundación OSM.

La junta se reúne regularmente para trabajar en cuestiones administrativas, políticas y de recaudación de fondos, para votar sobre resoluciones y para apoyar a los Grupos de Trabajo de OSMF, que también están compuestos por voluntarios. ¡Los Grupos de Trabajo siempre están buscando ayuda también!

Para las elecciones de diciembre, los mandatos de los miembros de la Junta: Eugene Alvin Villar, Jean-Marc Liotier y Tobias Knerr expiran, por lo que sus asientos estarán disponibles. (También pueden optar por postular de nuevo).

Si estás interesado en postularte, o conoces a alguien que podría estarlo, hay más información sobre las nominaciones y las elecciones aquí. ¡Puedes nominarte a ti mismo!

Los miembros de la junta sirven términos de dos años y pueden ser reelegidos varias veces, con un límite de mandato de tres términos en las últimas ocho elecciones. (Puedes obtener más información sobre los límites de mandato de la junta en las secciones 33 y 34 de los Artículos de Asociación de OSMF. Los Artículos de Asociación son las reglas y directrices de la Fundación OSM.)

Las elecciones de la Junta comienzan el 3 de diciembre y cierran el 10 de diciembre. Puedes ver más fechas clave aquí.

Las reuniones mensuales de la junta están abiertas a los miembros de OSMF para observar o hacer preguntas. Puedes encontrar actas de reuniones pasadas aquí.

Por qué deberías postular para la Junta

¡Siempre necesitamos candidatos a la junta! ¡Considéralo o pregúntale a otra persona sobre quien cree que podría ser buena opción para la próxima elección de la junta de OSMF, que tendrá lugar el 10 de diciembre de 2022! 

¿Por qué postularse para la junta? A continuación puedes leer las opiniones personales de los miembros actuales y pasados de la junta:

  • Por qué postularse para la junta: opiniones de los miembros de la junta de 2021 mencionadas durante una reunión de la junta (2021-08)

(Ten en cuenta que para postular, debes ser miembro normal de OSMF 28 días antes de la elección, no asociado, y debes haber sido miembro durante los 180 días completos antes de la elección).

Si aún no eres miembro de la Fundación, es una excelente manera de apoyar el proyecto OpenStreetMap, expresar tus opiniones y también ser elegible para votar en las elecciones de la Junta. Puedes aprender cómo unirte a la OSMF aquí, que puede ser gratis si eres un colaborador activo de OSM.

Nota: las traducciones para este post están por venir.

Acerca de OpenStreetMap

La Fundación OpenStreetMap es una organización sin fines de lucro, formada para apoyar el Proyecto OpenStreetMap. Se dedica a fomentar el crecimiento, desarrollo y distribución de datos geoespaciales gratuitos para que cualquiera los use y comparta. La Fundación OpenStreetMap posee y mantiene la infraestructura del proyecto OpenStreetMap, recibe apoyo financiero mediante cuotas de membresía y donaciones, y organiza la conferencia internacional anual State of the Map. Nuestros grupos de trabajo voluntarios y el pequeño personal central trabajan para apoyar el proyecto OpenStreetMap. Únete a la Fundación OpenStreetMap por solo £ 15 al año o de forma gratuita si eres un colaborador activo de OpenStreetMap.