Monthly Archives: May 2023

تشغيل مستقبل OpenStreetMap: عام من التحسينات من مهندس موثوقية الموقع التابع لمؤسسة OpenStreetMap

قبل أكثر من عام بقليل، انضممت إلى مؤسسة خريطة الشارع المفتوح (OSMF)  بهدف تعزيز موثوقية وأمن التقنية والبنية التحتية التي تدعم OpenStreetMap. وطوال العام الماضي، عملت عن كثب مع الفريق العامل المعني بالعمليات، وهو فريق متخصص من المتطوعين. لقد أحرزنا معا تقدما كبيرا في تحسين عملياتنا ووثائقنا، مما عزز في نهاية المطاف فعاليتنا الجماعية. أنا ممتن للغاية للدعم والتعاون داخل هذه المجموعة، ويسعدني أن أشهد الخطوات الرائعة التي اتخذناها في بناء أساس متين لمستقبل OpenStreetMap.

سأخوض في بعض التفاصيل أدناه حول ما حدث. على مستوى عال، سهلت إدارة نشر النظام الذي يعمل على خوادمنا. قوَّيت البنية التحتية لشبكتنا من خلال تحسين التكرار والمراقبة والوصول والتوثيق؛ نمَّيت استخدامنا للخدمات السحابية لعرض التجانب، والاستفادة من رعاية AWS السخية؛ حسَّنت ممارساتنا الأمنية؛ حدَّثت بيئات المطورين لدينا؛ وأخيرا وليس آخرا، نقلت نهائيًا 16 عاما من المحتوى من منتدياتنا القديمة إلى منتدياتنا الجديدة.

إذا كنت تريد أن تسمع المزيد مني على مدار العمل العام الماضي، تحقق من حديثي في حالة الخريطة 2022  و مقابلتي على بودكاست GeoMob. وأحب أن أسمع منكم، أرسل لي بريدا إلكترونيا على osmfuture@firefishy.com.

2022-2023 تفاصيل موثوقية الموقع

إدارة النظم على خوادمنا

مكونات البنية التحتية الصغيرة الموضوعة في حاويات (إجراءات GitHub للبناء)

لقد عبَّئت العديد من مواقعنا الصغيرة التي تم إنشاؤها مسبقًا باستخدام طرق مخصصة في قاعدة بيانات الشيف (chef) الخاصة بنا كجزء من إعداد “التكوين كرمز”. نقل خطوات الإنشاء إلى إجراءات Github. إعداد قاعدة لأي مشاريع مستقبلية قائمة على الحاويات (“docker”) مستقبلًا. هذه هي أول مشاريعنا القائمة على الحاويات / docker المستضافة على البنية التحتية لـOSMF.

أصبح كود الشيف (chef) القائم لدينا الآن أبسط وأكثر أمانا ويتم نشره بشكل أسرع.

تحسين اختبار الشيف (وثائق إعداد العمليات)

نحن نستخدم   chef.io لإدارة البنية التحتية (التكوين) لجميع خوادمنا والبرامج المستخدمة عليها. على مدار العام الماضي، تم تمديد اختبارات مطبخ اختبار الشيف (chef test) وتعمل الآن أيضا على أجهزة آبل سيليكون Apple Silicon الحديثة. يتم الآن تشغيل الاختبارات بشكل موثوق كجزء من عمليات CI / PR الخاصة بنا. تضيف الاختبارات مراقبة الجودة وضمان التغييرات التي نجريها. كانت إضافة دعم ARM أسهل في الإضافة لأنه يمكننا استخدام مطبخ الاختبار قبل الانتقال إلى أجهزة خادم ARM.

يجب أن يساعد إجراء اختبارات موثوقة في ضم مساهمي الشيف الجدد.

تقوية البنية التحتية لشبكتنا

ترقيات الشبكة على AMS (مفاتيح جديدة، روابط مزدوجة زائدة عن الحاجة، دبلن قريبا)

لم يكن إعداد شبكتنا في أمستردام زائدا عن الحاجة كما ينبغي. لقد تجاوزنا معدات Cisco Small Business التي استخدمناها. كان لدينا انقطاع غير متوقع في التيار الكهربائي بسبب مشاكل في الأجهزة. كانت المعدات تحد أيضا من الترقيات المستقبلية. قررت مجموعة العمليات استبدال الأجهزة بمعدات Juniper التي قمنا بتوحيدها في مركز بيانات دبلن. لقد استبدلت المعدات بأقل وقت تعطل في بيئة حية (<15 دقيقة).

تستخدم كل من مراكز بيانات دبلن وأمستردام الآن تكوينا موحدا وأكثر أمانا. يحتوي كل خادم الآن على روابط مترابطة بالكامل لتحسين التكرار والأداء. قامت المحولات بتحسين الطاقة وتكرار الشبكة. نحن في انتظار تثبيت الوصلات الصاعدة المرنة بالكامل (تم تقديم الطلب) في الشهر المقبل.

الوصول خارج النطاق إلى كلا مركزي البيانات (قائم على 4G)

لقد قمت ببناء وتركيب أجهزة وصول خارج النطاق في كل موقع. يتم توصيل الأجهزة بمعدات الشبكات وإدارة الطاقة باستخدام وحدات التحكم التسلسلية. تحتوي الأجهزة خارج النطاق على رابط 4G مرن بشبكة 4G خاصة (1NCE). أجهزة الوصول خارج النطاق هي Raspberry PIs مصممة خصيصًا مع مصادر طاقة زائدة عن الحاجة وأربعة موصلات تسلسلية.

توثيق البنية التحتية لسهولة الصيانة (رفوف / طاقة)

لقد وثقت كل وحدة رف ومنفذ طاقة (وحدة توزيع الطاقة) واتصال الشبكة والكابل في مراكز البيانات. هذا يسهل إدارة الخوادم، ويقلل من الأخطاء ويسمح لنا بتوجيه الأيدي البعيدة (مزود الدعم الخارجي) بشكل صحيح لجعل أي فرص نيابة عنا.

مؤكسد (رؤية معدات الشبكة)

يتم الآن تخزين تكوين الشبكة وتوزيع الطاقة لدينا في git ويتم الإبلاغ عن التغييرات. هذا يحسن رؤية أي تغييرات، مما يؤدي بدوره إلى تحسين الأمان.

تتم مراقبة التكوين باستمرار وأصبح حل أي انحراف في التكوين بين مواقعنا أسهل بكثير.

البنية التحتية Terraform ككود (تحسين الإدارة / التكرار)

Terraform هي أداة للبنية التحتية ككود، نستخدمها الآن لإدارة خدمة المراقبة عن بعد (statuscake) وأنا بصدد تنفيذها لإدارة البنية التحتية AWS و Fastly.

في السابق، تمت إدارة جميع هذه المكونات يدويا باستخدام واجهات مستخدم الويب المعنية. تسمح البنية التحتية ككود لفريق Ops بالعمل بشكل تعاوني على التغييرات ، وتعزز الرؤية وإمكانية تكرار / التراجع عن أي تغييرات.

نحن ندير جميع المجالات DNS باستخدام كود dnscontrol . تم إجراء تحسينات تدريجية خلال العام الماضي، بما في ذلك إضافة اختبارات CI لتحسين التعاون الخارجي.

نما استخدامنا للخدمات السحابية

AWS قيد الاستخدام لتقديم البنية التحتية. تحسين تكاليف AWS. أمان محسن. تحسين النسخ الاحتياطي. المزيد في طور الإعداد

يعمل فريق Ops ببطء على زيادة استخدامنا لـAWS على مدار بضع سنوات. لقد أنشأت حسابات AWS متعددة الاستخدام باستخدام نموذج مؤسسة AWS لتحسين الفوترة والأمان وفقا لإرشادات أفضل ممارسات AWS. لقد تلقينا رعاية AWS بسخاء لتوسيع البنية التحتية للعرض لدينا. لقد أنشأنا البنية التحتية التجريبية الجديدة للعرض باستخدام بنية ARM باستخدام AWS Graviton2 EC2.
لم نستخدم من قبل الخوادم المستندة إلى ARM. كجزء من التحسينات التي أدخلت على الشيف لدينا (التكوين ككود) ، أضفنا دعم الاختبار المحلي لـARM آبل سيليكون (Apple Silicon)، وكانت هناك حاجة إلى إضافات صغيرة فقط لإضافة التوافق المطلوب لخوادم ARM إلى الشيف.

لقد أعجبنا بأداء مثيلات AWS Graviton2 EC2 لتشغيل مكدس عرض تجانب الـOSM. اختبرنا أيضا التوسع عند الطلب ولقطة المثيل لمزيد من التحسينات المحتملة في مكدس التمزق على AWS.
لقد زدنا استخدامنا لـAWS للنسخ الاحتياطي للبيانات.

تحسين أمننا

وخلال العام الماضي، أدخل عدد من التحسينات الأمنية العامة. على سبيل المثال: الوصول إلى الخادم الآن عبر مفتاح ssh (تم تعطيل الوصول إلى كلمة المرور الآن). لقد انتقلنا أيضا من مدير كلمات مرور مخصص يعتمد على gpg لفريق ops إلى استخدام gopass (إصدار غني بالميزات من https://www.passwordstore.org/ ) ، يعمل GoPass على تحسين إدارة المفاتيح ومشاركة مخزن كلمات المرور.

زيادة على ذلك، قمنا أيضا بتحسين تأمين مثيلات WordPress الخاصة بنا عن طريق تقليل المكونات المثبتة وتعطيل التحديثات المضمنة وتعطيل الوصول إلى XMLRPC. نحن نعمل أيضا على تقليل المستخدمين الذين لديهم حق الوصول وإزالة أذونات الوصول غير المستخدمة.

المجالات الرئيسية الموثقة للضعف التي تتطلب التحسين (التكرار والأمان، إلخ)

وثائق حول الضعف الفني: أعد تقريرَا عن مجالات الضعف الرئيسية التي تتطلب التحسين (التكرار والأمان، إلخ). يمكن استخدام الوثيقة لتركيز الاستثمار في المستقبل لتقليل تعرضنا للمخاطر بشكل أكبر.

تحديث بيئات المطورين لدينا

خادم مطور جديد

لقد قمنا بترحيل جميع المطورين إلى خادم مطور جديد في العام الماضي. كان الخادم القديم في نهاية العمر (~10 سنوات) وكان يصل إلى حدود السعة (وحدة المعالجة المركزية والتخزين). تم تسليم الخادم الجديد مباشرة إلى مركز بيانات أمستردام، وتم تثبيته في بواسطة أيدي بعيدة وقمت بالتواصل حول الانتقال، ثم قمت بترحيل جميع المستخدمين والمشاريع عبرها.

التخريب المتقاعد

أحلت مستودع تعليماتنا البرمجية القديم للتقاعد   svn.openstreetmap.org في العام الماضي. تم استخدام مستودع التعليمات البرمجية منذ بداية المشروع، والذي يحتوي على تاريخ غني لتطوير التعليمات البرمجية في المشروع. لقد حولت مستودع كود svn إلى git باستخدام تكوين reposurgeon مخصص، وتم الانتباه للحفاظ على سجل المساهمة الكامل وربط المساهمين السابقين بشكل صحيح (350+) ب github والحسابات ذات الصلة. تم الحفاظ على روابط svn القديمة والآن ترتبط بالأرشيف على github https://github.com/openstreetmap/svn-archive

انتقال المنتدى

انتقال المنتدى القديم، قمنا بترحيل 1 مليون مشاركة و 16 عاما من المشاركات إلى الخطاب. تم تحويل جميع المشاركات من fluxbb markdown إلى نكهة الـdiscourse من markdown. تم دمج جميع الحسابات وتحويل المصادقة إلى OpenStreetMap.org ” تسجيل الدخول الأحادي” على أساس المصادقة.

جميع روابط المنتدى القديمة تعيد التوجيه (رابط إلى المستوردة) لتصحيح المحتوى. المستخدمون والفئات (البلدان وما إلى ذلك) وموضوعات الموضوع والمشاركات الفردية.

مجلس OSMF يراجع الثلث الأول من عام 2023

في بداية العام ، وضع المجلس معًا أفكارنا حول ما رأيناه أمامنا. بعد أربعة أشهر، هناك الكثير للتفكير فيه وتقييمه. إليك أفكار من كل واحد منا حول ما حدث، وما هو قادم، وكيف نشعر حيال ذلك.

ونرحب بالمدخلات والمساهمات في عمل المنظمة.  اتصل بنا مباشرة  أو إذا كنت عضوا في OSMF فانضم إلى اجتماع مجلس الإدارة الشهري.

أرنالي

كان الانتقال إلى هذا الدور الجديد عملية تعلم بطيئة بالنسبة لي. في الأشهر الثلاثة (3) الأولى، أخفقت في القيام بأي مهام لأنني ما زلت أتعلم (بالإضافة إلى بعض المشكلات الصحية). أنا حريص على المساعدة في تحسين عملية تأهيل أعضاء مجلس الإدارة الجدد، بالإضافة إلى مشاركة الأفكار نصف السنوية أو السنوية عبر يوميات OSM الخاصة بي. مع ذلك، لا تزال أولوياتي كما هي وآمل أن أدعم زملائي في مهامهم لتنمية مجتمعنا والحفاظ على مشروع OSM.

بناء المزيد من الفروع المحلية (أولوية الربع الثاني)

  • تمت صياغة اقتراح لتطبيق الفروع المحلية والعمليات ونأمل مشاركته مع المجتمع للحصول على تعليقات بحلول نهاية مايو / أوائل يونيو
  • أجريت بعض الدردشات مع الفصول المحلية المحتملة (إذا كنت تقرأ هذا وتهتم بمعرفة المزيد ،  تواصل معي!)
  • نأمل أيضا في تعزيز علاقتنا مع الفروع المحلية الحالية (سنجري أبحاثا ومشاورات مع LCCWG) وسنشارك التقارير السنوية المجمعة LCCWG
  • تنويع عضوية OSMF، بما في ذلك عضوية مجموعة عمل OSMF (أولوية الربع الثالث)
  • ضمان الاستدامة المالية وجمع الأموال بشكل فعال
    • في دور داعم، ولكن نأمل في المساعدة في تنويع أنشطة جمع التبرعات خاصة في منطقة آسيا

كريج
يبدأ العمل في مجلس الإدارة بمنحنى تعليمي حاد يلتقط جميع المهارات اللازمة لتكون فعالة. سنكسب الكثير من خلال ترقية عملية الإعداد قبل انتخابات مجلس الإدارة القادمة. ذلك على قائمتي!

كان تركيزي الرئيسي على العمل على الخطة الاستراتيجية لـOSMF. قام فريق صغير -ألان موستارد وسارة هوفمان وأنا- بمراجعة الخطة وإعادة هيكلتها اعتبارا من عام 2021 وترجمتها إلى 10 لغات، ونحن الآن نقوم بحملة اتصالات تدعو مستخدمي OSM على نطاق واسع إلى التعليق على جزء تنمية المجتمع من الخطة.

إنني أدرج OSM في سجل الأمم المتحدة للسلع العامة الرقمية ونحن الآن على وشك الانتهاء من عملية التسجيل البيروقراطية للغاية. أنا أدرس أيضا ما إذا كان ينبغي على OSMF تعيين مدير تنفيذي بدوام كامل. والعمل على إعداد ورقة مناقشة يتقدم ولكنه لم يصل بعد إلى مرحلة العرض.

لقد بذلت جهدا خاصا للتعرف على الجانب التقني المهم للغاية والمعقد من OSMF من العديد من المصادر، وحضرت اجتماعات العمليات لمعرفة ما يفعله الفريق الصغير، وكيف يفعلون ذلك وكيف يمكن دعمهم على أفضل وجه على مستوى مجلس الإدارة.

غويام

كان غويام مشغولا بشؤون الأسرة ويأسف بشدة لأنه لم يتمكن من حضور OpenStreetMap منذ ذلك الحين.

ماتيوسز

أنا أتعلم كيف يعمل مجلس OSMF، مع العديد من الأنشطة الثانوية مثل إعداد ردود البريد الإلكتروني/المشاركة في المناقشات والاجتماعات. آمل أن أحقق المزيد في الأشهر المقبلة، خاصة مع القضايا المتعلقة بخطط الاجتماعات الاستراتيجية وما وصفته خلال انتخابات OSMF. يسعدني بشكل خاص أن يتم حل مشكلات الترخيص لشهر أبريل مع البيانات التي نشرتها مؤسسة Overture / Linux Foundation.

ميكيل

لقد كانت مكثفة ومثمرة بشكل خاص. لقد أعطينا الأولوية لجمع التبرعات في OSMF، وجلبنا حملة لجمع التبرعات لمساعدتنا في هذا الجهد، و  صغنا مبادئ توجيهية لمواءمة جمع التبرعات مع مهمة وقيم OSMF. هناك الكثير في المستقبل في حملة جمع التبرعات. أيضا، لقد أمضيت الكثير من الوقت في التواصل مع مجلس الإدارة مع المجتمع ومع بعض علاقاتنا التنظيمية، وجعلت المجلس الاستشاري يعمل مرة أخرى. كان من المثير للاهتمام بشكل خاص معرفة تعقيدات أشياء مثل Overture وMap Builder. أعتقد أننا حققنا نمطا جيدا، و OSMF في وضع جيد. أخيرا أعتقد أن  Screen 2 screen (شاشة لشاشة)  كان جيدا جدا لتوجيهنا على جميع الأعمال التي أمامنا، واتخاذ ملكية واحدة مترابطة منه. إنه كثير، ولا يمكنني القول إنه لا يثيرني ويشعر بالرهبة، لكن لدينا الإعداد المناسب لرؤيته.

رولند

هناك قضية سائدة بشكل واضح في الوقت الحالي: جمع التبرعات. لقد نمى OSMF الآن إلى حجم تكون فيه نفقات الأجهزة والتشغيل كبيرة، وتوظيف الأشخاص هو التزام يأتي فوق ذلك. نحتاج الآن إلى ما يقرب من 700,000 جنيه إسترليني (أو يورو أو دولار أمريكي) سنويا لضمان ذلك، على الرغم من أنه كان لدينا في الماضي دخل يبلغ حوالي 200,000 جنيه إسترليني فقط (أو يورو أو دولار أمريكي) سنويا. لدينا احتياطيات، لذلك فهي ليست عاجلة، ولكنها مهمة حقا.

وبالتالي فإن بدء العمل مع حملة جمع التبرعات هو القرار الصحيح. هذا حاليا يتمحور حول الولايات المتحدة – وهذا ضمن التوقعات حيث أن معظم الدخل تاريخيا جاء من هناك، ولكنه يمثل أيضا تحديا لأننا نريد مساهمات كبيرة من خارج الولايات المتحدة من أجل المال والتنويع.

ساره

بعد بداية بطيئة، أصبح عمل مجلس الإدارة مكثفًا جدا في الشهرين الماضيين. كان ظهور مؤسسة Overture حدثا غير مخطط له والذي أثر بلا شك على أولويات مجلس الإدارة. إن تعزيز الوضع المالي لـOSMF على قدم وساق. لقد أجرينا مناقشات مثمرة حول الميزانيات ووسائل التمويل وجمع الأموال. ما ظهر مرارا وتكرارًا في المناقشات هو انتقالنا المعلق إلى الاتحاد الأوروبي، والذي من شأنه أن يفتح المزيد من مجالات التعاون لـOSMF. ستكون هذه أولوية لي في الربع المقبل. العمل على  تحديثات الخطة الاستراتيجية  أعطاني الفرصة للتحدث إلى بعض أعضاء المجتمع حول مستقبل OSM وأود بشدة سماع المزيد. بعد ذلك سأنظم جلسة نقاش في حالة خريطة فرنسا في مرسيليا.

المبادئ التوجيهية الأخلاقية لجمع التبرعات في مؤسسة خريطة الشارع المفتوح

تستعد OpenStreetMap لحملة في عام 2023 لتمويل صيانة ونمو الخدمات الأساسية التي تمكن مجتمع الخرائط المذهل. هذا مهم للغاية لدرجة أن مجلس OSMF استشار وقرر الاستعانة بمساعدة مدفوعة الأجر في تنظيم حملة جمع التبرعات. مع هذه الخطوة الكبيرة، من الضروري أن يسترشد هذا الجهد بالمعايير الأخلاقية العالية المتوافقة مع مهمة وقيم OSMF.

قام مجلس الإدارة بكتابة مسودة إرشادات جمع التبرعات  ويريد أن يسمع من المجتمع عنهم. على مستوى عال، يسترشد جمع التبرعات بهذه النقاط الرئيسية.

  • يتم جمع الأموال لدعم مهمة OSMF.
  • نحن نوازن بين احترام رغبات المانحين وتفضيلاتهم مع الحفاظ على قيم المجتمعات.
  • ستلتزم اتصالاتنا بمعايير عالية من النزاهة والشفافية.
  • يعد تعاون وشمولية مجتمع OSM المتنوع في جهود جمع التبرعات أمرا بالغ الأهمية.
  • سيتم تنفيذ جمع الأموال وإدارته بفعالية.
  • ترتكز إرشاداتنا على سياسات واضحة.

يرجى إلقاء نظرة فاحصة وتقديم أي ملاحظات في المنتدى أو في التعليقات أو مباشرة إلى مجلس الإدارة.