Category Archives: osm.org

Ενημέρωση για την πρόοδο των διανυσματικών πλακιδίων από την Ομάδα Εργασίας Μηχανικών

Η Ομάδα Εργασίας Μηχανικών του Ιδρύματος OpenStreetMap έχει μια ενημέρωση σχετικά με την προσπάθεια δημιουργίας διανυσματικών πλακιδίων για το openstreetmap.org. Διαβάστε παρακάτω για τη σημασία αυτού του έργου, τι έχει γίνει μέχρι στιγμής και πώς ενσωματώνουν τα σχόλια της κοινότητας, καθώς και τις τεχνικές λεπτομέρειες για όσους θέλουν να μάθουν περισσότερα.

Το ιστορικό

Επί του παρόντος, η ιστοσελίδα openstreetmap.org εξυπηρετεί πλακίδια ράστερ, τα οποία είναι πλακίδια εικόνας που αποτελούνται από pixels – σκεφτείτε μια κατεβασμένη εικόνα μέρους ενός χάρτη. Όμως έχει ξεκινήσει η προσπάθεια για τη δημιουργία διανυσματικών πλακιδίων για την ιστοσελίδα, τα οποία θα βοηθήσουν στη βελτίωση της εμφάνισης και της λειτουργίας του χάρτη. Μπορείτε να διαβάσετε περισσότερα για το ιστορικό του έργου εδώ.

Τα διανυσματικά πλακίδια δημιουργούν χάρτες ως διανύσματα: σημεία, γραμμές και πολύγωνα. Αποθηκεύουν γεωγραφικά δεδομένα (όπως αυτά που αποτελούν το OpenStreetMap) σε μορφή που επιτρέπει τη δυναμική διαμόρφωση και διαδραστικότητα. Για τους χρήστες, τα διανυσματικά πλακίδια θα αποτελέσουν ένα νέο, μοντέρνο στυλ χάρτη με απρόσκοπτο ζουμ στο openstreetmap.org, ο χάρτης θα μπορεί να ενημερώνεται πιο γρήγορα όταν αλλάζουν τα δεδομένα και λογικά θα οδηγήσει σε καλύτερες επιδόσεις για τους χρήστες.

Μελλοντικά, το πιο συναρπαστικό κομμάτι είναι οι ευκολίες που το έργο διανυσματικών πλακιδίων θα φέρει για τους εθελοντές και τους χρήστες πλακιδίων: Τρισδιάστατους χάρτες, πιο αποτελεσματική ανάμειξη και αντιστοίχιση δεδομένων και ενσωμάτωση άλλων συνόλων δεδομένων, θεματικά στυλ, πολύγλωσσους χάρτες, διαφορετικές προβολές για διοικητικά όρια, διαδραστικά σημεία ενδιαφέροντος, πιο προσβάσιμους χάρτες για χρήστες με προβλήματα όρασης και σίγουρα πολλές άλλες ιδέες που κανείς δεν έχει σκεφτεί ακόμα. Ίσως θυμάστε ότι πολλά από αυτά αποτελούν μακροχρόνια ενδιαφέροντα για άτομα στη κοινότητα του OSM.

Το σχέδιο

Ο στόχος του έργου διανυσματικών πλακιδίων είναι να παρέχει μια εγκατάσταση διανυσματικών πλακιδίων που να μπορεί να λειτουργήσει για το openstreetmap.org – δηλαδή για έναν παγκόσμιο, σύνθετο ιστότοπο βασικών χαρτών με μεγάλη ζήτηση από χρήστες και υπηρεσίες σε όλο τον κόσμο, όπου τα δεδομένα που διέπουν τον χάρτη αλλάζουν συνεχώς.

Ή για να το θέσουμε τεχνικά, να δημιουργηθεί μια εγκατάσταση για έναν παγκόσμιο σύνθετο χάρτη βάσης υπό υψηλό φορτίο που απαιτεί ενημερώσεις λεπτό προς λεπτό.

Ο Πολ Νόρμαν ηγείται του έργου των διανυσματικών πλακιδίων.

Εργάζεται κάνοντας προσθήκες στο στο έργο του που ονομάζεται Tilekiln το οποίο παράγει διανυσματικά πλακίδια από μια βάση δεδομένων PostgreSQL (όπως αυτή του OpenStreetMap), κάνοντας χρήση του σχήματος Shortbread, το οποίο είναι μια μορφή δεδομένων για το πώς να ονομάζονται τα επίπεδα και οι ιδιότητες μέσα σε ένα διανυσματικό πλακίδιο, και βελτιώνοντας το Themepark, το οποίο επιτρέπει τις προσθήκες δεδομένων του OSM σε βάση δεδομένων Postgres.

Το έργο χωρίζεται σε τρία στάδια: 

1. Πρώτος γύρος βελτιώσεων στο Tilekiln και στο Shortbread Themepark

2. Βελτιώσεις παραλληλισμού

3. Το Shortbread ανοιχτά διαθέσιμο σε παραγωγή

Τα δύο πρώτα βήματα έχουν σχεδόν ολοκληρωθεί. Το Tilekiln παράγει τώρα πλακίδια παράλληλα, καθιστώντας πρακτικά δυνατή τη δημιουργία πλακιδίων για ολόκληρο τον κόσμο. Το επόμενο βήμα είναι να ξεκινήσει η εγκατάσταση σε εξοπλισμό του OSMF για την προετοιμασία της παραγωγής. 

Τεχνικές λεπτομέρειες για το βήμα 1

Για όσους ενδιαφέρονται για τις τεχνικές λεπτομέρειες σε αυτά που γίνονται εργασίες, υπάρχουν πέντε κύρια στοιχεία του πρώτου βήματος που προαναφέρθηκε.

        1.        Αυτοματοποιημένη συσκευασία του Tilekiln

        2.        Δημοσίευση των μετρήσεων του Tilekiln με εξαγωγέα Prometheus

        3.        Επισκόπηση του Themepark Shortbread

        4.        Ένας δοκιμαστικός διακομιστής που τρέχει με λεπτό προς λεπτό ενημερώσεις των πλακιδίων Shortbread, εμφανίζοντας πλακίδια κατά παραγγελία

        5.        Παρουσίαση της δοκιμής στην κοινότητα

Τα σημεία 1 και 2 έχουν ολοκληρωθεί χωρίς να χρειάζεται περαιτέρω συζήτηση. Για το σημείο 3, ο Πολ διαπίστωσε ότι η εφαρμογή osm2pgsql Themepark Shortbread χρειαζόταν περισσότερη δουλειά από το αναμενόμενο, καθώς της έλειπε ένα επίπεδο και παρουσίασε ορισμένα προβλήματα. 

Τα σημεία 4 και 5 έχουν ολοκληρωθεί. Ο δοκιμαστικός διακομιστής του Πολ λειτουργεί με ενημερώσεις λεπτό προς λεπτό και οι απαιτήσεις σε εξοπλισμό είναι πιο περιορισμένες από ό,τι αναμενόταν. 

Η κοινότητα έχει επίσης προσφέρει χρήσιμα σχόλια, όπως στην ανάρτηση του Πολ στο Φόρουμ Κοινότητας OSM.

Η κοινότητα προσέφερε πολλές προτάσεις, ορισμένες από τις οποίες έχουν ήδη ενσωματωθεί. Οι υπόλοιπες, εντός του πεδίου εφαρμογής, παρατηρήσεις της κοινότητας είναι οι εξής: Οι καμπύλες γραμμές που εμφανίζονται ως ακανόνιστες και τα διανυσματικά πλακίδια που είναι πολύ μεγάλα.

Το πρόβλημα των ακανόνιστων γραμμών οφείλεται στον τρόπο με τον οποίο οι ομαλές καμπύλες αναπαρίστανται στα διανυσματικά πλακίδια. Έχει αντιμετωπιστεί ως επί το πλείστον, αλλά παρόμοια ζητήματα αναμένεται να εμφανιστούν στο μέλλον. Έχει οριστεί μια κλίμακα-στόχος ισοδύναμη με την ελάχιστη κλίμακα του κανονικού επιπέδου πλακιδίων. Η μεγέθυνση σε ακόμη μικρότερη κλίμακα είναι δυνατή, αλλά ενδέχεται να αρχίσουν να εμφανίζονται σφάλματα.

Το μέγεθος των διανυσματικών πλακιδίων θα συνεχίσει να είναι ένα ζήτημα που χρειάζεται συνεχή εργασία, αλλά τα τρέχοντα πλακίδια είναι ιδιαίτερα μεγάλα. Μετά από αυτό το κομμάτω των δοκιμών έχουν γίνει κάποιες αλλαγές που μειώνουν το μέγεθος στο μισό. Η βελτιστοποίηση του μεγέθους των πλακιδίων θα είναι ένα ζήτημα που χρειάζεται συνεχή εργασία, καθώς το μέγεθος των πλακιδίων είναι ο μεγαλύτερος παράγοντας για την εμπειρία του χρήστη.

Τα πλακίδια που παράγονται είναι αξιοποιήσιμα, αλλά υπάρχει ακόμα πολλή δουλειά να γίνει. Τώρα που οι εργασίες παραλληλισμού έχουν ολοκληρωθεί, είναι δυνατή η παραγωγή μεγάλων συνόλων πλακιδίων προκειμένου να δοκιμαστούν, οπότε ο Πολ θα αρχίσει να δουλεύει πάλι τους ορισμούς πλακιδίων για να βελτιώσει το μέγεθος τους και να διορθώσει κάποια εναπομείναντα προβλήματα, αλλά τα τρέχοντα   πλακίδια είναι αξιοποιήσιμα.

Στοιχεία για τα εργαλεία που χρησιμοποιούνται

Ακολουθούν ορισμένες πληροφορίες σχετικά με τα διάφορα εργαλεία που χρησιμοποιούνται για το εγχείρημα αυτό.

Το Tilekiln  είναι ένα λογισμικό γραμμένο από τον Πολ Νόρμαν για τη δημιουργία διανυσματικών πλακιδίων από βάση δεδομένων PostgreSQL. Εναλλακτικές λύσεις είναι το martin (ή ίσως το t_rex). Το Tilekiln είναι υπό ανάπτυξη, αν και χρησιμοποιεί πολλά από τα τυπικά χαρακτηριστικά της PostgreSQL για τη δημιουργία των δεδομένων των διανυσματικών πλακιδίων. Οι περισσότεροι χάρτες που βασίζονται στο OSM (συμπεριλαμβανομένου του osm-carto στο osm.org) παράγονται από ερώτηματα SQL από μια βάση δεδομένων PostgreSQL. Το Tilekiln παράγει διανυσματικά πλακίδια από παρόμοια ερωτήματα. Το Tilekiln είναι νέο.

Το Themepark είναι μέρος της σουίτας εργαλείων osm2pgsql, που επιτρέπει την προσθήκη δεδομένων OSM στο postgres και την κοινή χρήση αυτών των βημάτων επεξεργασίας μεταξύ άλλων έργων. Πολλές μορφές χαρτών OSM που βασίζονται στην PostgreSQL (όπως η osm-carto) χρησιμοποιούν την osm2pgsql. 

Η osm2pgsql υπάρχει εδώ και 15+ χρόνια στο OSM, και χρησιμοποιείται σε πολλά πολλά μέρη. Αν και ο Πολ έχει συνεισφέρει κώδικα σε αυτό, δεν είναι ο κύριος προγραμματιστής. Η osm2pgsql έχει γίνει πιο προηγμένη, και καλύτερη, τα τελευταία χρόνια. Μέρος της δύναμής της είναι η προεπεξεργασία των δεδομένων, και το Themepark είναι μια προσπάθεια να γίνουν αυτά τα βήματα προεπεξεργασίας ευκολότερα.

Το Shortbread είναι ένα «σχήμα διανυσματικών πλακιδίων» που δημιουργήθηκε από την Geofabrik. Είναι μια μορφή δεδομένων για το πώς να ονομάζονται τα επίπεδα και οι ιδιότητες εντός ενός διανυσματικού πλακιδίου.

Αυτή η δημοσίευση ιστολογίου περιέχει συνεισφορές από τους Άνταμ Χόιλ, Μικέλ Μάρον, Αμάντα Μακάν, Πολ Νόρμαν και Άντριου Γουάιζμαν.

To Ίδρυμα OpenStreetMap έιναι μια μη κερδοσκοπική οργάνωση, που δημιουργήθηκε για να στηρίξει το εγχείρημα του OpenStreetMap. Είναι αφιερωμένο στην ανάπτυξη, εξέλιξη, και διανομή δωρεάν και ελεύθερων γεωχωρικών δεδομένων που μπορεί να χρησιμοποιήσει και να μοιραστεί ο οποιοσδήποτε. Το Ίδρυμα OpenStreetMap είναι ο ιδιοκτήτης και συντηρητής της υποδομής του εγχειρήματος OpenStreetMap, στηρίζεται οικονομικά σε συνδρομές μελών και δωρεές, και διοργανώνει το ετήσιο, διεθνές συνέδριο State of the Map. Οι εθελοντικές Ομάδες Εργασίας μας και ένα ολιγομελές βασικό προσωπικό δουλεύουν για να στηρίξουν το εγχείρημα OpenStreetMap. Εγγραφείτε στο Ίδρυμα OpenStreetMap για μόνο 15£ το χρόνο ή δωρεάν αν συμμετέχετε ενεργά στο OpenStreetMap.

Απενεργοποίηση OAuth 1.0a και HTTP Basic Auth στο OpenStreetMap.org

Εντός του 2024 η Ομάδα Εργασίας Λειτουργιών (OWG) του OSM θα αποσύρει το OAuth 1.0a και το HTTP Basic Auth στο OpenStreetMap.org. Αυτά είναι τεχνικοί τρόποι για τις εφαρμογές να ελέγξουν την γνησιότητα χρηστών με την ιστοσελίδα ή το API του OSM. Το OAuth 1.0a και το HTTP Basic Auth έχουν αποσυρθεί από το 2023, καθώς το OAuth 2.0 είναι πλέον η καθιερωμένη μορφή εξουσιοδότησης για τα περισσότερα συστήματα.

Υπάρχουν τρεις σημαντικές ημερομηνίες στη διαδικασία μέταβασης:

  • 1η Μαρτίου, 2024: Οι νέες εγγραφές για εφαρμογές OAuth 1.0a απενεργοποιήθηκαν. Οι υφιστάμενες εφαρμογές δεν επηρεάστηκαν. Το HTTP Basic Auth δεν επηρεάστηκε.
  • 1η Μαΐου, 2024: Οι διαχειριστές συστήματος θα ξεκινήσουν περιστασιακές διακοπές για να εντοπίσουν εφαρμογές που εξακολουθούν να χρησιμοποιούν OAuth 1.0a ή HTTP Basic Auth.
  • 1η Ιουνίου, 2024: Το OAuth 1.0a και HTTP Basic Auth θα απενεργοποιηθούν.

Η απόσυρση αυτών των μεθόδων επαλήθευσης είναι απαραίτητη για λόγους ασφαλείας, καθώς και λόγω της πολυπλοκότητας της συντήρησης τόσων πολλών εφαρμογών εξουσιοδότησης, συμπεριλαμβανομένων ορισμένων που βασίζονται σε στοιχεία που δεν συντηρούνται.

Πώς με επηρεάζει αυτό ως προγραμματιστή;

Εάν είστε προγραμματιστής κάποιας εφαρμογής που χρησιμοποιεί το OAuth 1.0a ή το HTTP Basic Auth για τη σύνδεση στην ιστοσελίδα OpenStreetMap.org, ίσως χρειαστεί να κάνετε ορισμένες τροποποιήσεις για να περάσετε στο OAuth 2.0. Ευτυχώς, είναι ένα ευρεία υποστηριζόμενο πρότυπο του κλάδου.

Αν η εφαρμογή σας κάνει μόνο κλήσεις ανάγνωσεις προς το APΙ, η εξουσιοδότηση είναι προαιρετική. Για σκοπούς περιορισμού ρυθμού, εξακολουθεί να είναι καλή ιδέα να προσθέσετε εξουσιοδότηση στα αιτήματά σας, αλλά δεν είναι υποχρεωτική. Αν η εφαρμογή σας είναι ιστοσελίδα που χρησιμοποιεί το OSM για σύνδεση, η χρήση του OAuth 2.0 είναι πολύ πιο εύκολη καθώς είναι πολύ πιο ευρεία η υποστήριξή του καθώς χρησιμοποιείται σε πολλούς άλλους ιστότοπους. Αποφεύγονται επίσης προβλήματα όπως χρήστες που καταλήγουν με πολλαπλά token στη λίστα τους στην ιστοσελίδα.

Αν αναπτύσσετε λογισμικό το οποίο κάνει αλλαγές με χρήση του API και τρέχει τοπικά, ενδεχομένως πρέπει να κάνετε αλλαγές στον κώδικα. Όλες οι κοινές γλώσσες έχουν libraries που χειρίζονται το OAuth 2, και τα libraries είναι η προτιμώμενη επιλογή για οποιαδήποτε εξουσιοδότηση. Μπορείτε επίσης να χρησιμοποιήσετε το library για εργαλεία γραμμής εντολών, του Zverik, ή να γράψετε το δικό σας shell script μιας δεκάδας γραμμών περίπου.

Μάλλον θα μπορέσετε να βρείτε πολλά παραδείγματα εφαρμογών client OAuth 2 στη γλώσσα σας στο διαδίκτυο. Αν θέλετε να λάβετε πιο λεπτομερείς πληροφορίες ή να υποβάλλετε ερωτήματα τεχνικής φύσεως, παρακαλώ χρησιμοποιήσετε μια καρτέλα GitHub. Εδώ, η OWG παρακολουθεί τις εφαρμογές που απαιτούν αλλαγές για να χρησιμοποιήσουν OAuth 2.0.

Πώς με επηρεάζει αυτό ώς χαρτογράφο;

Οι περισσότεροι χαρτογράφοι δεν θα παρατηρήσουν οποιαδήποτε αλλαγή. Η μετάβαση δεν θα επηρεάσει τον τρόπο που συνδέεστε στον λογαριασμό OSM σας ή πώς χρησιμοποιείτε την ιστοσελίδα. Το iD και το JOSM υποστηρίζουν το OAuth 2.0 ως την προεπιλεγμένη μέθοδο επαλήθευσης αρκετό καιρό τώρα. Αν χρησιμοποιείτε τον λογαριασμό OSM σας για να συνδεθείτε σε ιστοσελίδες τρίτων όπως τα HOT Tasking Manager, MapRoulette, ή HDYC, δεν θα επηρεαστείτε καθώς έχουν ήδη αλλάξει στο OAuth 2.0. Η πρόσβαση μόνο για ανάγνωση στο API δεν απαιτεί καμμία εξουσιοδότηση.


To Ίδρυμα OpenStreetMap έιναι μια μη κερδοσκοπική οργάνωση, που δημιουργήθηκε για να στηρίξει το εγχείρημα του OpenStreetMap. Είναι αφιερωμένο στην ανάπτυξη, εξέλιξη, και διανομή δωρεάν και ελεύθερων γεωχωρικών δεδομένων που μπορεί να χρησιμοποιήσει και να μοιραστεί ο οποιοσδήποτε. Το Ίδρυμα OpenStreetMap είναι ο ιδιοκτήτης και συντηρητής της υποδομής του εγχειρήματος OpenStreetMap, στηρίζεται οικονομικά σε συνδρομές μελών και δωρεές, και διοργανώνει το ετήσιο, διεθνές συνέδριο State of the Map. Οι εθελοντικές Ομάδες Εργασιών μας και ένα ολιγομελές βασικό προσωπικό δουλεύουν για να στηρίξουν το εγχείρημα OpenStreetMap. Εγγραφείτε στο Ίδρυμα OpenStreetMap για μόνο 15£ το χρόνο ή δωρεάν αν συμμετέχετε ενεργά στο OpenStreetMap.

Γνωρίστε τον Γκραντ Σλέιτερ, τον νέο Senior Site Reliability Engineer του Ιδρύματος OpenStreetMap

Χάρη στην στήριξη των εταιρικών δωρητών, το Ίδρυμα OpenStreetMap έιχε την δυνατότητα να προσλάβει τον πρώτο του υπάλληλο, ο οποίος θα ξεκινήσει την εργασία του την 1η Μαΐου 2022. Ο Γκραντ Σλέιτερ και ο Γκιγιόμ Ρισάρντ, ο πρόεδρος του Ιδρύματος, έκατσαν για μια ψηφιακή συζήτηση.

Γειά! Πες μας για σένα;

Γειά! Είμαι ο Γκραντ Σλέιτερ, και είμαι ο νέος Senior  Site Reliability Engineer (SRE), εργαζόμενος στο Ίδρυμα OpenStreetMap. Κατάγομαι από την Νότιο Αφρική, και τώρα ζω στο Λονδίνο (ΗΒ) με την γυναίκα μου την Ινγκρίντα και τον γιο μας τον Ρίτσαρντ.

Τι κάνεις στο OSM; Πού σου αρέσει να χαρτογραφείς;

Έχω ξεκινήσει την χαρτογράφηση  από το 2006, κυρίως στη Νότιο Αφρική και το Ηνωμένο Βασίλειο. Έχω έντονο ενδιαφέρον για την χαρτογράφηση του  σιδηροδρομικού δικτύου  της Νοτίου Αφρικής· οι διακοπές «πίσω στην πατρίδα» συχνά συμπεριελάμβαναν σιδηροδρομικά ταξίδια που διέσχιζαν την χώρα, με ένα GPS ανά χείρας.

Το τελευταίο μου παιχνίδι είναι ένας σταθμός βάσης RTK GPS  και ρόβερ. Σύντομα θα χαρτογραφώ την γειτονιά μου με ακρίβεια εκατοστού.

Για τα τελευταία  15 χρόνια, είμαι μέλος της εθελοντικής Ομάδας Λειτουργιών OpenStreetMap που εγκαθιστούν και συντηρούν τους διακομιστές και την υποδομή που τρέχει την ιστοσελίδα  OpenStreetMap.org  και πολλές άλλες σχετικές υπηρεσίες.

Ποιά είναι τα σχέδια σου για την νέα εργασία σου ως SRE;

Ο βασικός μου στόχος θα είναι να βοηθήσω στην βελτίωση της αξιοπιστίας και της ασφάλειας του εγχειρήματος, όσον αφορά την τεχνολογία και την υποδομή του.

Ένας από τους επιμέρους στόχους μου θα είναι η βελτίωση της μακροπρόθεσμης βιωσιμότητας του εγχειρήματος, όσο μεγαλώνουμε. Η OWG (Ομάδα Εργασίας Λειτουργιών) δεν μπορεί να δουλέψει χωρίς εθελοντές, και θα δουλέψω για να βελτιώσω το  «συντελεστή λεωφορείο» (bus factor)  της Ομάδας Εργασίας, και στην βελτιώση των διαδικασιών μας, της τεκμηρίωσης μας, και ανοίγοντας τον δρόμο για την ένταξη νέων μελών στην ομάδα.

Θα συμβάλλω στην προώθηση του εκσυγχρονισμού της υποδομής του έγχειρήματος με τη μείωση της πολυπλοκότητας, την αποπληρωμή  του τεχνικού χρέους, και την μείωση των αναγκών συντήρησης  αδιαφοροποίητου βάρους, χρησιμοποιώντας με τακτική υπηρεσίες νέφους (cloud) και SaaS, όπου ενδείκνυται.

Υπάρχει κάτι άλλο που θα ήθελες να πεις;

Με τον καιρό, θα ήθελα να δω το OpenStreetMap να εισάγει νέα εργαλεία και υπηρεσίες για την βελτιώση της πρόσβασης των χαρτογράφων μας σε παθητικά συλλεγόμενα δεδομένα για την βελτιώση της ικανότητας των χαρτογράφων να ανιχνεύουν αλλαγές και να χαρτογραφούν.

Παιχνιδοποίηση (gamification)! Το OpenStreetMap θα πρέπει πάντα να παραμένει μια διασκεδαστική και ικανοποιητική εμπειρία για όλους. Χτίζουμε μια ανεκτίμητη και μοναδική βάση δεδομένων με ευρείες συνέπειες για την οποία πρέπει να είμαστε υπερβολικά υπερήφανοι. Χαρούμενη Χαρτογράφηση!

Θα ήθελα να ακούσω τα σχόλια και τις προτάσεις σας, παρακαλώ στείλτε μου μήνυμα στο osmfuture@firefishy.com

Ο Γκραντ έδωσι μια ομιλία στο State of the Map ΗΠΑ (2013) – OSM Core Architecture and DevOps και ελπίζει να δώσει μια ενημερωμένη ομιλία στο State of the Map 2022  στη Φλωρεντία της Ιταλίας, 19–21 Αυγούστου 2022.

https://www.openstreetmap.org/user/Firefishyhttps://twitter.com/firefishy1https://github.com/firefishy