Author Archives: Eugene

Работа бота закончена

За последние недели бот смены лицензии делал правки по всему миру. Обработка планеты была закончена вчера. Эта работа потребовала заметных усилий для разработки и запуска программ для внесения этих изменений, а также имела очень неопределенный срок окончания, поэтому окончание работ – важный шаг для нас.  Поздравляем и благодарим всех, кто принимал в ней участие, особенно Мэтта Амоса, Энди Аллана, пользователя Gnonthgol и Мальте Куна, которые выполнили большую часть задач по программированию

Сейчас данные в “живой” базе OpenStreetMap в подавляющем большинстве в состоянии, когда она может быть объявлена лицензированной под ODbL, однако лицензия еще не сменилась. Мы дополнительно объявим об этом моменте.

В базе осталось более 99% данных, и в большинстве мест разница с нередактированными данными мало заметна. Однако существуют места, где было удалено большое количество данных, особенно в Польше и Австралии. Хотя разумеется, мы предпочли бы оставить эти данные, мы уважаем решение их авторов и благодарим их за их вклад в проект.

К счастью, реакция сообществ в этих местах была очень мощной, и мы уверены, что скоро будем иметь там такие же высококачественные данные, как и раньше. Вы можете помочь этому, используя спутниковые снимки и другие источники, или, что гораздо лучше, свои знания местности. Сейчас у нас появилось несколько новых “белых пятен” на карте и мы можем поступить с ними так, как всегда поступали: используйте свои любимые техники рисования, выезжайте на места и заполняйте пустые места. (Пожалуйста, при этом обратите внимание на то, что вы не должны копировать данные, доступные под CC-BY-SA или предыдущие версии данных – относитесь к ним как к другим несовместимым данным, закрытым копирайтом.) Мы уже можем заниматься этим, пока проводятся последние приготовления к смене лицензии.

Работа бота идет хорошо

За прошедшую неделю правящий бот хорошо продвинулся по планете. После первоначального теста на Ирландии он обработал Соединенное Королевство и сейчас заканчивает Западную Европу. Испания и Италия обработаны полностью, Франция почти закончена, и прямо сейчас бот обрабатывает хорошо прорисованные области Германии и Голландии. За прогрессом можно наблюдать на карте прогресса

Как вы можете заметить, иногда случаются ошибки, из-за которых регион (квадрат со сторонами в 1 градус) бывает не обработан. Разработчики бота смогли отследить причины некоторых ошибок в самом боте, но некоторые – это следствие сбоев в работе API нашего проекта. Из-за этого некоторые области приходится обрабатывать по несколько раз.

Вы также можете заметить много “желтых” областей. Это регионы, которые обрабатываются в данное время параллельно запущенными копиями бота. Хотя мы никуда не торопимся, все-таки у нас стоит задача обработать огромную базу данных, и параллельный запуск ускоряет ее выполнение.

У вас еще есть время на перерисовывание до того, как бот дойдет до вашей части мира, хотя стоит воздержаться от работ в регионе, который уже обрабатывается. Если ваша область уже “зеленая”, теперь у вас другая задача – исправить удаленные ботом данные.

Помните, что переход на новую лицензию еще не произошел. Даже в полностью обработанных регионах лицензия остается прежней до официального объявления.

Обсуждение процесса по-прежнему происходит в списке рассылки rebuild.

Начинается правка данных под старой лицензией

Всем привет!

Я рад сообщить, что бот для смены лицензии готов к запуску.

Начиная с этой недели, мы будем в “живой” базе данных редактировать данные (менее 1% от всех), которые не совместимы с новыми Условиями участия и Open Database Licence (ODbL) – другими словами, эти данные больше не будут доступны. Мы собираемся начать в среду 11 июля, если к тому времени будут закончены пара мелочей в настройке.

Бот будет работать по странам в следующем порядке:

  1. Ирландия
  2. Соединенное Королевство
  3. Западная Европа
  4. Северная Америка
  5. Австралия
  6. остальной мир

Когда процесс будет завершен, мы будем готовы распространять наши данные под ODbL и сообщим об этом отдельно. Последний набор данных до правки, доступный под CC-BY-SA, находится по адресу http://planet.openstreetmap.org/planet-120704.osm.bz2 . Когда данные будут отредактированы, в ответ на любую попытку получить к ним доступ через API или раздел “Просмотр” сайта будет показана информация о невозможности выполнить это действие.

Пробные запуски бота показали, что он работает так, как мы этого хотели, но мы все равно будем наблюдать за процессом. Сейчас мы ожидаем, что в целом процесс займет около месяца, и с учетом большого количества непрогнозируемых факторов, боюсь, мы не можем определить дату более точно. В любом случае мы будем держать вас в курсе с помощью листов рассылки announce@ и talk@.

Во время работы бота API не будет отключаться. Однако, когда очередь дойдет до вашей области, сохраняйте свои правки более часто, чтобы уменьшить вероятность конфликтов.

Как вы знаете, мы собирались начать процесс сразу после 1-ого апреля, но сложность задачи привела к такой задержке. Большое спасибо вам всем за ваше терпение в это время! Отдельное спасибо всем тем, кто участвовал в разработке бота – присылал патчи, предложения или просто поддерживал нас.

Опубликовано Ричардом от имени Совета OSMF в листе рассылки.

Фонд памяти и Премия имени Ульфа Мёллера

В январе 2012 неожиданно умер Ульф Мёллер. Ульфа знали и любили за его улыбку  и готовность помочь. Он был членом Совета Фонда OpenStreetMap в 2009 году и участвовал в работе Рабочей группы по лицензированию. Друзья Ульфа в сообществе OpenStreetMap с тех пор мучались вопросом: как увековечить вклад Ульфа в проект и сообщество? И как нам дальше жить с этим чувством потери?

Семья Ульфа, потерявшая одновременно и сына, и брата, и племянника, смогла дать нам утешение и совет. 3-его мая, в день, когда Ульфу исполнилось бы 40 лет, мы объявляем о создании:

Фонда памяти Ульфа Мёллера

Семья Мёллеров попросила нас принимать пожертвования в Фонд OpenStreetMap на имя Ульфа, чтобы его участие в проекте продолжалось. Фонд памяти Ульфа Мёллера будет служить целям продвижения OpenStreetMap так же, как делал сам Ульф. Вы можете почтить его память, сделав пожертвование на его имя.

Пожертвования в Фонд памяти могут быть сделаны с помощью кредитной карты, paypal или банковского перевода.

Мы также объявляем о учреждении:

Премии имени Ульфа Мёллера

Премией имени Ульфа Мёллера будет ежегодно награждаться человек, который внес ценный вклад в OpenStreetMap: качественно рисовавший, приносивший пользу сообществу и помогавший проекту другими способами.

Вы можете внести кандидатуру человека, который сделал для проекта многое, написав письмо на специальный email. Включите в свое письмо имя номинированного и описание его вклада. Вручение первой Премии состоится в мае 2013 года.

Так мы сможем чтить память нашего друга и продолжающуюся работу участников проекта каждый год в мае.

Ульф Мёллер, 1972 - 2012

Фотография публикуется с разрешения семьи Мёллеров.

Процесс смены лицензии все еще продолжается

2 недели назад мы писали, что мы все еще улучшаем “правящего бота” (программу, которая проходит по базе данных и удаляет/прячет данные, несовместимые с новой лицензией). К нашему большому сожалению, процесс отладки бота занял больше времени, чем предполагалось. Поэтому у нас есть две новости: хорошая заключается в том, что бот успешно проходит больше тестов, чем раньше, а плохая – то, что так заканчиваются все равно не все тесты. Сейчас уже несколько человек работают над тем, чтобы он работал без ошибок.

Как только бот сможет пройти все тесты, начнутся тесты на копии “живых” данных на отдельном сервере, который уже собран и настроен. Если и они будут успешными, будет проведен еще один тест уже на небольшом кусочке настоящей базы данных (скорее всего, это будет Ирландия). Если все закончится хорошо, будут обработаны и остальные данные.

Есть и хорошие новости: за прошедшие недели мы смогли достичь соглашения насчет нескольких больших массивов данных, так что они теперь останутся в базе. Большое спасибо всем, кто участвовал в этом процессе!

На следующей неделе мы тоже расскажем, как идут дела.

Большое всем спасибо за терпение!

Процесс изменения лицензии: что сейчас происходит

Сейчас, когда новый сервер был успешно установлен на свое место нашей командой сисадминов, мы переходим к второй части процесса – необходимому для перехода на Open Database License редактированию данных. Мы обещали опубликовать новости процесса только на следующей неделе, но слишком много людей спрашивают об этом, так что мы публикуем их на 4 дня раньше.

Изменения в коде OpenStreetMap API закончены и успешно проверены, следовательно, openstreetmap.org готов к распространению новых данных. Спасибо Мэтту Амосу (Matt Amos) за написание кода и Тому Хьюзу (Tom Hughes) за его проверку.

Следующая часть – “правящий бот”. Это специальный скрипт, который работает в определенной области данных OpenStreetMap и удаляет/прячет данные, которые несовместимы с новой лицензией. Это самая важная часть работы: мы собираемся не оставлять данных, создатели которых не дали разрешение на их распространение под Open Database License, и при этом не удалить ничего лишнего.

Со среды (4 апреля) мы запускаем тесты на реальных данных из базы данных (спасибо Фредерику Рамму (Frederik Ramm) за помощь в этом). Сейчас мы не на 100% удовлетворены результатами, поэтому мы продолжаем работать над кодом бота. Вы можете быть уверены, что мы не запустим бота до тех пор, пока не сможем полностью гарантировать точность его работы. Из-за 4-дневных Пасхальных каникул мы ожидаем, что это произойдет только на этой неделе. Из-за этого мы на несколько дней будем отставать от нашего расписания, но мы должны сделать все правильно.

Если вы разработчик, вы можете помочь нам с неработающими тестами: посмотрите на код https://github.com/zerebubuth/openstreetmap-license-change. Если вы картограф, у вас есть еще пара лишних дней на рисование. А если вы потребитель данных, то вы, разумеется, можете использовать данные под старой лицензией – CC-BY-SA 2.0.

На этой неделе мы сделаем еще один выпуск новостей, и в любом случае, будет еще один перед запуском бота.

Расписание работ в марте – апреле 2012 года

Долгожданный процесс смены лицензии наконец близится к завершению. Пожалуйста, прочтите расписание связанных с этим работ и обратите внимание на указанные в конце даты.

Картографы

Ожидается несколько дней, в течение которых API будет доступно не полностью. Доступ только на чтение будет работать в процессе переноса базы на новый сервер, ramoth. Средства на этот сервер были собраны благодаря вашим пожертвованиям во время кампании по сбору средств в декабре 2011 года. Редактирование карты в этот период будет невозможно.

В течение остального процесса смены лицензии API должно функционировать как обычно. Пожалуйста, если это возможно, отложите массовые правки до окончания процесса.

Потребители данных

Окончательный файл планеты под старой лицензией будет создан на основании данных за 31 марта 2012 года. Он будет опубликован сразу после окончания процесса его создания.

Сервис репликации diff-файлов будет остановлен. Новый сервис с теми же функциями будет запущен после окончания процесса смены лицензии и будет работать по новому адресу.

Важные даты

  • 31-ое марта: Выпуск последней “планеты” под лицензий CC, остановка генерации diff-ов
  • 1-ое апреля: Начало режима “только чтение” для базы данных
  • 3-4-ое апреля: Возвращение полного доступа к базе. Массовые правки пока не рекомендуются.
  • 5-6-ое апреля: Тесты механизмов перелицензирования на живых данных на основе bbox.
  • 7-ое апреля: Запуск автоматической обработки всех оставшихся не “чистыми” объектов.
  • 9-ое апреля: Отчет о состоянии процесса (в основном, предполагаемое время окончания).
  • Будет определено позже: После окончания обработки, если мы будем удовлетворены получившимся результатом, мы можем объявить данные доступными под ODbL. Сразу после этого будет создан и опубликован новый файл планеты и запущен процесс создания diff-файлов по новому адресу.

[Это выдержка из объявления Dermot McNally. Соответствующий контекст добавлен из других источников.]

Дар от компании Esri

Компания Esri является мировым лидером в области ГИС-технологий. Их программное обеспечение используется более чем 300 тысячами организаций по всему миру, а поскольку их клиенты знают цену геоданным, то они активно интересуются OpenStreetMap. Esri уже включала наши карты в качестве слоя подложки в ArcGIS online и разработала плагин ArcGIS Editor for OpenStreetMap, который позволяет править данные OSM из их редактора. Esri также спонсирует наши конференции.

Сегодня же мы хотим поблагодарить компанию за очень щедрый финансовый дар Фонду OpenStreetMap!

Эти деньги помогут нам в выполнении нашей некоммерческой миссии обеспечения поддержки проекта OpenStreetMap, создания и распространения свободных карт для всего мира. Мы хотим сказать “Большое спасибо!”.

Вы без сомнения услышите больше об этом пожертвовании на Esri developer summit, проходящем на следующей неделе в Калифорнии, в Палм Спрингс. Стив Коуст, основатель OpenStreetMap, Steve Coast, будет делать там доклад во вторник, 27-ого марта.

От переводчика: Esri просила не раскрывать сумму пожертвования, но известно, что она составляет 25 тысяч долларов. Это не первое пожертвование проекту на таких условиях – 12 октября 2010 года компания MapQuest пожертвовала неизвестную сумму на новые сервера.

Отключение базы данных 20 марта 2012 года

20 марта 2012 года (в следующий вторник) в промежуток между 17:45 и 20:15 по московскому времени (с 13:45 по 16:15 по GMT / UTC) основной сервер базы данных будет недоступен в связи с незапланированным сервисным обслуживанием.

Это повлияет на следующие сервисы:

  • www.openstreetmap.org – на сайте перестанут работать логин и редактирование в Potlatch [1]
  • API – все API будет полностью недоступно, включая редактирование карты с помощью JOSM, Merkaartor и других редакторов
  • planet.openstreetmap.org – продолжит работать, но на нем не будут появляться новые diff-файлы
  • форумы – не будет работать логин
  • trac – перестанет работать багтрекер, не будет работать логин
  • help.openstreetmap.org – не будет работать логин

На остальные сервисы отключение не повлияет – будут работать как обычно:

  • тайлы карты (вкладки “Просмотр карты” и “Экспорт” на www.openstreetmap.org)
  • Wiki
  • Nominatim (поиск)
  • листы рассылки
  • subversion и git (репозитории кода)
  • donate.openstreetmap.org

Немного технических подробностей: на сервере базы данных Smaug будет проводиться замена проблемной материнской платы. Инженер технической поддержки доступен, материнская плата для замены имеется.

1: Карты на openstreetmap.org и на сайтах других людей все равно будут отображаться.

Грант Слейтер (Grant Slater)
от имени команды сисадминов OpenStreetMap