За последние недели бот смены лицензии делал правки по всему миру. Обработка планеты была закончена вчера. Эта работа потребовала заметных усилий для разработки и запуска программ для внесения этих изменений, а также имела очень неопределенный срок окончания, поэтому окончание работ – важный шаг для нас.  Поздравляем и благодарим всех, кто принимал в ней участие, особенно Мэтта Амоса, Энди Аллана, пользователя Gnonthgol и Мальте Куна, которые выполнили большую часть задач по программированию

Сейчас данные в “живой” базе OpenStreetMap в подавляющем большинстве в состоянии, когда она может быть объявлена лицензированной под ODbL, однако лицензия еще не сменилась. Мы дополнительно объявим об этом моменте.

В базе осталось более 99% данных, и в большинстве мест разница с нередактированными данными мало заметна. Однако существуют места, где было удалено большое количество данных, особенно в Польше и Австралии. Хотя разумеется, мы предпочли бы оставить эти данные, мы уважаем решение их авторов и благодарим их за их вклад в проект.

К счастью, реакция сообществ в этих местах была очень мощной, и мы уверены, что скоро будем иметь там такие же высококачественные данные, как и раньше. Вы можете помочь этому, используя спутниковые снимки и другие источники, или, что гораздо лучше, свои знания местности. Сейчас у нас появилось несколько новых “белых пятен” на карте и мы можем поступить с ними так, как всегда поступали: используйте свои любимые техники рисования, выезжайте на места и заполняйте пустые места. (Пожалуйста, при этом обратите внимание на то, что вы не должны копировать данные, доступные под CC-BY-SA или предыдущие версии данных – относитесь к ним как к другим несовместимым данным, закрытым копирайтом.) Мы уже можем заниматься этим, пока проводятся последние приготовления к смене лицензии.

За прошедшую неделю правящий бот хорошо продвинулся по планете. После первоначального теста на Ирландии он обработал Соединенное Королевство и сейчас заканчивает Западную Европу. Испания и Италия обработаны полностью, Франция почти закончена, и прямо сейчас бот обрабатывает хорошо прорисованные области Германии и Голландии. За прогрессом можно наблюдать на карте прогресса

Как вы можете заметить, иногда случаются ошибки, из-за которых регион (квадрат со сторонами в 1 градус) бывает не обработан. Разработчики бота смогли отследить причины некоторых ошибок в самом боте, но некоторые – это следствие сбоев в работе API нашего проекта. Из-за этого некоторые области приходится обрабатывать по несколько раз.

Вы также можете заметить много “желтых” областей. Это регионы, которые обрабатываются в данное время параллельно запущенными копиями бота. Хотя мы никуда не торопимся, все-таки у нас стоит задача обработать огромную базу данных, и параллельный запуск ускоряет ее выполнение.

У вас еще есть время на перерисовывание до того, как бот дойдет до вашей части мира, хотя стоит воздержаться от работ в регионе, который уже обрабатывается. Если ваша область уже “зеленая”, теперь у вас другая задача – исправить удаленные ботом данные.

Помните, что переход на новую лицензию еще не произошел. Даже в полностью обработанных регионах лицензия остается прежней до официального объявления.

Обсуждение процесса по-прежнему происходит в списке рассылки rebuild.

Всем привет!

Я рад сообщить, что бот для смены лицензии готов к запуску.

Начиная с этой недели, мы будем в “живой” базе данных редактировать данные (менее 1% от всех), которые не совместимы с новыми Условиями участия и Open Database Licence (ODbL) – другими словами, эти данные больше не будут доступны. Мы собираемся начать в среду 11 июля, если к тому времени будут закончены пара мелочей в настройке.

Бот будет работать по странам в следующем порядке:

1. Ирландия
2. Соединенное Королевство
3. Западная Европа
4. Северная Америка
5. Австралия
6. остальной мир

Когда процесс будет завершен, мы будем готовы распространять наши данные под ODbL и сообщим об этом отдельно. Последний набор данных до правки, доступный под CC-BY-SA, находится по адресу http://planet.openstreetmap.org/planet-120704.osm.bz2 . Когда данные будут отредактированы, в ответ на любую попытку получить к ним доступ через API или раздел “Просмотр” сайта будет показана информация о невозможности выполнить это действие.

Пробные запуски бота показали, что он работает так, как мы этого хотели, но мы все равно будем наблюдать за процессом. Сейчас мы ожидаем, что в целом процесс займет около месяца, и с учетом большого количества непрогнозируемых факторов, боюсь, мы не можем определить дату более точно. В любом случае мы будем держать вас в курсе с помощью листов рассылки announce@ и talk@.

Во время работы бота API не будет отключаться. Однако, когда очередь дойдет до вашей области, сохраняйте свои правки более часто, чтобы уменьшить вероятность конфликтов.

Как вы знаете, мы собирались начать процесс сразу после 1-ого апреля, но сложность задачи привела к такой задержке. Большое спасибо вам всем за ваше терпение в это время! Отдельное спасибо всем тем, кто участвовал в разработке бота – присылал патчи, предложения или просто поддерживал нас.

Опубликовано Ричардом от имени Совета OSMF в листе рассылки.

2 недели назад мы писали, что мы все еще улучшаем “правящего бота” (программу, которая проходит по базе данных и удаляет/прячет данные, несовместимые с новой лицензией). К нашему большому сожалению, процесс отладки бота занял больше времени, чем предполагалось. Поэтому у нас есть две новости: хорошая заключается в том, что бот успешно проходит больше тестов, чем раньше, а плохая – то, что так заканчиваются все равно не все тесты. Сейчас уже несколько человек работают над тем, чтобы он работал без ошибок.

Как только бот сможет пройти все тесты, начнутся тесты на копии “живых” данных на отдельном сервере, который уже собран и настроен. Если и они будут успешными, будет проведен еще один тест уже на небольшом кусочке настоящей базы данных (скорее всего, это будет Ирландия). Если все закончится хорошо, будут обработаны и остальные данные.

Есть и хорошие новости: за прошедшие недели мы смогли достичь соглашения насчет нескольких больших массивов данных, так что они теперь останутся в базе. Большое спасибо всем, кто участвовал в этом процессе!

На следующей неделе мы тоже расскажем, как идут дела.

Большое всем спасибо за терпение!

Сейчас, когда новый сервер был успешно установлен на свое место нашей командой сисадминов, мы переходим к второй части процесса – необходимому для перехода на Open Database License редактированию данных. Мы обещали опубликовать новости процесса только на следующей неделе, но слишком много людей спрашивают об этом, так что мы публикуем их на 4 дня раньше.

Изменения в коде OpenStreetMap API закончены и успешно проверены, следовательно, openstreetmap.org готов к распространению новых данных. Спасибо Мэтту Амосу (Matt Amos) за написание кода и Тому Хьюзу (Tom Hughes) за его проверку.

Следующая часть – “правящий бот”. Это специальный скрипт, который работает в определенной области данных OpenStreetMap и удаляет/прячет данные, которые несовместимы с новой лицензией. Это самая важная часть работы: мы собираемся не оставлять данных, создатели которых не дали разрешение на их распространение под Open Database License, и при этом не удалить ничего лишнего.

Со среды (4 апреля) мы запускаем тесты на реальных данных из базы данных (спасибо Фредерику Рамму (Frederik Ramm) за помощь в этом). Сейчас мы не на 100% удовлетворены результатами, поэтому мы продолжаем работать над кодом бота. Вы можете быть уверены, что мы не запустим бота до тех пор, пока не сможем полностью гарантировать точность его работы. Из-за 4-дневных Пасхальных каникул мы ожидаем, что это произойдет только на этой неделе. Из-за этого мы на несколько дней будем отставать от нашего расписания, но мы должны сделать все правильно.

Если вы разработчик, вы можете помочь нам с неработающими тестами: посмотрите на код https://github.com/zerebubuth/openstreetmap-license-change. Если вы картограф, у вас есть еще пара лишних дней на рисование. А если вы потребитель данных, то вы, разумеется, можете использовать данные под старой лицензией – CC-BY-SA 2.0.

На этой неделе мы сделаем еще один выпуск новостей, и в любом случае, будет еще один перед запуском бота.

Письмо от Майкла Коллинсона и рабочей группы по лицензиям:

Всем привет,

Мы просим мапперов посмотреть на места своих правок и попробовать связаться с теми пользователями, кто еще не дал своего решения по поводу перелицензирования, а затем перерисовать столько потенциально теряемых данных, сколько сможете. Пожалуйста, делайте это добросовестно и в процессе не копируйте данные участников, которые не дали своего решения или не согласны с новыми условиями! Лучше еще раз уточните эти данные, используя спутниковые снимки от Bing, ваше знание местности или информацию от уже согласившихся пользователей. Также имейте в виду, что мы в курсе проблем, связанных с этим процессом, которые имеются в Польше и Чехии.

Мы хотим окончательно перейти на новую лицензию через полтора месяца. Чтобы это произошло, данные, не подлежащие перелицензированию, должны быть убраны из активной базы данных, при этом они останутся доступны в архивах. Последние данные свидетельствуют, что примерно 1.9% линий не переживут процесс смены лицензии и еще 0,6% будут откачены к более ранним версиям.

Несмотря на то, что это небольшие числа, мы хотим сделать их еще меньше.

Ситуация конкретно в вашей области может быть хуже или лучше общей статистики. Вы можете использовать режим просмотра лицензии (the license change view) на сайте OSMinspector.  В вики доступно больше информации как по этому инструменту, так и и по по процессу перерисовывания вообще.

Мы также просим вас связаться с еще не принявшими решение пользователями через систему сообщений на сайте OpenStreetMap.org или напрямую, если вы знаете их лично. Для того, чтобы эти люди не получили слишком много однотипных просьб, перед тем, как связываться с ними, пожалуйста, взгляните на список в вики.

На этой странице также находятся примерные сообщения на разных языках. Просите пользователей зайти в свой аккаунт на сайте и принять Условия участия, даже если они не хотят дальше участвовать в нашем проекте. Вы правили карту в тех же районах, и эти данные очень важны для вас, поэтому упоминание этих фактов в сообщении может сильно увеличить шансы на положительный ответ.”

Текст этого письма также можно прочитать на странице кампании за оповещение и перерисовывание. Не стесняйтесь переводить её на другие языки.

Исходное сообщение в списке рассылки