Привет, дорогие подписчики! не знаю, что вы любите больше - карты или код, или строить карты с помощью кода, но при любом раскладе нам по пути. Это канал про географию, анализ данных и пространственное моделирование, - что-то вроде моего открытого дневника, где я пишу про свою работу, разбираю интересные статьи, делюсь новостями и идеями. А еще, на телефоне и ноуте скопилась тонна заметок и ссылок на материалы, которые могут быть кому-то интересны и полезны, - с удовольствием делюсь. Ваш А.Ш.
Карты и функции pinned «Привет, дорогие подписчики! не знаю, что вы любите больше - карты или код, или строить карты с помощью кода, но при любом раскладе нам по пути. Это канал про географию, анализ данных и пространственное моделирование, - что-то вроде моего открытого дневника…»
Скрытое биоразнообразие и sdm
За последние 250 лет профессиональные ботаники видели брандушку разноцветную (Bulbocodium versicolor) на территории Воронежской области чуть более ста пятидесяти раз. Мой коллега Дима Владимиров собрал базу таких находок, и на ее основе мы с Мишей Орловым сделали карту, которая показывает вероятность найти редкий цветок по квадратам 100x100 м.
Метод построения таких карт называется sdm (Species Distribution Modelling). На вход модели подаем координаты с точками находок и растры, которые описывают условия местности: рельеф, температуры, увлажение и пр. Внутричерного ящика модели - ансамбль из нескольких алгоритмов машинного обучения. На выходе - прогноз на всю территорию.
Идея - показать, как с помощью sdm можно выявлять скрытое биоразнообразие территорий и проектировать перспективные ООПТ - ареалы с высокой плотностью редких видов.
Популярная статья о нашей работе: https://naked-science.ru/article/biology/bulbocodium-versicolor
#sdm #биогеография
За последние 250 лет профессиональные ботаники видели брандушку разноцветную (Bulbocodium versicolor) на территории Воронежской области чуть более ста пятидесяти раз. Мой коллега Дима Владимиров собрал базу таких находок, и на ее основе мы с Мишей Орловым сделали карту, которая показывает вероятность найти редкий цветок по квадратам 100x100 м.
Метод построения таких карт называется sdm (Species Distribution Modelling). На вход модели подаем координаты с точками находок и растры, которые описывают условия местности: рельеф, температуры, увлажение и пр. Внутри
Идея - показать, как с помощью sdm можно выявлять скрытое биоразнообразие территорий и проектировать перспективные ООПТ - ареалы с высокой плотностью редких видов.
Популярная статья о нашей работе: https://naked-science.ru/article/biology/bulbocodium-versicolor
#sdm #биогеография
Еще в тему. Можно моделировать не только современное, но и будущее распространение видов. Вот, например, красивая визуализация ожидаемого смещения ареалов обитания птиц в Северной Америке под влиянием изменения климата: https://www.audubon.org/climate/survivalbydegrees
Gridded population
Недавно читал большой обзор современных глобальных растровых данных о плотности населения (WorldPop, Landscan, GPW, GHS-POP и др.) и обнаружил в нем ссылки на работы Вениамина Семенова-Тян-Шанского - создателя дазиметрического метода. Вот фрагмент карты Европейской России 1927 года под его редакцией.
О чем речь? Статистика, как правило, собирается по административным ячейкам, поэтому карты плотности на ее основе "размазывают" население туда, где в реальности никто не живет. Мы же хотим получить более точную карту, чтобы, ткнув пальцем в точку на карте, узнать, сколько людей живет в этом месте.
Со времен Семенова-Тян-Шанского появились новые алгоритмы моделирования и массивы спутниковых данных, но суть метода осталась прежней - дезагрегировать данные статистики в ячейки меньшего размера - в те, где, вероятнее всего, живут люди. Для этого предварительно создаем слой с весами вероятности, используя дополнительные переменные: плотность застройки, интенсивность ночного освещения, близость центра города и крупных магистралей, характер рельефа и пр. Например, WorldPop с разрешением 100 м использует более двух десятков дополнительных переменных. Затем "расселяем" людей по ячейкам в соответствии с весами.
Зачем нужны такие данные? Например, чтобы быстро оценить количество людей в зоне риска стихийного бедствия или вооруженного конфликта, для моделирования распространения заболеваний, для оценки антропогенной нагрузки на экосистемы, нагрузки на транспортные сети и пр.
Недавно читал большой обзор современных глобальных растровых данных о плотности населения (WorldPop, Landscan, GPW, GHS-POP и др.) и обнаружил в нем ссылки на работы Вениамина Семенова-Тян-Шанского - создателя дазиметрического метода. Вот фрагмент карты Европейской России 1927 года под его редакцией.
О чем речь? Статистика, как правило, собирается по административным ячейкам, поэтому карты плотности на ее основе "размазывают" население туда, где в реальности никто не живет. Мы же хотим получить более точную карту, чтобы, ткнув пальцем в точку на карте, узнать, сколько людей живет в этом месте.
Со времен Семенова-Тян-Шанского появились новые алгоритмы моделирования и массивы спутниковых данных, но суть метода осталась прежней - дезагрегировать данные статистики в ячейки меньшего размера - в те, где, вероятнее всего, живут люди. Для этого предварительно создаем слой с весами вероятности, используя дополнительные переменные: плотность застройки, интенсивность ночного освещения, близость центра города и крупных магистралей, характер рельефа и пр. Например, WorldPop с разрешением 100 м использует более двух десятков дополнительных переменных. Затем "расселяем" людей по ячейкам в соответствии с весами.
Зачем нужны такие данные? Например, чтобы быстро оценить количество людей в зоне риска стихийного бедствия или вооруженного конфликта, для моделирования распространения заболеваний, для оценки антропогенной нагрузки на экосистемы, нагрузки на транспортные сети и пр.
essd.copernicus.org
The spatial allocation of population: a review of large-scale gridded population data products and their fitness for use
Abstract. Population data represent an essential component in
studies focusing on human–nature interrelationships, disaster risk
assessment and environmental health. Several recent efforts have produced
global- and continental-extent gridded population data…
studies focusing on human–nature interrelationships, disaster risk
assessment and environmental health. Several recent efforts have produced
global- and continental-extent gridded population data…
Что такое город? Ч.1
На SEDAC (портал NASA c открытыми данными по социально-экономической географии) лежит датасет, в котором собраны оценки численности населения городов - с библейских времен и до наших дней. Выше карта на его основе.
Любопытная карта, как и сами данные, но к ним сразу возникает вопрос: а что именно авторы считали городами? Особенно в таком широком историческом контексте. Действительно ли древние города-государства Месопотамии, греческие полисы, средневековые города, индустриальные города нового времени и современные постиндустриальные города можно считать явлениями одного порядка? Что их объединяет?
P.S.: Я сейчас в Дагестане, и здесь расположен, возможно, самый древний город на территории России - Дербент. Как доберусь - пришлю фото.
На SEDAC (портал NASA c открытыми данными по социально-экономической географии) лежит датасет, в котором собраны оценки численности населения городов - с библейских времен и до наших дней. Выше карта на его основе.
Любопытная карта, как и сами данные, но к ним сразу возникает вопрос: а что именно авторы считали городами? Особенно в таком широком историческом контексте. Действительно ли древние города-государства Месопотамии, греческие полисы, средневековые города, индустриальные города нового времени и современные постиндустриальные города можно считать явлениями одного порядка? Что их объединяет?
P.S.: Я сейчас в Дагестане, и здесь расположен, возможно, самый древний город на территории России - Дербент. Как доберусь - пришлю фото.
Что такое город? Ч.2
На тему определения понятия "город" сломано много копий. Меня в свое время зацепила статья Скотта и Сторпера, которые попытались определить город через его связь с окружающими (сельскими) районами и сравнивали города с горами, которые объективно отличаются от равнин, но на местности между ними невозможно провести границу. Города выступали центрами обслуживания, а, кроме того, центрами торговли на длинные расстояния - точками входа в региональные и глобальные сети, что часто становилось основой для экономической специализации не только самих городов, но и окружающих районов.
На тему определения понятия "город" сломано много копий. Меня в свое время зацепила статья Скотта и Сторпера, которые попытались определить город через его связь с окружающими (сельскими) районами и сравнивали города с горами, которые объективно отличаются от равнин, но на местности между ними невозможно провести границу. Города выступали центрами обслуживания, а, кроме того, центрами торговли на длинные расстояния - точками входа в региональные и глобальные сети, что часто становилось основой для экономической специализации не только самих городов, но и окружающих районов.
Wiley Online Library
The Nature of Cities: The Scope and Limits of Urban Theory
There has been a growing debate in recent decades about the range and substance of urban theory. The debate has been marked by many different claims about the nature of cities, including declarations...
Между прочим, метафора города как горы может иметь вполне прикладной смысл. Например, в этой статье авторы исследуют структуру городских центров по данным ночной спутниковой съемки и для выделения ядра и субцентров используют методы из геоморфологии, которые разрабатывались для анализа рельефа и нахождения вершин и локальных пиков.
Горы на карте. Ч.1
Продолжаю путешествие по Дагестану. Это Хунзахский район. Горы здесь невероятные. Сложенные из рыхлого известняка, они легко поддаются эрозии, поэтому формируют сложнейшую топографию: плато с отвесными обрывами, узкие ущелья и широкие долины с башнями-останцами, изъеденные водой и ветром высоченные скалы; а на крутых склонах - старинные селения и земледельческие террасы.
Показать рельеф, особенно такой сложный, на плоской карте - задача нетривиальная. Чтобы придать картографическому изображению объем, используют тени (relief shading или hillshading). Эта техника появилась еще в те времена, когда карты рисовали вручную. Здесь собрано много примеров работ мастеров в этой области - швейцарцев. Посмотрите, например, известную работу 30-х гг. Walensee Эдуарда Имхофа или более современный Пик Ленина. Настоящие произведения искусства.
Продолжаю путешествие по Дагестану. Это Хунзахский район. Горы здесь невероятные. Сложенные из рыхлого известняка, они легко поддаются эрозии, поэтому формируют сложнейшую топографию: плато с отвесными обрывами, узкие ущелья и широкие долины с башнями-останцами, изъеденные водой и ветром высоченные скалы; а на крутых склонах - старинные селения и земледельческие террасы.
Показать рельеф, особенно такой сложный, на плоской карте - задача нетривиальная. Чтобы придать картографическому изображению объем, используют тени (relief shading или hillshading). Эта техника появилась еще в те времена, когда карты рисовали вручную. Здесь собрано много примеров работ мастеров в этой области - швейцарцев. Посмотрите, например, известную работу 30-х гг. Walensee Эдуарда Имхофа или более современный Пик Ленина. Настоящие произведения искусства.
Горы на карте. Ч.2
Современные гис-программы легко позволяют добавить тени на карты - достаточно указать, с какой стороны и под каким углом светит солнце. Но добиться такого эффекта, как на картах старых мастеров, не получится. Секрет в том, что при ручном накладывании теней изображение искажалось: для каждой горы направление и угол падения света слегка меняли - чтобы четче отразить контуры конкрентной формы рельефа. Авторы этой статьи пошли на хитрость и научили нейронную сеть копировать стиль и технику швейцарских картографов. Выше рисунок с Кавказом из их работы
Современные гис-программы легко позволяют добавить тени на карты - достаточно указать, с какой стороны и под каким углом светит солнце. Но добиться такого эффекта, как на картах старых мастеров, не получится. Секрет в том, что при ручном накладывании теней изображение искажалось: для каждой горы направление и угол падения света слегка меняли - чтобы четче отразить контуры конкрентной формы рельефа. Авторы этой статьи пошли на хитрость и научили нейронную сеть копировать стиль и технику швейцарских картографов. Выше рисунок с Кавказом из их работы
Дербент. Ковры и одеяла
Обещанные фото из Дербента. А раз в ленте появились ковры, хочется вспомнить две работы.
Ковер - любимая метафора Владимира Каганского по отношению к культурному ландшафту - это "не склад или свалка из отдельных предметов на пустом или безразличном фоне", а сплошная многослойная ткань с ярким, сложенным из множества переплетений, но закономерным рисунком. От себя добавлю, что иногда, чтобы построить хорошую карту, приходится хорошенько потоптаться по этому ковру.
Вторая работа - статья Константина Григоричева, который использует похожую метафору - лоскутного одеяла - для описания постсоветских пригородов. Собранные из морфологически и социально различных элементов, они местами напоминают глобальный Север (классические субурбии), местами - глобальный Юг (стихийные пригороды южных городов), а иногда отсылают к советскому прошлому (например, массивы частного сектора и дачи).
Вот такой вот пост - сам, как лоскутное одеяло.
Обещанные фото из Дербента. А раз в ленте появились ковры, хочется вспомнить две работы.
Ковер - любимая метафора Владимира Каганского по отношению к культурному ландшафту - это "не склад или свалка из отдельных предметов на пустом или безразличном фоне", а сплошная многослойная ткань с ярким, сложенным из множества переплетений, но закономерным рисунком. От себя добавлю, что иногда, чтобы построить хорошую карту, приходится хорошенько потоптаться по этому ковру.
Вторая работа - статья Константина Григоричева, который использует похожую метафору - лоскутного одеяла - для описания постсоветских пригородов. Собранные из морфологически и социально различных элементов, они местами напоминают глобальный Север (классические субурбии), местами - глобальный Юг (стихийные пригороды южных городов), а иногда отсылают к советскому прошлому (например, массивы частного сектора и дачи).
Вот такой вот пост - сам, как лоскутное одеяло.
Ночная география
Выше я рассказывал, как создаются растровые данные о плотности населения и зачем они нужны. У этих данных есть ограничение: в их основе - статистика по численности постоянного населения.
Помните, как опустела Москва во время ковида, когда упал поток трудовых мигрантов из области, а часть горожан укрылась на дачах? Численность населения колеблется в разное время суток, дни недели и сезоны года - это касается как города, так и его окрестностей. В Москве перепады могут достигать нескольких сотен тысяч или даже миллионов человек.
Можно ли учесть такие колебания при создании карт плотности населения? Самое лучшее приближение дают данные сотовых операторов, но это коммерческий продукт со всеми вытекающими отсюда ограничениями. В идеале нужны открытые, регулярно обновляемые данные с большим пространственным охватом.
Вместе с моей коллегой Александрой Стариковой мы экспериментировали с ночными спутниковыми снимками. Интенсивность ночного излучения (мы использовали данные в видимом и ближнем инфракрасном спектре) тесно коррелирует с плотностью населения и плотностью экономической активности - если отследить сезонные колебания, можно выделить направления и ареалы дачной экспансии горожан, ввести поправочные коэффициенты и корректировать данные о населении под нужный временной интервал.
Идею тестировали на Ярославской области, а затем масштабировали до Москвы и соседних с ней областей. У данных и методакак это всегда бывает обнаружилось много подводных камней, но базовая идея работает. Некоторые сельские населенные пункты, где официальная статистика показывает даже нулевое население, вполне себе "светятся" в дачный сезон.
По ссылке статья о нашей работе моего друга, научного журналиста Михаила Орлова.
Выше я рассказывал, как создаются растровые данные о плотности населения и зачем они нужны. У этих данных есть ограничение: в их основе - статистика по численности постоянного населения.
Помните, как опустела Москва во время ковида, когда упал поток трудовых мигрантов из области, а часть горожан укрылась на дачах? Численность населения колеблется в разное время суток, дни недели и сезоны года - это касается как города, так и его окрестностей. В Москве перепады могут достигать нескольких сотен тысяч или даже миллионов человек.
Можно ли учесть такие колебания при создании карт плотности населения? Самое лучшее приближение дают данные сотовых операторов, но это коммерческий продукт со всеми вытекающими отсюда ограничениями. В идеале нужны открытые, регулярно обновляемые данные с большим пространственным охватом.
Вместе с моей коллегой Александрой Стариковой мы экспериментировали с ночными спутниковыми снимками. Интенсивность ночного излучения (мы использовали данные в видимом и ближнем инфракрасном спектре) тесно коррелирует с плотностью населения и плотностью экономической активности - если отследить сезонные колебания, можно выделить направления и ареалы дачной экспансии горожан, ввести поправочные коэффициенты и корректировать данные о населении под нужный временной интервал.
Идею тестировали на Ярославской области, а затем масштабировали до Москвы и соседних с ней областей. У данных и метода
По ссылке статья о нашей работе моего друга, научного журналиста Михаила Орлова.
Naked Science
«Ночная география», или Как спутниковые снимки помогают исследовать сезонные миграции
Миграции всегда были важной частью жизни человечества, а сейчас они актуальны как никогда. Кажется, современный мир оставил оседлость в прошлом: многие стали «цифровыми кочевниками» и живут на чемоданах, некоторые, подобно перелетным птицам, совершают сезонные…
Ящерицы и улитки. Ч. 1
Это Прыткая ящерица (Lacerta agilis) - мое первое наблюдение на iNaturalist, поймал в кадр в Воронежской области в мае прошлого года.
iNaturalist - краудсорсинговая платформа гражданской науки. Работает примерно так: устанавливаете на телефон приложение, фотографируете растение или животное, встроенная модель компьютерного зрения помогает определить вид, а дальше два эксперта должны подтвердить находку, и ваше наблюдение попадает в общую базу. Сейчас в базе 160 млн. наблюдений по 431 тыс. видам.
Недавно iNaturalist представил новый инструмент - Geomodel.
Это Прыткая ящерица (Lacerta agilis) - мое первое наблюдение на iNaturalist, поймал в кадр в Воронежской области в мае прошлого года.
iNaturalist - краудсорсинговая платформа гражданской науки. Работает примерно так: устанавливаете на телефон приложение, фотографируете растение или животное, встроенная модель компьютерного зрения помогает определить вид, а дальше два эксперта должны подтвердить находку, и ваше наблюдение попадает в общую базу. Сейчас в базе 160 млн. наблюдений по 431 тыс. видам.
Недавно iNaturalist представил новый инструмент - Geomodel.
Ящерицы и улитки. Ч. 2
Geomodel - это модель, которая пытается отрисовывать на карте ареал распространения вида и улучшить точность модели компьютерного зрения. По смыслу очень похоже на SDM, о которых я писал выше, вот только в качестве предиктора здесь используется всего одна переменная - высота над уровнем моря, зато модель строится одновременно для 80 тыс. видов, примерно как строятся модели компьютерного зрения. Подробнее о методе можно посмотреть вот здесь.
Мы использовали наблюдения с iNaturalist для SDM, когда предсказывали ареал потенциального распространения двух инвазивных степных улиток - Brephulopsis cylindrica и Xeropicta derbentina (рисунок - пример такой карты). Первоначально эти улитки обитали в Причерноморье, но в последние годы встречаются далеко за пределами естественного ареала - в Западной Европе, Беларуси, Армении и степных регионах России, видимо, распространяясь вдоль железных дорог. Если интересно, полная версия статьи - на сайте журнала.
Geomodel - это модель, которая пытается отрисовывать на карте ареал распространения вида и улучшить точность модели компьютерного зрения. По смыслу очень похоже на SDM, о которых я писал выше, вот только в качестве предиктора здесь используется всего одна переменная - высота над уровнем моря, зато модель строится одновременно для 80 тыс. видов, примерно как строятся модели компьютерного зрения. Подробнее о методе можно посмотреть вот здесь.
Мы использовали наблюдения с iNaturalist для SDM, когда предсказывали ареал потенциального распространения двух инвазивных степных улиток - Brephulopsis cylindrica и Xeropicta derbentina (рисунок - пример такой карты). Первоначально эти улитки обитали в Причерноморье, но в последние годы встречаются далеко за пределами естественного ареала - в Западной Европе, Беларуси, Армении и степных регионах России, видимо, распространяясь вдоль железных дорог. Если интересно, полная версия статьи - на сайте журнала.
Прогнозы населения для климата. Ч. 1
На следующей неделе делаю доклад на конференции по климату. Тема климатических изменений давно шагнула за рамки собственно климатологии - половина конференции про последствия и адаптацию. Я буду рассказывать о наших расчетах по подверженности (population exposure) российских регионов волнам жары по прогнозам на середину века (когда выйдет статья - расскажу об этой работе подробнее).
Прогнозирование климата - штука сложная, во многом потому что будущий климат зависит от человека, спровоцировало появление новых направлений социально-экономического прогнозирования. Их ядро - т.н. Shared Socioeconomic Pathways (SSPs), пять сценариев будущего, основанных на допущениях о технологическом росте, экономике, демографическом развитии, степени открытости мира, доминирующих ценностях и пр. Представьте мир, в котором экономический рост сочетается со снижением неравенства, развитием образования и сокращением международных конфликтов (SSP1). Или мир крепнущего национализма, закрытых границ и глубокого неравенства внутри и между стран (SSP3,кажется, наш случай). Подробнее о нарративах в основе SPPs можно почитать здесь - это любопытно.
На следующей неделе делаю доклад на конференции по климату. Тема климатических изменений давно шагнула за рамки собственно климатологии - половина конференции про последствия и адаптацию. Я буду рассказывать о наших расчетах по подверженности (population exposure) российских регионов волнам жары по прогнозам на середину века (когда выйдет статья - расскажу об этой работе подробнее).
Прогнозирование климата - штука сложная, во многом потому что будущий климат зависит от человека, спровоцировало появление новых направлений социально-экономического прогнозирования. Их ядро - т.н. Shared Socioeconomic Pathways (SSPs), пять сценариев будущего, основанных на допущениях о технологическом росте, экономике, демографическом развитии, степени открытости мира, доминирующих ценностях и пр. Представьте мир, в котором экономический рост сочетается со снижением неравенства, развитием образования и сокращением международных конфликтов (SSP1). Или мир крепнущего национализма, закрытых границ и глубокого неравенства внутри и между стран (SSP3,
Прогнозы населения для климата. Ч. 2
На рисунке - прогноз по численности населения России до конца столетия по трем сценариям SSPs, подготовленный Международным институтом прикладного системного анализа (IIASA) в Вене. В
В своей работе я также пользуюсь субнациональными прогнозами для России, которые IIASA делал с Росстатом и РАНХиГС в 2018 году. По этим прогнозам, к 2050 г. вырастут только 17 регионов, а в Москве и области будет жить 23 млн чел. или 17% населения страны (против 14% в 2018 г.).
На рисунке - прогноз по численности населения России до конца столетия по трем сценариям SSPs, подготовленный Международным институтом прикладного системного анализа (IIASA) в Вене. В
R есть пакет wcde, который позволяет подгружать данные с их сервера. По всем сценариям - снижение численности населения на фоне естественной убыли. Различия главным образом связаны с прогнозируемым уровнем международной миграции. В своей работе я также пользуюсь субнациональными прогнозами для России, которые IIASA делал с Росстатом и РАНХиГС в 2018 году. По этим прогнозам, к 2050 г. вырастут только 17 регионов, а в Москве и области будет жить 23 млн чел. или 17% населения страны (против 14% в 2018 г.).