И R, и Python
Недавно я рассказывал про выход второго издания Geocomputation with R. Между прочим, у этой книги есть сестра - Geocomputation with Python - от той же команды разработчиков. Как пишут сами авторы, книга может стать хорошим стартом для тех, кто только начинает осваивать python для работы с географическими данными и хочет получить прочный фундамент для продолжения обучения. В ней разбираются базовые операции с векторными и растровыми данными с помощью geopandas и rasterio, с объяснением работы буквально каждой строчки кода.
Недавно я рассказывал про выход второго издания Geocomputation with R. Между прочим, у этой книги есть сестра - Geocomputation with Python - от той же команды разработчиков. Как пишут сами авторы, книга может стать хорошим стартом для тех, кто только начинает осваивать python для работы с географическими данными и хочет получить прочный фундамент для продолжения обучения. В ней разбираются базовые операции с векторными и растровыми данными с помощью geopandas и rasterio, с объяснением работы буквально каждой строчки кода.
Forwarded from Факультет географии НИУ ВШЭ
🧑🏫 31 января в 18:10 пройдет семинар научно-учебной группы «Пространственный анализ и моделирование городских процессов»
Докладчики:
1) Логвинов Илья Александрович, аспирант Института наук о Земле СПбГУ,
ведущий экономист-аналитик института территориального планирования «Урбаника»
Динамика территориально-урбанистической структуры постсоциалистических стран в XXI в.: опыт использования подхода DEGURBA
2) Зыков Глеб Сергеевич, студент 4 курса факультета географии и геоинформационных технологий НИУ ВШЭ
Применение метода DEGURBA для классификации территорий России по степени урбанизированности на примере Краснодарского края и Республики Адыгея
📌 Подробнее о докладах читайте по ссылке
🗓 Время: 31 января, 18:10
📍 Место: Покровский б-р, д.11, ауд. G119
👉 Для участия просьба заполнить регистрационную форму по ссылке
Обращаем внимание, что семинар пройдет в очном формате.
Будем рады Вас видеть!
Докладчики:
1) Логвинов Илья Александрович, аспирант Института наук о Земле СПбГУ,
ведущий экономист-аналитик института территориального планирования «Урбаника»
Динамика территориально-урбанистической структуры постсоциалистических стран в XXI в.: опыт использования подхода DEGURBA
2) Зыков Глеб Сергеевич, студент 4 курса факультета географии и геоинформационных технологий НИУ ВШЭ
Применение метода DEGURBA для классификации территорий России по степени урбанизированности на примере Краснодарского края и Республики Адыгея
📌 Подробнее о докладах читайте по ссылке
🗓 Время: 31 января, 18:10
📍 Место: Покровский б-р, д.11, ауд. G119
👉 Для участия просьба заполнить регистрационную форму по ссылке
Обращаем внимание, что семинар пройдет в очном формате.
Будем рады Вас видеть!
Трубки и карты. Ч. 1
Пользователи R легко узнают эту картину: ее стилизованное изображение долгое время служило лого библиотеки magrittr, благодаря которой в языке появилась возможность писать непрерывные пайплайны (pipe - трубка) кода с помощью оператора %>% как альтернатива вложенным функциям. Название библиотеки отсылает к автору картины, художнику Рене Магритту.
Недавно показывал картину студентам, но совсем по другому поводу — из-за надписи на ней. Если вы тоже не читаете по-французски, надпись гласит: "Это НЕ трубка". Парадокс, который сам Магритт объяснял словами: "Вы же не можете набить ее табаком? Если бы я написал, что это трубка, то солгал бы. Это лишь ее репрезентация".
Пользователи R легко узнают эту картину: ее стилизованное изображение долгое время служило лого библиотеки magrittr, благодаря которой в языке появилась возможность писать непрерывные пайплайны (pipe - трубка) кода с помощью оператора %>% как альтернатива вложенным функциям. Название библиотеки отсылает к автору картины, художнику Рене Магритту.
Недавно показывал картину студентам, но совсем по другому поводу — из-за надписи на ней. Если вы тоже не читаете по-французски, надпись гласит: "Это НЕ трубка". Парадокс, который сам Магритт объяснял словами: "Вы же не можете набить ее табаком? Если бы я написал, что это трубка, то солгал бы. Это лишь ее репрезентация".
Трубки и карты. Ч. 2
Любая карта — это также репрезентация или модель территории, которая нужна нам потому, что помогает понять и выразить некоторые пространственные закономерности (о соотношении карты и территории на wiki). Кроме того, это отражение наших собственных представлений о пространстве, включая позиции и установки, из которых мы задаем вопросы к данным (привет, критическая география).
У Борхеса есть короткий рассказ "О точности в науке" — о том, как в одной империи искусство картографии достигло такой высоты, что имперские картографы умудрились сделать карту страны в масштабе один к одному. И эта карта оказалась никому не нужна.
Любая карта — это также репрезентация или модель территории, которая нужна нам потому, что помогает понять и выразить некоторые пространственные закономерности (о соотношении карты и территории на wiki). Кроме того, это отражение наших собственных представлений о пространстве, включая позиции и установки, из которых мы задаем вопросы к данным (привет, критическая география).
У Борхеса есть короткий рассказ "О точности в науке" — о том, как в одной империи искусство картографии достигло такой высоты, что имперские картографы умудрились сделать карту страны в масштабе один к одному. И эта карта оказалась никому не нужна.
Агент-ориентированные модели. Ч. 1
Каким образом крупномасштабные социальные явления связаны с поведением отдельных людей? Американский экономист Томас Шеллинг задал этот вопрос применительно к феномену пространственной сегрегации. Идея Шеллинга состояла в том, что сегрегация не обязательно является следствием социального неприятия, и даже при высоком уровне толерантности в обществе вполне безобидные предпочтения жителей в выборе соседей могут приводить к формированию крупных социально-однородных районов.
Для обоснования своей идеи Шеллинг предложил такую модель: представьте поле, на котором игроки на каждом шаге игры случайно перемещаются по пустым клеткам до тех пор, пока среди их соседей не окажется N представителей их группы, например, хотя бы четверть или треть. Таким образом, районы могут оставаться смешанными, однако даже при небольших значениях N результатом модели становится образование гомогенных областей, в которых центральные ячейки полностью окружены такими же, как и они, соседями.
Каким образом крупномасштабные социальные явления связаны с поведением отдельных людей? Американский экономист Томас Шеллинг задал этот вопрос применительно к феномену пространственной сегрегации. Идея Шеллинга состояла в том, что сегрегация не обязательно является следствием социального неприятия, и даже при высоком уровне толерантности в обществе вполне безобидные предпочтения жителей в выборе соседей могут приводить к формированию крупных социально-однородных районов.
Для обоснования своей идеи Шеллинг предложил такую модель: представьте поле, на котором игроки на каждом шаге игры случайно перемещаются по пустым клеткам до тех пор, пока среди их соседей не окажется N представителей их группы, например, хотя бы четверть или треть. Таким образом, районы могут оставаться смешанными, однако даже при небольших значениях N результатом модели становится образование гомогенных областей, в которых центральные ячейки полностью окружены такими же, как и они, соседями.
Агент-ориентированные модели. Ч. 2
Модель Шеллинга демонстрирует несколько контр-интуитивных эффектов, например, что при небольших порогах гомогенные области образуются быстрее, в то время как слишком высокие требования к числу похожих соседей могут вызвать цепные реакции перемещений агентов, так что равновесие в системе почти недостижимо, а уровень гомогенизации кратковременно падает. У модели - множество ваиантов с разными условиями игры. По ссылке - простая реализация на R.
Модель Шеллинга - пример агент-ориентированных моделей (agent-based models, ABM). В отличие от детерминистских моделей, такие модели включают элементы стохастичности (случайности поведения игроков). И если, несмотря на наличие случайности, множество симуляций приводит к одному и тому же результату, который не был заложен в модель напрямую, т.е. возникает равновесие, схожее с закономерностями, наблюдаемыми в реальном мире, это означает, что предположения о механизмах формирования этих закономерностей могут быть правдивы.
О модели Шеллинга я впервые прочитал в книге Networks, Crowds, and Markets (2010) by David Easley and Jon Kleinberg. Это классный учебник по теории игр и сетевому анализу, в котором также можно найти примеры из экологии, транспорта и других дисциплин.
Модель Шеллинга демонстрирует несколько контр-интуитивных эффектов, например, что при небольших порогах гомогенные области образуются быстрее, в то время как слишком высокие требования к числу похожих соседей могут вызвать цепные реакции перемещений агентов, так что равновесие в системе почти недостижимо, а уровень гомогенизации кратковременно падает. У модели - множество ваиантов с разными условиями игры. По ссылке - простая реализация на R.
Модель Шеллинга - пример агент-ориентированных моделей (agent-based models, ABM). В отличие от детерминистских моделей, такие модели включают элементы стохастичности (случайности поведения игроков). И если, несмотря на наличие случайности, множество симуляций приводит к одному и тому же результату, который не был заложен в модель напрямую, т.е. возникает равновесие, схожее с закономерностями, наблюдаемыми в реальном мире, это означает, что предположения о механизмах формирования этих закономерностей могут быть правдивы.
О модели Шеллинга я впервые прочитал в книге Networks, Crowds, and Markets (2010) by David Easley and Jon Kleinberg. Это классный учебник по теории игр и сетевому анализу, в котором также можно найти примеры из экологии, транспорта и других дисциплин.
Индустриальный ландшафт. Ч. 1
Главная туристическая локация северного Вьетнама - бухта Халонг. Мы побывали там в апреле, путешествуя из Ханоя. Но по дороге я увидел ландшафт, который впечатлил не меньше бухты (возможно, это признаки профдеформации).
Через полтора часа из столицы Вьетнама скоростная трасса подводит к Хайфону - третьему по величине городу в стране. Дорога огибает Хайфон с юга и затем уходит на северо-восток вдоль побережья и наверх - на мост через реку Кам. На мосту, если посмотреть направо, открывается вид на большой порт: корабли, сияющие на солнце новенькие краны грузовых терминалов, склады и тысячи разноцветных контейнеров. Редко, где есть возможность с высоты посмотреть на такой индустриальный ландшафт.
Главная туристическая локация северного Вьетнама - бухта Халонг. Мы побывали там в апреле, путешествуя из Ханоя. Но по дороге я увидел ландшафт, который впечатлил не меньше бухты (возможно, это признаки профдеформации).
Через полтора часа из столицы Вьетнама скоростная трасса подводит к Хайфону - третьему по величине городу в стране. Дорога огибает Хайфон с юга и затем уходит на северо-восток вдоль побережья и наверх - на мост через реку Кам. На мосту, если посмотреть направо, открывается вид на большой порт: корабли, сияющие на солнце новенькие краны грузовых терминалов, склады и тысячи разноцветных контейнеров. Редко, где есть возможность с высоты посмотреть на такой индустриальный ландшафт.
Индустриальный ландшафт. Ч. 2
С колониальных времен Хайфон - главный порт в дельте Красной реки. Не знаю, что именно меня смутило, но полез смотреть исторические снимки Google. Сначала снимок 1998 г.: на северо-западе - сам город, моста еще нет и порта, который я видел, тоже нет, а еще... нет самой территории, на которой он появится. Только ячеистые структуры по берегам, образованные полукруглыми дамбами, намекают о грядущей трансформации ландшафта. На снимке 2024 г.: город отвоевал у Тонкинского залива огромные участки акватории, осушенные земли заняла портовая индустрия, сквозь острова на востоке прорублены каналы, а русла рек сжимают новые ячейки дамб и польдеров.
Если любопытно, вот здесь еще есть подборка исторических карт города более старых времен: https://saigoneer.com/vietnam-heritage/17830-maps-a-brief-cartographic-history-of-hai-phong-in-1898–1968#
С колониальных времен Хайфон - главный порт в дельте Красной реки. Не знаю, что именно меня смутило, но полез смотреть исторические снимки Google. Сначала снимок 1998 г.: на северо-западе - сам город, моста еще нет и порта, который я видел, тоже нет, а еще... нет самой территории, на которой он появится. Только ячеистые структуры по берегам, образованные полукруглыми дамбами, намекают о грядущей трансформации ландшафта. На снимке 2024 г.: город отвоевал у Тонкинского залива огромные участки акватории, осушенные земли заняла портовая индустрия, сквозь острова на востоке прорублены каналы, а русла рек сжимают новые ячейки дамб и польдеров.
Если любопытно, вот здесь еще есть подборка исторических карт города более старых времен: https://saigoneer.com/vietnam-heritage/17830-maps-a-brief-cartographic-history-of-hai-phong-in-1898–1968#
Природный ландшафт
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
Forwarded from Струя Добра (Ilya Abramov)
Какая новость!
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить вайб градиент перехода Урала в Сибирь.
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
Forwarded from (Не)изящный хинтерланд
"ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" должны будут выйти примерно к августу. Мы поехали в первую экспедицию по этому проекту в начале 2020 года, пандемия уже началась. Когда мы были в Заболотье, пришла новость о китайской студентке, которая заболела в Тюмени. Не мне судить, что получилось в научном плане, но для меня этот проект - личная вещь. Последние месяцы я много раз редактировал этот сборник и много раз вспоминал места, где побывал, людей, с которыми там был, и многое еще. Прекрасные воспоминания о довольно печальных временах. https://www.nlobooks.ru/books/studia_urbanica/28537/
НЛО
Провоцирующие ландшафты
Сеточные данные о плотности населения в России в 2021 г.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
Шелудков_и_др_Сеточные_данные_11_июня_2025.pdf
15 MB
Мы провели двухэтапную коррекцию данных, устранив 1) несоответствия результатам Всероссийской переписи населения 2021 г. на уровне муниципальных образований верхнего уровня и 2) ошибки размещения населения в промышленных зонах через сопоставление с данными о землепользовании из OSM. Результаты валидировали на трех городах с разной морфологией застройки - Саратове, Набережных Челнах и Краснодаре. Итоговая точность скорректированных данных, при сравнении с информацией из реестров жилого фонда, составила 47–56% для ячеек разрешением 100 м и 75–83% при агрегации по ячейкам разрешением 1 км.
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на [email protected]. Буду благодарен за обратную связь
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на [email protected]. Буду благодарен за обратную связь
Spatial machine learning with R
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь