О золотом стандарте в оценке от Алексея Кузьминова - можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?
О золотом стандарте в оценке от Алексея Кузьмина - можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?
https://evaluationconsulting.blogspot.com/2023/09/blog-post_22.html?m=1
О золотом стандарте в оценке от Алексея Кузьмина - можно ли выделить одну самую лучшую методику (или метод) оценки, к использованию которой должны стремиться все, кто проводит оценку, и на основании которой можно было бы судить о качестве оценки?
https://evaluationconsulting.blogspot.com/2023/09/blog-post_22.html?m=1
Blogspot
«Золотой стандарт» в оценке
Мы ищем в нашу команду исследователей с профилем "экономика-эконометрика-анализ данных" для новых проектов Лаборатории Сбериндекс.
Сбериндекс - это исследовательская лаборатория Сбера, которая занимается задачами population inference на основе транзакционных банковских данных. Команда состоит из исследователей (выпускники РЭШ, МФТИ, ВМК) и дата-инженеров с экспертизой источников данных. Наши стратегические задачи - подготовка высококачественных детальных гранулярных данных, сильные исследования с инсайтами о жизни людей, фирм и территорий в РФ.
Наш идеальный кандидат – экономист, математик или статистик с твердыми знаниями в области эконометрики и статистического анализа данных (знает, что такое causal inference, treatment effects, non-probability sample), с опытом участия или руководства (для позиции руководителя команды) исследовательскими проектами со сложной подготовкой данных, с интересом к аналитике финансового и потребительского поведения, к использованию данных для принятия управленческих решений.
Мы в первую очередь ищем лидера проектов с навыками руководства исследованиями со сложной подготовкой данных (пониманием того, что значит "80% времени на подготовку данных"), опытом вовлечения различных стейкхолдеров - владельцев данных, пользователей и т.д., умением организовать работу аналитиков.
Но также есть младшие позиции для вчерашних выпускников магистратуры и специалитета, junior-аналитиков. Требования - хорошие знания мат.статистики, экономики, Python, SQL (Apache Spark - знания или готовность освоить).
Что мы можем предложить?
#️⃣ Уникальный проект, ориентированный на амбициозную стратегию, - подготовка детальных датасетов для аналитики и исследований на основе больших данных, генерируемых платежными системами.
#️⃣ Работа с данными различной природы, из различных источников, а также возможность познакомиться с тем, как устроены различные стороны бизнеса банка и технологической компании
#️⃣ Активное взаимодействие с ключевыми экспертами в разных сферах (отраслях, исследовании данных, подготовке решений)
#️⃣ Результаты вашей работы будут иметь реальное влияние на стратегии бизнеса, государства, возможности улучшать условия жизни людей. У вас будет постоянный контакт и обратная связь от руководства.
#️⃣ Достойный уровень оплаты труда.
Ждем резюме и краткое (2-3 абзаца) мотивационное письмо на [email protected]
Сбериндекс - это исследовательская лаборатория Сбера, которая занимается задачами population inference на основе транзакционных банковских данных. Команда состоит из исследователей (выпускники РЭШ, МФТИ, ВМК) и дата-инженеров с экспертизой источников данных. Наши стратегические задачи - подготовка высококачественных детальных гранулярных данных, сильные исследования с инсайтами о жизни людей, фирм и территорий в РФ.
Наш идеальный кандидат – экономист, математик или статистик с твердыми знаниями в области эконометрики и статистического анализа данных (знает, что такое causal inference, treatment effects, non-probability sample), с опытом участия или руководства (для позиции руководителя команды) исследовательскими проектами со сложной подготовкой данных, с интересом к аналитике финансового и потребительского поведения, к использованию данных для принятия управленческих решений.
Мы в первую очередь ищем лидера проектов с навыками руководства исследованиями со сложной подготовкой данных (пониманием того, что значит "80% времени на подготовку данных"), опытом вовлечения различных стейкхолдеров - владельцев данных, пользователей и т.д., умением организовать работу аналитиков.
Но также есть младшие позиции для вчерашних выпускников магистратуры и специалитета, junior-аналитиков. Требования - хорошие знания мат.статистики, экономики, Python, SQL (Apache Spark - знания или готовность освоить).
Что мы можем предложить?
#️⃣ Уникальный проект, ориентированный на амбициозную стратегию, - подготовка детальных датасетов для аналитики и исследований на основе больших данных, генерируемых платежными системами.
#️⃣ Работа с данными различной природы, из различных источников, а также возможность познакомиться с тем, как устроены различные стороны бизнеса банка и технологической компании
#️⃣ Активное взаимодействие с ключевыми экспертами в разных сферах (отраслях, исследовании данных, подготовке решений)
#️⃣ Результаты вашей работы будут иметь реальное влияние на стратегии бизнеса, государства, возможности улучшать условия жизни людей. У вас будет постоянный контакт и обратная связь от руководства.
#️⃣ Достойный уровень оплаты труда.
Ждем резюме и краткое (2-3 абзаца) мотивационное письмо на [email protected]
Неправильные данные: любой ответ в кратчайший срок?
В мире, где данные играют ключевую роль в принятии решений, удивительно часто появляется утверждение "лучше плохие данные/ доказательства, чем вообще никаких".
Понятно, что есть два случая:
◽️ данные ‘плохие’, но есть понимание их ограничений и качества. Тогда аналитика может быть ценной, потому что раскрывает важные механизмы бизнеса, сбои в процессах, выступает в свою очередь фактором улучшения качества данных. Но результаты и выводы должны учитывать качество доказательств. Как правило, градус риторики в этом случае должен ослабляться.
◽️ данные ‘плохие’, нет понимания ограничений качества. Прямая дорога к принятию неверных решений (мусор на входе - мусор на выходе).
Почему люди в принципе стремятся опираться на данные, даже без оглядки на их качество?
Во-первых, текстовая информация, которая сопровождается числовыми данными, создает впечатление объективности, конкретности, точности, измеримости и структурированности. Сам поиск и обработка данных для аргументации занимает время, так что невольно кажется, что аргумент “с данными” вызывает доверие. Кроме того, в науке использование данных - общая практика, так что опора на числовые данные придает ауру научности и профессионализма. Даже без реальной аналитики.
Во-вторых, человек автоматически предпочитает “любые данные, не обязательно качественные” из-за предпочтения определенности. Неопределенность вызывает дискомфорт, чувство определенности и уверенности - желаемое эмоциональное состояние, результат действия непроизвольных механизмов мозга за пределами сознательного выбора и мыслительного процесса. Такие механизмы направлены на снижение когнитивной перегрузки и преодоление парализующего страха неопределенности, это целый ансамбль когнитивных искажений.
Например, организация сталкивается с проблемой (например, неожиданное снижение продаж). Проблема может быть вызвана разными факторами, но реальная причина неизвестна. К тому же, для организации это одна проблема из целого множества, требующих реакции. Потребность в когнитивном закрытии подталкивает к формированию окончательного мнения и быстрому принятию решения. Для этого на практике может подойти самый первый ответ, лежащий на поверхности, если этот ответ подкрепляется хоть какими-то данными. Почему?
Нерешенная проблема создает напряжение, заставляет возвращаться к решению и мешает заниматься другими задачами. Такое наблюдение было описано в исследованиях Б.Зейгарник о том, что люди склонны запоминать незавершенные задачи и стремиться их завершить. Силы, стоящие за этим механизмом поиска “любого ответа в кратчайший срок”, нацелены на быструю адаптацию и высвобождение ресурсов. Но приводят к системному недостатку более глубокого и детального исследования новых или противоречивых данных, а значит к стратегическим рискам ошибочных решений.
Можно ли на организационном уровне полностью избавиться от подобных искажений data-driven решений? Проблему точно нужно решать. Полноценные исследования “на данных” требуют времени, ресурсов и связаны с высокой неопределенностью. Но даже не полное исследование, а его часть может быть полезна - оценка областей риска, генерация гипотез, анализ релевантной литературы, описательные статистики с аккуратной интерпретацией. Одно из потенциальных решений - фокусировка на приоритетных областях и подготовка по ним исследовательской повестки с более длинным горизонтом для получения результата.
Ситуация осложняется тем, что более точная информация сложнее, чем упрощенные и быстрые версии, что требует больше усилий как для понимания, так и для коммуникации. Многим известна проблема, когда человеку легче объяснить, что данных вообще нет, чем что данные есть, но использовать их нельзя из-за низкого качества. Коммуникация качества данных - непростая задача.
В мире, где данные играют ключевую роль в принятии решений, удивительно часто появляется утверждение "лучше плохие данные/ доказательства, чем вообще никаких".
Понятно, что есть два случая:
◽️ данные ‘плохие’, но есть понимание их ограничений и качества. Тогда аналитика может быть ценной, потому что раскрывает важные механизмы бизнеса, сбои в процессах, выступает в свою очередь фактором улучшения качества данных. Но результаты и выводы должны учитывать качество доказательств. Как правило, градус риторики в этом случае должен ослабляться.
◽️ данные ‘плохие’, нет понимания ограничений качества. Прямая дорога к принятию неверных решений (мусор на входе - мусор на выходе).
Почему люди в принципе стремятся опираться на данные, даже без оглядки на их качество?
Во-первых, текстовая информация, которая сопровождается числовыми данными, создает впечатление объективности, конкретности, точности, измеримости и структурированности. Сам поиск и обработка данных для аргументации занимает время, так что невольно кажется, что аргумент “с данными” вызывает доверие. Кроме того, в науке использование данных - общая практика, так что опора на числовые данные придает ауру научности и профессионализма. Даже без реальной аналитики.
Во-вторых, человек автоматически предпочитает “любые данные, не обязательно качественные” из-за предпочтения определенности. Неопределенность вызывает дискомфорт, чувство определенности и уверенности - желаемое эмоциональное состояние, результат действия непроизвольных механизмов мозга за пределами сознательного выбора и мыслительного процесса. Такие механизмы направлены на снижение когнитивной перегрузки и преодоление парализующего страха неопределенности, это целый ансамбль когнитивных искажений.
Например, организация сталкивается с проблемой (например, неожиданное снижение продаж). Проблема может быть вызвана разными факторами, но реальная причина неизвестна. К тому же, для организации это одна проблема из целого множества, требующих реакции. Потребность в когнитивном закрытии подталкивает к формированию окончательного мнения и быстрому принятию решения. Для этого на практике может подойти самый первый ответ, лежащий на поверхности, если этот ответ подкрепляется хоть какими-то данными. Почему?
Нерешенная проблема создает напряжение, заставляет возвращаться к решению и мешает заниматься другими задачами. Такое наблюдение было описано в исследованиях Б.Зейгарник о том, что люди склонны запоминать незавершенные задачи и стремиться их завершить. Силы, стоящие за этим механизмом поиска “любого ответа в кратчайший срок”, нацелены на быструю адаптацию и высвобождение ресурсов. Но приводят к системному недостатку более глубокого и детального исследования новых или противоречивых данных, а значит к стратегическим рискам ошибочных решений.
Можно ли на организационном уровне полностью избавиться от подобных искажений data-driven решений? Проблему точно нужно решать. Полноценные исследования “на данных” требуют времени, ресурсов и связаны с высокой неопределенностью. Но даже не полное исследование, а его часть может быть полезна - оценка областей риска, генерация гипотез, анализ релевантной литературы, описательные статистики с аккуратной интерпретацией. Одно из потенциальных решений - фокусировка на приоритетных областях и подготовка по ним исследовательской повестки с более длинным горизонтом для получения результата.
Ситуация осложняется тем, что более точная информация сложнее, чем упрощенные и быстрые версии, что требует больше усилий как для понимания, так и для коммуникации. Многим известна проблема, когда человеку легче объяснить, что данных вообще нет, чем что данные есть, но использовать их нельзя из-за низкого качества. Коммуникация качества данных - непростая задача.
Forwarded from Alexey Gazaryan
Спасибо, тема точно есть. Как решение, предлагаю рассматривать два вида доказательств: быстрые и медленные.
Быстрые доказательства - те, что можно найти для решений, которые требуют принятия в диапазоне от трёх часов до месяца.
Медленные - соответственно более месяца.
Если исходно понимать, что для руководителей могут быть необходимы как быстрые, так и медленные, то к этому следует готовиться.
Так, например, для быстрых доказательств хорошего качества - нужна заранее подготовленная база экспертов, реестр исследований по теме, наличие "законсервированных" данных, полученных ранее, во время проведения долгосрочных исследований. Тогда, мы в момент поступления задачи по подготовке аргументов стартуем не с чистого листа.
С медленными доказательствами хорошего качества чуть проще, поскольку время позволяет делать очень многие вещи, вплоть до экспериментов
Быстрые доказательства - те, что можно найти для решений, которые требуют принятия в диапазоне от трёх часов до месяца.
Медленные - соответственно более месяца.
Если исходно понимать, что для руководителей могут быть необходимы как быстрые, так и медленные, то к этому следует готовиться.
Так, например, для быстрых доказательств хорошего качества - нужна заранее подготовленная база экспертов, реестр исследований по теме, наличие "законсервированных" данных, полученных ранее, во время проведения долгосрочных исследований. Тогда, мы в момент поступления задачи по подготовке аргументов стартуем не с чистого листа.
С медленными доказательствами хорошего качества чуть проще, поскольку время позволяет делать очень многие вещи, вплоть до экспериментов
Ключевая задача оценки или аудита - разработка критериев. Даже если нет подходящих показателей в проекте (федпроекте, госзадании и т.п.), это не означает, что возможность оценки эффектов отсутствует. Собственно, даже если показатель в проекте есть, остается задача, насколько сам проект на самом деле «шевелит» этот показатель.
«Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».
https://www.group-telegram.com/kuzmalexey/79
«Государственное задание Центра и результаты федеральных проектов, в реализации которых он участвует, не содержат параметров, позволяющих оценивать влияние проводимых мероприятий на целевую аудиторию. В связи с этим отсутствует возможность оценки возникающих социальных эффектов, что в свою очередь не позволяет оценить обоснованность масштабов организации мероприятий в сфере молодежной политики».
https://www.group-telegram.com/kuzmalexey/79
Telegram
Оценка программ и проектов. Блог Алексея Кузьмина.
Счетная палата проверила деятельность Роспатриотцентра. Аудитор Счетной палаты Даниил Шилков сообщил, что в целом все неплохо, но отметил два недостатка. https://evaluationconsulting.blogspot.com/2024/03/blog-post_20.html
Мы ищем аналитика в Сбериндекс для развития портала открытых данных
Сбериндекс - это исследовательская лаборатория Сбера, которая работает над экономической статистикой на основе транзакционных данных банка. Осенью этого года мы начинаем модернизацию сайта открытых данных www.sberindex.ru, которая ориентирована на рост детальности наборов данных и удобство для пользователей. Мы ищем аналитика, которому было бы интересно внедрять передовые практики поставки статистических данных и развивать функциональность портала открытых данных.
Обязанности и функции:
◽️ Проводить анализ передовых практик порталов и стандартов открытых статистических данных , быть заказчиком и консультантом в проектировании и разработке портала открытых данных
◽️ Быть менеджером продукта - администрирование, мониторинг размещения данных, интеграций, инициация изменений, стратегия развития портала и т.д.
◽️ Координировать и организовывать сотрудничество с разработчиками, пользователями, поставщиками данных, исследователями
◽️ Участвовать в разработке дэшбордов, визуализаций данных, лендингов для исследований совместно с аналитиками данных
◽️ Разрабатывать техническую документацию, руководства для пользователей, стандарты лучших практик, схемы рабочих процессов для публикации данных
◽️ Помогать пользователям и владельцам данных, проводить обучение, информировать о работе портала
Требования:
◽️ высшее образование (техническая специальность)
◽️ прикладные навыки использования основных библиотек Python
◽️ знание основ управления данными, баз данных, визуализации данных, опыт работы с API
◽️ знание различных форматов данных (parquet, JSON-Stat, CSV и т.п.) и метаданных
◽️ интерес к стандартам и практикам публикации открытых данных, готовность погружаться в изучение и внедрение лучших практик
◽️ плюсом будут навыки разработки технических требований, знакомство с процессами разработки порталов данных, умение определять потребности пользователей дата-продуктов
Резюме и мотивационное письмо можно направлять на [email protected]
Сбериндекс - это исследовательская лаборатория Сбера, которая работает над экономической статистикой на основе транзакционных данных банка. Осенью этого года мы начинаем модернизацию сайта открытых данных www.sberindex.ru, которая ориентирована на рост детальности наборов данных и удобство для пользователей. Мы ищем аналитика, которому было бы интересно внедрять передовые практики поставки статистических данных и развивать функциональность портала открытых данных.
Обязанности и функции:
◽️ Проводить анализ передовых практик порталов и стандартов открытых статистических данных , быть заказчиком и консультантом в проектировании и разработке портала открытых данных
◽️ Быть менеджером продукта - администрирование, мониторинг размещения данных, интеграций, инициация изменений, стратегия развития портала и т.д.
◽️ Координировать и организовывать сотрудничество с разработчиками, пользователями, поставщиками данных, исследователями
◽️ Участвовать в разработке дэшбордов, визуализаций данных, лендингов для исследований совместно с аналитиками данных
◽️ Разрабатывать техническую документацию, руководства для пользователей, стандарты лучших практик, схемы рабочих процессов для публикации данных
◽️ Помогать пользователям и владельцам данных, проводить обучение, информировать о работе портала
Требования:
◽️ высшее образование (техническая специальность)
◽️ прикладные навыки использования основных библиотек Python
◽️ знание основ управления данными, баз данных, визуализации данных, опыт работы с API
◽️ знание различных форматов данных (parquet, JSON-Stat, CSV и т.п.) и метаданных
◽️ интерес к стандартам и практикам публикации открытых данных, готовность погружаться в изучение и внедрение лучших практик
◽️ плюсом будут навыки разработки технических требований, знакомство с процессами разработки порталов данных, умение определять потребности пользователей дата-продуктов
Резюме и мотивационное письмо можно направлять на [email protected]
Анализ российских данных на внутрирегиональном уровне осложняется изменениями границ муниципальных образований, изменениями их типов, названий и кодов ОКТМО.
С 2018 по 2024 гг. изменилась муниципальная структура более 40 регионов:
◽️ есть регионы, где все муниципалитеты меняли свои типы - Магаданская и Курганская области, Ставропольский край, ЯНАО, Удмуртия и др.;
◽️есть регионы, где было большое количество изменений границ - Московская область, Пермский край и др. - около 3% муниципалитетов России в 17 регионах.
Масштаб изменений сильно осложняет сбор панельных данных по муниципалитетам. При этом процесс преобразований не прекращается. Но удобных открытых машиночитаемых данных о таких преобразованиях нет.
Поэтому мы собрали базу данных об изменениях муниципалитетов и их границ, теперь можно:
🔸прочитать в статье на habr о проблемах данных на муниципальном уровне и как мы собрали и объединили данные из Росстата и OpenStreetMap;
🔸скачать с сайта СберИндекса версионный справочник муниципальных образований и пространственный слой с границами муниципалитетов с 2018 г.
Эта информация может помочь:
◽️ геоаналитикам, заинтересованным в данных о границах муниципальных образований
◽️исследователям, которые работают с муниципальными данными
◽️при проектировании БДПМО 2.0. Росстата
С 2018 по 2024 гг. изменилась муниципальная структура более 40 регионов:
◽️ есть регионы, где все муниципалитеты меняли свои типы - Магаданская и Курганская области, Ставропольский край, ЯНАО, Удмуртия и др.;
◽️есть регионы, где было большое количество изменений границ - Московская область, Пермский край и др. - около 3% муниципалитетов России в 17 регионах.
Масштаб изменений сильно осложняет сбор панельных данных по муниципалитетам. При этом процесс преобразований не прекращается. Но удобных открытых машиночитаемых данных о таких преобразованиях нет.
Поэтому мы собрали базу данных об изменениях муниципалитетов и их границ, теперь можно:
🔸прочитать в статье на habr о проблемах данных на муниципальном уровне и как мы собрали и объединили данные из Росстата и OpenStreetMap;
🔸скачать с сайта СберИндекса версионный справочник муниципальных образований и пространственный слой с границами муниципалитетов с 2018 г.
Эта информация может помочь:
◽️ геоаналитикам, заинтересованным в данных о границах муниципальных образований
◽️исследователям, которые работают с муниципальными данными
◽️при проектировании БДПМО 2.0. Росстата
Сила историй: цифры не всегда громче всех, и это полезно знать для бизнеса, СМИ и policy
Я уже писала о примечательной, но противоречивой силе числовых фактов, почти автоматически связанных с доверием и объективностью.
Недавнее экспериментальное исследование показывает, что статистика (количественные данные) и истории (качественный нарратив) по-разному влияют на формирование убеждений [1].
В результате ограничений памяти убеждения частично возвращаются со временем к исходному априорному значению для обоих типов информации. Но исследователи обнаружили различие между статистикой и историями в динамике изменения убеждений: влияние историй на убеждения ослабевает меньше, чем влияние статистики.
◽️ Статистика воспринимается как более информативная и в краткосрочной перспективе (Immediate) оказывает большее влияние на убеждения, чем истории.
◽️ Но со временем (Delay) ситуация меняется: влияние статистики уменьшается, и истории в итоге могут оказывать более сильное воздействие. Величина возврата убеждений к априорному значению более чем в два раза выше для статистики (73%), чем для историй (33%), что указывает на более устойчивое воздействие качественных нарративов на убеждения.
Преимущество историй еще и в том, что истории не только "очеловечивают" абстрактные числа, но и помещают данные в запоминаемый контекст. Истории, обогащенные качественными деталями и семантическими связями, легче вспоминаются: участники эксперимента в 62% случаев правильно вспоминали детали историй по сравнению с 27% для статистики.
[1] Graeber, T., Roth, C., & Zimmermann, F. (2024). Stories, statistics, and memory. The Quarterly Journal of Economics, qjae020.
Я уже писала о примечательной, но противоречивой силе числовых фактов, почти автоматически связанных с доверием и объективностью.
Недавнее экспериментальное исследование показывает, что статистика (количественные данные) и истории (качественный нарратив) по-разному влияют на формирование убеждений [1].
В результате ограничений памяти убеждения частично возвращаются со временем к исходному априорному значению для обоих типов информации. Но исследователи обнаружили различие между статистикой и историями в динамике изменения убеждений: влияние историй на убеждения ослабевает меньше, чем влияние статистики.
◽️ Статистика воспринимается как более информативная и в краткосрочной перспективе (Immediate) оказывает большее влияние на убеждения, чем истории.
◽️ Но со временем (Delay) ситуация меняется: влияние статистики уменьшается, и истории в итоге могут оказывать более сильное воздействие. Величина возврата убеждений к априорному значению более чем в два раза выше для статистики (73%), чем для историй (33%), что указывает на более устойчивое воздействие качественных нарративов на убеждения.
Преимущество историй еще и в том, что истории не только "очеловечивают" абстрактные числа, но и помещают данные в запоминаемый контекст. Истории, обогащенные качественными деталями и семантическими связями, легче вспоминаются: участники эксперимента в 62% случаев правильно вспоминали детали историй по сравнению с 27% для статистики.
[1] Graeber, T., Roth, C., & Zimmermann, F. (2024). Stories, statistics, and memory. The Quarterly Journal of Economics, qjae020.
Telegram
Путеводитель по док.политике
Неправильные данные: любой ответ в кратчайший срок?
В мире, где данные играют ключевую роль в принятии решений, удивительно часто появляется утверждение "лучше плохие данные/ доказательства, чем вообще никаких".
Понятно, что есть два случая:
◽️ данные…
В мире, где данные играют ключевую роль в принятии решений, удивительно часто появляется утверждение "лучше плохие данные/ доказательства, чем вообще никаких".
Понятно, что есть два случая:
◽️ данные…
Forwarded from Счетная палата РФ
Этот день – повод напомнить о масштабном проекте Счетной палаты – «Архив». На специальной странице нашего сайта вы можете найти более 3500 оцифрованных проверок СП с 1996 года.
Мы проводим хакатон на муниципальных данных. Среди задач - аналитика муниципалитетов и регионов, AI-агенты и визуализация детальных данных. Официальная статистика сосредоточена на федеральных и региональных данных, но самое ценное - на уровнях ниже. Участвуйте, будет интересно! 7 июня, Кутузовский, 32
https://www.sberbank.com/ru/hackathon_sberindex
https://www.sberbank.com/ru/hackathon_sberindex
Sberbank
Присоединяйтесь к Хакатону СберИндекса
Исследуйте страну и общество через данные и создавайте AI-решения, которые помогут лучше понять мир вокруг нас
Будущее рабочих процессов с AI агентами: рамка для аудита
Быстрое внедрение AI-агентов в бизнесе и госуправлении будет основным фактором трансформации рабочих процессов в ближайшее время. Полезно иметь рамку для аудита, чтобы понимать:
◽️ что фактически автоматизируется в организации;
◽️ требуется ли полная автономность агентов или партнерство с участием человека;
◽️ где именно нужно внедрять AI агентов с точки зрения потенциала, технической реализуемости и мнения сотрудников.
Статья “Future of Work with AI Agents” (Shao et al., 2025, Stanford) как раз описывает такую методологию оценки на уровне выполняемых задач (не целых профессий) и результаты ее применения по итогам сбора мнений 1500 работников из 104 процессий, независимых оценок 52 AI-экспертов для оценки технической реализуемости автоматизации по тем же задачам.
При этом используются ключевые метрики:
◽️ желание автоматизации со стороны работника;
◽️техническая реализуемость задачи современными AI-агентами;
◽️ желаемый и допустимый уровень человеческой вовлечённости, который оценивается по шкале Human Agency Scale от 1 (полная автономность) до 5 (незаменимость человека):
- H1 - AI агент полностью выполняет задачу самостоятельно
- H2 - требуется минимальное участие человека
- H3 - равное партнёрство: AI агент и человек дополняют друг друга (доминирует в 45.2% профессий, по мнению сотрудников)
- H4 - AI агент нуждается в регулярном вмешательстве человека
- H5 - AI агент неспособен выполнять задачу без постоянного участия человека (это только 1% задач)
Работники в целом предпочитают более высокий уровень вовлечения человека, даже если AI-технологии позволяют большую автономию AI-агентов.
Работников в интервью просили кратко описать работу, выполняемые задачи, наиболее частые и важные задачи, используемые инструменты, подробное описание 3 основных задач, чтобы понять их структуру и сложность, мнение о применении AI в работе. Результаты использовались для качественного объяснения результатов анкетирования.
В итоге:
◽️46.1% задач получили положительную оценку для автоматизации. Это в основном рутинные и низкозначимые задачи.
◽️ есть несоответствие между желаемой автоматизацией и техническими возможностями текущего поколения AI агентов (для визуализации соотношение между желаемым и возможным разбили на 4 зоны - зелёная зона (желательно и возможно - приоритет для внедрения), красная зона: возможно, но нежелательно — потенциальный конфликт, R&D-зона: желательно, но пока невозможно - область для исследований, низкий приоритет: ни желания, ни возможности.
Интересно, что анализ инвестиций стартапов Y Combinator и реальных запросов на автоматизацию показал, что 41% компаний ориентированы на задачи, которые либо не желательны для автоматизации, либо малоприоритетны с точки зрения работников. Задачи из "зеленой" и R&D-зоны остаются недоинвестированными.
На основе mixed-effects оценили влияние различных факторов на желание работников автомазировать задачу, помимо самих характеристика задач.
Чаще выступают за автоматизацию:
◽️ респонденты с большим опытом работы и большим уровнем образования (вероятно, лучше понимают, чем AI агенты реально могут помочь)
◽️ с позитивным отношением к AI
◽️ с более высоким доходом
◽️активно используют LLM
Рисунок 7 о трансформации востребованных компетенции - одно из самых интересных в статье
Быстрое внедрение AI-агентов в бизнесе и госуправлении будет основным фактором трансформации рабочих процессов в ближайшее время. Полезно иметь рамку для аудита, чтобы понимать:
◽️ что фактически автоматизируется в организации;
◽️ требуется ли полная автономность агентов или партнерство с участием человека;
◽️ где именно нужно внедрять AI агентов с точки зрения потенциала, технической реализуемости и мнения сотрудников.
Статья “Future of Work with AI Agents” (Shao et al., 2025, Stanford) как раз описывает такую методологию оценки на уровне выполняемых задач (не целых профессий) и результаты ее применения по итогам сбора мнений 1500 работников из 104 процессий, независимых оценок 52 AI-экспертов для оценки технической реализуемости автоматизации по тем же задачам.
При этом используются ключевые метрики:
◽️ желание автоматизации со стороны работника;
◽️техническая реализуемость задачи современными AI-агентами;
◽️ желаемый и допустимый уровень человеческой вовлечённости, который оценивается по шкале Human Agency Scale от 1 (полная автономность) до 5 (незаменимость человека):
- H1 - AI агент полностью выполняет задачу самостоятельно
- H2 - требуется минимальное участие человека
- H3 - равное партнёрство: AI агент и человек дополняют друг друга (доминирует в 45.2% профессий, по мнению сотрудников)
- H4 - AI агент нуждается в регулярном вмешательстве человека
- H5 - AI агент неспособен выполнять задачу без постоянного участия человека (это только 1% задач)
Работники в целом предпочитают более высокий уровень вовлечения человека, даже если AI-технологии позволяют большую автономию AI-агентов.
Работников в интервью просили кратко описать работу, выполняемые задачи, наиболее частые и важные задачи, используемые инструменты, подробное описание 3 основных задач, чтобы понять их структуру и сложность, мнение о применении AI в работе. Результаты использовались для качественного объяснения результатов анкетирования.
В итоге:
◽️46.1% задач получили положительную оценку для автоматизации. Это в основном рутинные и низкозначимые задачи.
◽️ есть несоответствие между желаемой автоматизацией и техническими возможностями текущего поколения AI агентов (для визуализации соотношение между желаемым и возможным разбили на 4 зоны - зелёная зона (желательно и возможно - приоритет для внедрения), красная зона: возможно, но нежелательно — потенциальный конфликт, R&D-зона: желательно, но пока невозможно - область для исследований, низкий приоритет: ни желания, ни возможности.
Интересно, что анализ инвестиций стартапов Y Combinator и реальных запросов на автоматизацию показал, что 41% компаний ориентированы на задачи, которые либо не желательны для автоматизации, либо малоприоритетны с точки зрения работников. Задачи из "зеленой" и R&D-зоны остаются недоинвестированными.
На основе mixed-effects оценили влияние различных факторов на желание работников автомазировать задачу, помимо самих характеристика задач.
Чаще выступают за автоматизацию:
◽️ респонденты с большим опытом работы и большим уровнем образования (вероятно, лучше понимают, чем AI агенты реально могут помочь)
◽️ с позитивным отношением к AI
◽️ с более высоким доходом
◽️активно используют LLM
Рисунок 7 о трансформации востребованных компетенции - одно из самых интересных в статье