В продолжение про NAO и другие инструменты вайб кодинга такие как Cursor, Copilot и тд. Их становится всё больше, хайпа вокруг них тоже немало. Что с этим делать и как к этому относиться?

1. AI инструменты для программистов явление обоюдоострое, чрезвычайно полезная там где они оттестированы и вредны там где нет. Из личного опыта, Copilot прекрасно обогащает CSV файлы по промпту. Например, грузишь CSV файл с перечнем названий стран на итальянском и просишь создать и заполнить колонку с их кодом из справочника ISO3166-1. А вот, например, запрос к Claude 3.5 (не самая мощная модель, да) на то чтобы получить рекомендации по оптимизации кода, в 2-х из 5-ти рекомендаций он выдал лютые глюки с несуществующими функциями.
2. Тем не менее в руках senior и middle разработчиков это сильное подспорье, способное значительно облегчить работу в очень многих задачах. Причём чем опытнее разработчик тем эффективнее будет инструмент. Правда не все разработчики старой школы готовы ИИ агентами пользоваться.
3. И наоборот, я бы поостерёгся брать на работу джуниоров-вайбкодеров потому что "важное не ударить, а знать где ударить". Последствия могут быть плохопредсказуемыми и лично я придерживаюсь мнения что не набив шишек на реальной работе вайбкодить нельзя категорически.
4. При этом применение LLM для работы с данными значительно сложнее. Почему? Потому что открытого кода и кусочков кода в сети безграничное количество, многие не будут опасаться отправлять свой код в облачные LLM, если только это не код каких-то уникальных алгоритмов, а это уже редкость. А вот данные могут содержать персональные данные, коммерческую тайну и ещё много чего. Использовать для анализа корп данных облачные LLM будет плохой практикой.
5. AI инструменты для разработчиков пытаются сделать повседневными. Что это значит? Максимальное упрощение пользовательского пути до ИИ агента. Примеры Cursor, NAO и ряда других AI IDE это про это. Такие инструменты создают ситуацию когда ты можешь отправить свой код или данные в любой момент в LLM, как говорится, одно неосторожное движение и... Для создателей инструментов это то о чём многие мечтали, наконец-то можно делать IDE зависящее от облачных сервисов и разработчики будут соглашаться авторизовываться и работать в облаке. IDE по подписке в общем. Для разработчиков будет развилка, открытые бесплатные IDE вроде VSCodium или продвинутые зависящие от облачных ИИ агентов.

#thoughts #ai

Полезные ссылки про данные, технологии и не только:
- Why Parquet Is the Go-To Format for Data Engineers про формат Parquet, его особенности и трюки/оптимизации при работе с этими файлами. Полезно для тех кто про формат уже слышал, но почти не использовал.
- Data.gouv.fr High-value datasets свежая страница на французском национальном портале открытых данных с наборами данных высокой ценности (в терминах регулирования Евросоюза).
- Data Paper Index (China) - каталог статей на данных (data papers) из более чем 2,2 тысяч статей в 100 научных журналах и связанные с 11 научными репозиториями. Основные темы: окружающая среда, науки о земле. напомню что data papers - это вид научных статей опубликованных вокруг одного или нескольких наборов данных.

#opendata #datasets #dataengineering

Тренды и мысли по поводу данных и ИИ. Собрал в кучу размышления последних недель:
1. Почти все LLM умеют в анализ текстовых и легко преобразуемых в тексты данных и документов и совсем почти не умеют в бинарное, например, разобрать какой-нибудь geopackage или 3D модель или файлы parquet. Интересно появятся ли сервисы умеющие такое или надо делать своё уже?
2. MCP протокол внедряется повсеместно включая сервисы которые предлагают быстрое создание MCP на базе API. При том что MCP выглядит кривым-косым и неправильным архитектурно. Нужны и другие интерфейсы к API и к данным. Причём для данных MCP кажется особенно кривым инструментом. Но тренд явный и нарастающий
3. Корп каталоги данных по прежнему актуальны для задач комплаенса и для организации работы инженеров и data scientist'ов когда есть условно от 5 дата команд и более, но в целом это уже сложившийся и постепенно отмирающий, не развивающийся рынок.
4. Нет сервисов дата документации, не считая Castor'а который купили Coalesce. Сервисы документирования API есть, создания документации к интерфейсам есть, а дата документации автоматизированной нет.
5. Ведущие ИИ агенты хорошо анализируют Excel файлы, и PDF файлы, файлы MS Word, но не дают потокового API для этих задач.
6. Как интегрировать веб-архивацию и LLMки сейчас? Сделать универсальный MCP интерфейс к WARC файлам? Рынка здесь нет, польза может быть.
7. DuckDB массово используется как ядро для огромного числа продуктов, коммерческих, открытых, некоммерческих и тд. Хочешь сделать инструмент для манипуляции данными? DuckDB самый очевидный ответ, альтернативы Polars или Clickhouse

#thoughts #data #dataengineering

В блоге IMF про стремительно растущее энергопотребление дата центров [1]. О том что все дата центры мира уже потребляют больше электричества чем Франция, а скоро будут потреблять больше электричества чем вся Россия.

Так в 2023 году дата центры потребляли порядка 500 тераватточасов, а к 2030 году ожидается 1500 тераватточасов.

Даже интересно пробудит ли это интерес инвесторов и резкий прогресс к термоядерной энергетике и другим способам получения больших объёмов электроэнергии или же перефокусировке разработчиков чипов с производительности на снижение энергопотребления?

В апреле из IMF была работа Power Hungry: How AI Will Drive Energy Demand [2] и там как-то всё было неопределенно. О том что появление моделей вроде Deepseek позволяет экономить на энергопотреблении, но, одновременно стимулирование применение ИИ теми кто ранее не мог себе этого позволить. И есть риски как недоинвестиций в энергетику и дата центры, так и роста цена на электричество при росте потребления.

У IMF, оказывается, есть прогностическая модель IMF-ENV [3] для оценки применения регулирования и реализация доказательной политики где как раз сильный фокус на поставки и потребление энергии.

И, конечно, про данные. Больше данных о энергопотреблении датацентров можно узнать:
- на сайте МЭА [4] - дают график, не дают скачать
- в США на сайте департамента энергетики отчёт за 2024 г. [5]
- в докладе ЕС в 2024 году [6] за 2023 год
- в официальной статистики Ирландии [7] за 2023 год

Ссылки:
[1] https://www.imf.org/en/Blogs/Articles/2025/05/13/ai-needs-more-abundant-power-supplies-to-keep-driving-economic-growth
[2] https://www.imf.org/en/Publications/WP/Issues/2025/04/21/Power-Hungry-How-AI-Will-Drive-Energy-Demand-566304
[3] https://www.imf.org/en/Publications/WP/Issues/2025/04/11/IMF-ENV-Integrating-Climate-Energy-and-Trade-Policies-in-a-General-Equilibrium-Framework-565817
[4] https://www.iea.org/data-and-statistics/charts/data-centre-electricity-consumption-by-region-base-case-2020-2030
[5] https://www.energy.gov/articles/doe-releases-new-report-evaluating-increase-electricity-demand-data-centers
[6] https://publications.jrc.ec.europa.eu/repository/handle/JRC135926
[7] https://www.cso.ie/en/releasesandpublications/ep/p-dcmec/datacentresmeteredelectricityconsumption2023/keyfindings/

#energy #dataviz #IMF #datasets #opendata

Cloudflare теперь по умолчанию блокируют все AI боты о чем и пишут в официальном пресс-релизе [1], а в мае они предлагали механизм для аутентификации ИИ ботов [2] и, похоже, будут активно его продвигать как стандарт.

Шаг, в каком-то смысле ожидаемый, хочется надеяться что их теперь не купит какая-нибудь-крупная-AI-компания потому что выступая в роли CDN Cloudflare естественным образом, хотя бы и временно, но пропускает через свою инфраструктуру огромные объёмы контента. Рано или поздно это поймут те кому этот контент так нужен.

Но это если и произойдёт, то не сегодня, а пока Cloudflare явно играют на стороне своих клиентов, владельцев и создателей контента.

Ссылки:
[1] https://www.cloudflare.com/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/
[2] https://blog.cloudflare.com/web-bot-auth/

#ai #aibots

Это странное слово ДЖУН

Я никогда особенно не задумывался, в какой момент на ИТ рынке появилась эта странная градация на джунов, мидлов и синьоров, но вот сейчас тут и там натыкаешься на вселенский вой и заламывание виртуальных рук: джунов перестают брать на работу.

Причины называются разные и все они разной степени фантазийности. Особенно доставляет сваливать все на ИИ (хотя сейчас все на него сваливают). Но нигде не звучит гипотеза, что процесс был изначально предопределен без всякого ИИ и что ситуация развивается вполне гармонично.

Причина, как мне представляется, проста – в какой-то момент на рынке разработчиков возник дефицит рабочих рук и компании начали нанимать, грубо говоря, кого попало. А еще точнее – от безысходности брать учеников и доучивать их за свой счет.

Так было в моем, еще советском детстве, когда на каждой промышленной проходной требовались токари и фрезеровщики, а про инженеров часто вообще не было ни строчки. Потому что рабочих не хватало, а инженерами (о деятельности которых одних анекдотов было почти как про Чапаева и Петьку) были все укомплектованы под завязку.

Как следствие – заводы и фабрики набирали учеников слесаря или токаря, чтобы учить его, пришедшего с улицы, за свой счет (допускаю, что иногда на зарплату больше инженерной), а вот учеников инженера никто не звал.

С программистами происходило приблизительно так же. С массовым сумасшествием в виде срочных курсов подготовки «кого хочешь, но шо б в ИТ». А уж HR-ы постарались придать всему этому некий лоск (согласитесь, что стрёмно как-то заявлять о том, что занимаюсь наймом ученика программиста, а вот джун – уже звучит гордо и солидно. Не говоря уже о самих учениках).

А потом спрос начал падать (масса объективных факторов) и вдруг оказалось, что ученики уже не требуются. Ну и крупные компании, конечно, сумели худо бедно выстроить системы подготовки нормальных инженеров и разработчиков под себя (как раньше при заводах и фабриках были просто собственные ПТУ и техникумы) и перестали брыть тех, кто ничего толком не умеет + еще и не знает предметной области.

И это хорошо.

Потому как профессии в ИТ это ж не только про опыт. Это еще и про талант. Про склонность. Просто про способность. Пусть будет деление на сильных, нормальных и непригодных (иди доучивайся до нормальности), а не вот это все.

Я когда то тоже получал диплом программиста в ВУЗе, где преподавание программирования было на высоком уровне. Мой факультет (курс 50 человек), например, например, заканчивали и Сергей, и Борис Нуралиевы. И свои пятерки по этим профильным специальностям я имел. И даже был готов связать свою судьбу с программированием... Но ровно до того момента, когда я столкнулся с настоящими программистами. По таланту и призванию.

И мне быстро стало ясно, что для меня это вообще недостижимый космос. И это не был вопрос времени, «когда я научусь так же». Было понятно, что не научусь никогда, потому как мы с ними просто в разных плоскостях, в разных измерениях и разных лигах. И буду я, в лучшем случае, не очень счастливым программистом-ремесленником.

А сейчас на улице окажутся толпы неприкаянных, поверивших в то, что «спрос на ИТ будет всегда» и будут всячески оправдывать свой неправильный выбор массой глупостей. А журналисты будут эти глупости транслировать. А курсы переподготовки для получения новой «манны небесной» выкатят убедительные доказательства новых профессий будущего.

Я бы, как футбольный болельщик, конечно же, предложил бы им переключиться с ИТ на обучение футболу. Вы каждого первого болельщика или футбольного функционера спросите и он вам расскажет, как драматически не хватает хороших российских игроков в нашем футболе. С цифрами и диаграммами.

И дел то всего... Правила простые. Зарплаты огромные. Бегать быстро. Мячик пинать поточнее. Вы что, во дворе в футбол не играли? Просто немного прокачаться на курсах надо. Полугодовых.

В общем жалко джунов. Они, похоже, единственные обманутые в этой истории.

Полезные ссылки про данные, технологии и не только:
- Software engineering with LLMs in 2025: reality check про применение LLM в программной инженерии. Неплохой обзор текущего состояния, понятным языком и про ключевые тренды.
- 9 Trends Shaping the Future of Data Management in 2025 обзор трендов в управлении данными в 2025 году. Надо тут оговорится что речь про рынок США, что сам обзор от коммерческой компании продающей SaaS сервис по контролю качества данных, а в остальном полезный обзор. Всё вполне очевидно: AI, real time data, self-service BI и тд.
- Iceberg, The Right Idea - The Wrong Spec - Part 1 of 2: History обзор истории спецификации Apache Iceberg. Полезно почитать перед тем как использовать
- DuckLake 0.2 обновление стандарта/спецификации озера данных на базе DuckDB. Слежу за этим внимательно, выглядит даже перспективнее чем Iceberg
- Why AI hardware needs to be open почему бы оборудованию для ИИ не быть открытым? Идеологически мне нравится, но нужен какой-то другой глобус чтобы это стало правдой
- Introducing pay per crawl: enabling content owners to charge AI crawlers for access владельцы сайтов теперь могут требовать оплату за краулинг их ресурсов.

#dataengineering #dataanalytics #ai #duckdb

The real winners of the AI Race полезное чтение о реальных бенефициарах почти всех стартапов в области генеративного ИИ таких как OpenAI, Anthropic, Mistral и других. Авторы провели анализ 12 таких стартапов и совершенно неожиданно весьма ожидаемо обнаружили что главные бенефициары - это Big Tech.
- 11 из 12 стартапов зависят от чипов NVIDIA
- 10 из 12 стартапов основаны на инфраструктуре Amazon, Microsoft или Google
- 9 из 12 стартапов продают доступ к своим моделям через платформы Amazon, Microsoft или Google

Для тех кто знает как эта индустрия устроена ничего нового в этом нет, разве что чуть более систематизировано изложено.

Контекст же в том что национальные правительства и ЕС пытаются создавать национальных чемпионов в области AI чтобы снизить зависимость от международных игроков и, даже, говорят о цифровом суверенитете, а по факту почти все проинвестированные в ЕС стартапы в этой области находятся в зависимости от Big Tech из США и звучат призывы к анализу всей цепочки ценности при инвестициях и выдаче грантов таким стартапам.

#ai #investments #tech #genai

Научная статья Data manipulation within the US Federal Government в журнале Lancet о том что федеральное правительство в США изменяло ранее опубликованные данные никого об этом не уведомляя. Делали это агентства и учреждения ответственные за общественное здравоохранение с ранее опубликованными данными опросов и исследований.

Авторы проанализировали 232 набора данных опубликованных CDC (Центры по контролю и профилактике заболеваний США) и обнаружили что с приходом администрации Трампа были изменены 49% (114 наборов данных), в основном изменения были в замене слова gender на sex, а также были иные изменения в структуре и описаниях данных.

При этом исследователи не анализировали глубоко сами датасеты, на предмет сохранения их полноты, из-за ограничений доступности архивных данных и использовали ранее сохраненные слепки из Интернет Архива.

С одной стороны не так много стран где можно опубликовать научную статью о том что "государства лгут и манипулируют", с другой даже в развитых странах такие публикацией встретишь нечасто. Здесь, конечно, хочется сказать что нам бы их проблемы, лично я чаще сталкиваюсь с тем что данных просто нет или то что при смене политической повестки данными не просто манипулируют, их убирают из открытого доступа.

А эта история наглядно тем что всё больше пользователей государственных данных осознают ценность их архивации.

#opendata #datasets #readings #usa #healthcare

Не буду давать ссылки на конкретные издания которые пишут пред-анонсы того что в РФ 15 июля планируется перезапуск data.gov.ru. Во первый сами публикации довольно, скажем так, неумелые, а во вторых говорить про то что сделано будет на data.gov.ru лично я буду только после того как увижу его в обновлённой форме 15 июля, если, это, конечно, произойдёт.

А пока в качестве напоминаний:
1. Портал data.gov.ru был недоступен более 2-х лет будучи "закрытым на обновление"
2. В предыдущей версии было доступно более 20+ тысяч наборов данных, большая часть которых, конечно, были мусорными, но тем не менее.
3. Полный слепок архива прошлой версии data.gov.ru у нас есть в ruarxive.org, если он Вам понадобится, напомните, я продублирую ссылку на дамп и вебархив

Честно говоря у меня лично нет вообще никаких позитивных ожиданий от того что российский портал data.gov.ru перезапускают. Есть много стран таких как Зимбабве или Чад где тоже нет порталов открытых данных. И ничего, живут же как-то;)

#opendata #russia

Полезные ссылки про данные, технологии и не только:

Открытый код
- The Data Engineering Handbook большая подборка ресурсов для дата инженеров: блоги, подкасты, книги, компании, ключевые продукты и тд. Полезно будет, в первую очередь, начинающим дата инженерам для быстрого погружения в профессию
- RustFS высокопроизводительная альтернатива Minio, для создания облачных хранилищ файлов доступом по S3 протоколу. Написан на языке Rust, лицензия Apache 2.0, декларируют производительность вдвое выше чем у Minio.
- STORM: Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking - исследовательский проект (оттого и такое длинное странное название) по генерации статей в стиле Википедии на заданную тему. Можно попробовать его на практике на storm.genie.stanford.edu.
- Harper бесплатный и открытый продукт для проверки грамматической проверки для английского языка. Ключевое - это то что не требует подключения к внешнему сервису, можно развернуть свой language server и проверки делать оффлайн. Полезно для всех кто озабочен приватностью или просто не хочет платить за сервисы вроде Grammarly.
- Easytier открытый код и сервис для быстрого развертывания децентрализованных сетей VPN. Прямой конкурент и альтернатива Tailscale. Сделан в Китае, распространяется под лицензией LGPL. Главное не путать с теми VPN что используются для обхода цензуры, этот сделан именно в классическом понимании VPN - для организации частной защищённой сети со своими устройствами.
- Bitchat новая децентрализованная альтернатива облачным мессенжерам. Была представлена Джеком Дорси, основателем Twitter'а, работает через Bluetooth и напоминает похожие проекты вроде Firechat (не знаю жив ли он ещё).

ИИ
- Half of Managers Use AI To Determine Who Gets Promoted and Fired опрос от сервиса Resume Builder об использовании ИИ менеджерами для оценки сотрудников и других задач. Если кратко, то используют большинство, многие уже всегда работают с ИИ, вплоть до принятия решений о повышении или увольнении сотрудника на основе оценки ИИ помощника
- RAPIDS Adds GPU Polars Streaming, a Unified GNN API, and Zero-Code ML Speedups NVIDIA продолжают развивать Polars и другие инструменты с открытым кодом для выполнения задач по обработке данных в GPU. Это и про открытый код и про применение Polars вместо Pandas для большей части научных тетрадок

Разное
- Apyhub очередной сервис каталогизации API, честно говоря непонятно зачем нужный. В этом рынке я знаю всего два продукта обретшие успех. Это OpenRouter для ИИ и RapidAPI как маркетплейс для API. Рынок устроен так что посредники ценны только если они приносят много реальных пользователей. К примеру, если Яндекс делает API маркетплейс - это сработает, а в остальных случаях почти наверняка нет.
- The One Trillion Row challenge with Apache Impala тест Apache Impala, базы с открытым кодом, на 1 триллионе строк. Я, честно говоря, был уверен что Apache Impala уже мертвый продукт, а там ещё какая-то жизнь происходит.
- Yet another ZIP trick автор покопался в спецификации ZIP файлов и поманипулировал метаданными внутри так что некоторые парсеры ZIP файлов видят одно содержимое, а другие другое. Ждем волны вирусов прячущихся внутри ZIP'ов (шутка).

#opensource #ai #api #rdbms

💡 Чем интересен Dateno?

Это поисковик по открытым данным, который собирает не только метаданные о датасетах и API, но и ссылки на связанные ресурсы, часть из которых даже архивирует. Это позволяет не только искать данные, но и анализировать, как они публикуются и в каких форматах.

📊 Немного цифр:
На июль 2025 года в Dateno собрано 5 961 849 наборов данных из порталов открытых данных. Это примерно 27% от всех датасетов, слоёв карт и временных рядов, которые агрегируются из разных каталогов и геопорталов.

👀 Что внутри этих датасетов?
У одних нет вообще никаких файлов, у других — сотни вложений. Поэтому корректнее считать не сами датасеты, а количество ресурсов (файлов и ссылок). Их в базе уже 6,7 млн — примерно 1.1 ресурса на один датасет.

📥 Форматы ресурсов:

CSV — 1 008 646 (15%)

XLSX — 525 329 (7.8%)

XML — 522 501 (7.8%)

JSON — 509 668 (7.6%)

ZIP — 496 709 (7.4%)

PDF — 487 189 (7.3%)

HTML — 475 377 (7.1%)

WMS — 320 159 (4.8%)

NC — 233 229 (3.5%)

XLS — 185 855 (2.8%)

WCS — 141 472 (2.1%)

KML — 122 781 (1.8%)

DOCX — 115 723 (1.7%)

📌 CSV — безусловный лидер. Также популярны XLSX, XML, JSON, старый добрый XLS. Геоформаты вроде WMS, WCS, KML встречаются реже, но их роль растёт.

📄 Почему столько PDF, DOCX и HTML?
Часто вместо машиночитаемых данных публикуют отчёты или ссылки на внешние сайты. Иногда приходится буквально вытаскивать данные из PDF-документов.

🤖 А что с форматами для data science?
Формат Parquet, популярный в дата-инженерии и аналитике, встречается крайне редко — всего 1652 файла (меньше 0.025% всех ресурсов!). Печально, но открытые данные пока ещё далеки от удобства для дата-сайентистов.

Хочется верить, что это изменится.

#данные #opendata #dateno #datascience #dataengineering

Я вот думал всё как показать реальную картину импортозамещения в российских госорганах и вспомнил про архивацию госсайтов и что у меня есть какое-то число архивов сайтов госорганов, не всех, но есть хотя бы 20 сайтов ведомств. А утилита metawarc, о которой я рассказывал ранее, умеет извлекать метаданные из файлов .xlsx, .docx, .pptx и других (общий стандарт там OOXML).

Ну а поскольку MS Office и опенсорсные и российские пакеты для работы с документами сохраняют разное в атрибуте Application в метаданных, то осталось только извлечь метаданные и сделать выборки по популярности офисного ПО на ограниченном числе госсайтов.

Итак:
За период до 2022 года включительно доступно 9328 документов из которых
- 62 документа сделано в LibreOffice
- 2 документов в MyOffice
- 1 документ в Р7-Офис
- 3 документа в WPSOffice

Остальные в MS Office

В общей сложности 68 из 9328 документов сделано не в MS Office (0.07%)

За период 2023-2025 годов всего 3108 документов, из которых:
- 155 созданы в Р7-Офис
- 132 созданы в LibreOffice
- 14 созданы в WPS Office
- 4 созданы в MyOffice

Итого 305 документов из 3108 сделаны не в MS Office, это около 10%.

Подсчёт грубый, не все архивы сайтов госорганов РФ у меня под рукой, чаще файлы публикуют в PDF и тд.

В общем и целом анализ без строгой методологии.

Но некоторую картинку происходящего даёт. 10% это много или мало? Не знаю.

Это пример для чего ещё могут быт полезны веб архивы

#opendata #webarchives #documents