Панда или Полярный Медведь?

Иван, наш любимый дата-аналитик, недавно устроился в компанию ООО «БигТех», у которой ну ооочень много данных. Ивану дали задание проанализировать customer journey aka юзерский путь клиентов БигТеха. Иван пошел в БД, выкачал все данные, написал в Джупитер Ноутбуке

import pandas as pd

df = pd.read_parquet(«big_tech_clients.parquet»)

и запустил код.

Как вы видите, Иван использовал классическую билиотеку Pandas, как делал всегда.
Pandas начал работу, а Иван успел сходить за кофе, погладить кота и немного поплакать. ☕🐈😭 Код все еще не отработал…

«Че-то долго», – подумал Иван и пошел на свой любимый сайт Stack Overflow. Там пользователь Радж Кумар поделился мудростью:

«Большой урожай не собирают маленькой корзинкой. Для больших данных используй Polars, a не Pandas☝️ 🌾🧺»

Иван внял совету индийского мастера информационных искусств, скачал Polars и открыл документацию: «Хм, похоже на Pandas, как две капли воды!». Перезапустил скрипт. Не успел он открыть Инсту, как датасет уже прочитался. «Ого!», - воскликнул Иван, - «Тут 100 миллионов строк и так быстро!». А все потому что Polars в 10 раз быстрее, чем Pandas.

Теперь Иван работает только с Polars, а Pandas оставил для милых маленьких CSV-шек. Ведь, как говорил великий Радж Кумар:
"Мудрый выбирает инструмент, который движется быстрее его мысли." ☝️☝️☝️

#харды