Lucas Beyer опубликовал блогпост на тему сравнения скорости инференса ViT и CNN. Обсуждение в твиттере тут. Обычно говорят, что из-за attention трансформеры работают медленно, и он хотел показать, что это нет так. Код выложен. Кстати, он на PyTorch.
Сравнивал ConvNeXt-B, NFNet-F0, NFNet-F1 и ViT-B/16 из timm на рандомно сгенеренных тензорах. Выводы: скорость вполне хорошая минимум до разрешения 1024х1024 (дальше не проверялось), а иногда ViT даже быстрее CNN.
Правда есть нюанс - Ross Wightman прокомментировал, что это во многом благодаря fused F.sdpa / flash attn - без этого скорость была бы намного ниже.
Lucas Beyer опубликовал блогпост на тему сравнения скорости инференса ViT и CNN. Обсуждение в твиттере тут. Обычно говорят, что из-за attention трансформеры работают медленно, и он хотел показать, что это нет так. Код выложен. Кстати, он на PyTorch.
Сравнивал ConvNeXt-B, NFNet-F0, NFNet-F1 и ViT-B/16 из timm на рандомно сгенеренных тензорах. Выводы: скорость вполне хорошая минимум до разрешения 1024х1024 (дальше не проверялось), а иногда ViT даже быстрее CNN.
Правда есть нюанс - Ross Wightman прокомментировал, что это во многом благодаря fused F.sdpa / flash attn - без этого скорость была бы намного ниже.
"The argument from Telegram is, 'You should trust us because we tell you that we're trustworthy,'" Maréchal said. "It's really in the eye of the beholder whether that's something you want to buy into." Ukrainian President Volodymyr Zelensky said in a video message on Tuesday that Ukrainian forces "destroy the invaders wherever we can." The news also helped traders look past another report showing decades-high inflation and shake off some of the volatility from recent sessions. The Bureau of Labor Statistics' February Consumer Price Index (CPI) this week showed another surge in prices even before Russia escalated its attacks in Ukraine. The headline CPI — soaring 7.9% over last year — underscored the sticky inflationary pressures reverberating across the U.S. economy, with everything from groceries to rents and airline fares getting more expensive for everyday consumers. Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. But Kliuchnikov, the Ukranian now in France, said he will use Signal or WhatsApp for sensitive conversations, but questions around privacy on Telegram do not give him pause when it comes to sharing information about the war.
from us
