Decoding Human — Роман Пустовойт

Методология G8 за сценой

Когда великие творцы G8 Виталик с Пашей пришли к нам и сказали, что надо бы подструктурировать концепцию и написать гайды для судей и участников самого креативного фестиваля, я подумал, что задача в целом довольно понятная. Надо декомпозировать понятие креативности на критерии, сделать из этого элементы и шкалы, и вуаля, гайд для жюри и участников готов.

Но, чтобы не было скучно, появились две вводные.
Во-первых, под креативностью подразумевалась креативность не только рекламно-брендинговая, а вообще любая существующая в мире. Есть индустрия, где что-то создают — есть креативность, а значит к 2053-му году эта индустрия должна оцениваться в рамках фестиваля G8. И критерии стоит думать исходя из этого.
А во-вторых, есть задача не сделать вторые Канны или Рэд Эппл, а что-то своё.

Потом мы, как водится, поисследовали, поизучали и сформировали первый драфт. Получился плод несчастной любви тех самых индустрийных фестивалей. Короче, взяли нашего креативного панка, отмыли от субъективности, одели в скучные критерии и растеряли весь дух фестиваля.

Так не пойдет, решил я, потому что дух и дифференциация в нашем бизнесе важнее правил.

Но что делать?
Тогда мы предложили сделать действительно самый креативный фестиваль. Написать отлетевшие критерии. Внедрить механику случайности. Сделать так, чтобы работы защищали не участники, а жюри. Переосмыслить систему наград с ранговой на качественную.

Это хорошо конечно, сказали на это Паша с Виталиком, но нам же нужно, чтобы этот ваш документ почитали в АКАРе и добавили нам балов за то, что мы такие продуманные, а не сняли за то, что мы такие отлетевшие.

То есть, сделать надо не как у всех, но чтобы поняли те, кто оценивает как у всех, и подумал, надо на что-то опереться.
И, как в таких случаях бывает, решил, что надо опираться на цифры.
Цифры посчитал по каждой категории две (это то, где номинации): конверсию заявки в шорт и дисперсию номинации по заявкам.

Понял две вещи: от категории к категории и от номинации к номинации цифры очень различаются.
Конверсия где-то 40%, где-то 5%. И поэтому не очень справедливо давать 5 шортов там, где 10 заявок и где 200. И это в итоге изменилось.
Второй момент связан с равновестностью, выраженной в дисперсии. Условно, если у вас в категории 4 номинации и 200 заявок, и в каждой номинации по 50 заявок — это идеальная ситуация, поскольку номинации продуманы разумно. Если же у вас 170 в одной номинации и по 10 в других, то это не очень хорошо.
Во-первых, популярность одной номинации снижает вероятность подачи в следующем году. Все понимают, что выиграть там не очень реально, и поэтому не будут подаваться.
Во-вторых, недостаток работ в других номинациях снижает уровень выигравших работ.
В итоге желающие баллов в рейтинге креативности подаются во всякие малопопулярные номинации типа аудио крафт (выдуманная), а ребята, честно делающие качественные, но мейнстриные работы не подаются в необходимые, потому что там рубилово с низкими шансами.

И зависимость количества шортов от заявок — это прямое и эффективное решение этого вопроса.

А что по креативности?
Тут мы подумали и решили, что как бы мы не стремились выявить факторы креативности, лучшая система, лучшая нейросетка для оценки — это человек. Точнее не человек, а те самые люди, которые стоят на переднем крае креативности, и понимают, что это да или это нет. И поэтому критерии оценки мы создали не объективные, а рефлексивность-субъективные, чтобы человек задавал их себе или коллегам при оценке.

(Здесь конечно есть шутка, что какую методологию мы не собираем, получается опрос)

Ну а что в итоге получилось, читайте ниже в посте от G8

#decodingaward

www.group-telegram.com/in/decodinghuman.com/957

295 viewsedited  Jun 11 at 13:55

Методология G8 за сценой

Когда великие творцы G8 Виталик с Пашей пришли к нам и сказали, что надо бы подструктурировать концепцию и написать гайды для судей и участников самого креативного фестиваля, я подумал, что задача в целом довольно понятная. Надо декомпозировать понятие креативности на критерии, сделать из этого элементы и шкалы, и вуаля, гайд для жюри и участников готов.

Но, чтобы не было скучно, появились две вводные.
Во-первых, под креативностью подразумевалась креативность не только рекламно-брендинговая, а вообще любая существующая в мире. Есть индустрия, где что-то создают — есть креативность, а значит к 2053-му году эта индустрия должна оцениваться в рамках фестиваля G8. И критерии стоит думать исходя из этого.
А во-вторых, есть задача не сделать вторые Канны или Рэд Эппл, а что-то своё.

Потом мы, как водится, поисследовали, поизучали и сформировали первый драфт. Получился плод несчастной любви тех самых индустрийных фестивалей. Короче, взяли нашего креативного панка, отмыли от субъективности, одели в скучные критерии и растеряли весь дух фестиваля.

Так не пойдет, решил я, потому что дух и дифференциация в нашем бизнесе важнее правил.

Но что делать?
Тогда мы предложили сделать действительно самый креативный фестиваль. Написать отлетевшие критерии. Внедрить механику случайности. Сделать так, чтобы работы защищали не участники, а жюри. Переосмыслить систему наград с ранговой на качественную.

Это хорошо конечно, сказали на это Паша с Виталиком, но нам же нужно, чтобы этот ваш документ почитали в АКАРе и добавили нам балов за то, что мы такие продуманные, а не сняли за то, что мы такие отлетевшие.

То есть, сделать надо не как у всех, но чтобы поняли те, кто оценивает как у всех, и подумал, надо на что-то опереться.
И, как в таких случаях бывает, решил, что надо опираться на цифры.
Цифры посчитал по каждой категории две (это то, где номинации): конверсию заявки в шорт и дисперсию номинации по заявкам.

Понял две вещи: от категории к категории и от номинации к номинации цифры очень различаются.
Конверсия где-то 40%, где-то 5%. И поэтому не очень справедливо давать 5 шортов там, где 10 заявок и где 200. И это в итоге изменилось.
Второй момент связан с равновестностью, выраженной в дисперсии. Условно, если у вас в категории 4 номинации и 200 заявок, и в каждой номинации по 50 заявок — это идеальная ситуация, поскольку номинации продуманы разумно. Если же у вас 170 в одной номинации и по 10 в других, то это не очень хорошо.
Во-первых, популярность одной номинации снижает вероятность подачи в следующем году. Все понимают, что выиграть там не очень реально, и поэтому не будут подаваться.
Во-вторых, недостаток работ в других номинациях снижает уровень выигравших работ.
В итоге желающие баллов в рейтинге креативности подаются во всякие малопопулярные номинации типа аудио крафт (выдуманная), а ребята, честно делающие качественные, но мейнстриные работы не подаются в необходимые, потому что там рубилово с низкими шансами.

И зависимость количества шортов от заявок — это прямое и эффективное решение этого вопроса.

А что по креативности?
Тут мы подумали и решили, что как бы мы не стремились выявить факторы креативности, лучшая система, лучшая нейросетка для оценки — это человек. Точнее не человек, а те самые люди, которые стоят на переднем крае креативности, и понимают, что это да или это нет. И поэтому критерии оценки мы создали не объективные, а рефлексивность-субъективные, чтобы человек задавал их себе или коллегам при оценке.

(Здесь конечно есть шутка, что какую методологию мы не собираем, получается опрос)

Ну а что в итоге получилось, читайте ниже в посте от G8

#decodingaward

BY Decoding Human — Роман Пустовойт