HT Lab | Лаборатория Гуманитарные Технологии

💬#спроситедашу  

Тесты на взаимодействие с искусственным интеллектом — какими они могут быть?

🗣️ В последние месяцы мне довелось дважды проходить тесты, основанные на взаимодействии с искусственным интеллектом. Цели прохождения были сугубо исследовательскими — важно было увидеть, как это работает в крупных компаниях, уже сделавших подобные тесты одним из обязательных этапов отбора, и сформировать выводы о потенциале их применения в более широком контексте.

В первом случае речь шла об оценке уровня владения иностранным языком с помощью ИИ. Суть состояла в том, чтобы повторять по памяти фразы нарастающей сложности за носителем языка, а специальный алгоритм на базе ИИ анализировал корректность повтора и правильность произношения. Этот подход существенно проще традиционного, когда от кандидата для подтверждения уровня владения языком требуется сертификат, выданный специализированным центром (например, IELTS в случае с английским, DELE в случае с испанским и т.д.), а для выдачи сертификата, в свою очередь, нужно продемонстрировать целый комплекс языковых навыков — чтение, письмо, аудирование, устная речь. Получается, что здесь оценка с помощью ИИ становится прагматичной и простой заменой более дорогих академических первоисточников.

Другой случай — это оценка навыков взаимодействия с большими языковыми моделями типа ChatGPT. Здесь происходит проверка того, насколько продвинутыми являются навыки составления промтов (запросов искусственному интеллекту) и может ли кандидат с помощью их серии решить поставленную задачу — например, перевести текст об участниках деловой встречи в другой формат, решить головоломку или трансформировать логическую схему в таблицу с данными. В каждом задании из 3 есть 20 попыток для составления «идеального» промта, который решит поставленную задачу и включит в себя все нюансы. Самое любопытное, что результат решения таких задач оценивается вовсе даже не искусственным, а естественным интеллектом — то есть финальную оценку выставляет эксперт. При этом в целом навыки промт-инжениринга, конечно, являются довольно специфичными, поэтому проверка их наличия осуществляется только для узкого набора должностей.

Эти два кейса побудили меня ещё раз пообщаться с искусственным интеллектом и подробно расспросить его на тему того, как может выглядеть качественный тест, оценивающий все ключевые аспекты работы с ИИ. С его, ИИ, собственной точки зрения.

Вот какая структура теста в итоге получилась:

1️⃣Теоретические основы (знание основных принципов работы больших языковых моделей, использование различных инструментов для взаимодействия с ИИ)

2️⃣ Практические кейсы (сценарии использования ИИ для решения конкретных задач — например, написания отчётов, программирования, анализа данных, создания маркетинговых текстов, а также оценка качества и релевантности полученных ответов)

3️⃣ Аналитика (проверка критического мышления и анализ представленных данных на наличие ошибок, оценка способности различать правдоподобные и ложные ответы)

4️⃣ Этика (ситуационные задачи, связанные с этическими аспектами использования ИИ — например, конфиденциальность данных или ответственность за решения, принятые на основе ответов ИИ, знание законодательства и корпоративных стандартов работы с ИИ)

5️⃣ Креативность (задания на разработку новых идей и решений, а также на оптимизацию существующих процессов)

Сам искусственный интеллект считает, что подобный тест станет отличным инструментом для оценки готовности сотрудников работать с ним и использовать его потенциал на полную мощность!

А вы как считаете, нужен ли вообще такой тест? Если да, то что ещё можно в него добавить? Делитесь мнениями в комментариях ⬇️

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/us/htlab1.com/675

1.7K viewsAug 9, 2024 at 13:18

💬#спроситедашу  

Тесты на взаимодействие с искусственным интеллектом — какими они могут быть?

🗣️ В последние месяцы мне довелось дважды проходить тесты, основанные на взаимодействии с искусственным интеллектом. Цели прохождения были сугубо исследовательскими — важно было увидеть, как это работает в крупных компаниях, уже сделавших подобные тесты одним из обязательных этапов отбора, и сформировать выводы о потенциале их применения в более широком контексте.

В первом случае речь шла об оценке уровня владения иностранным языком с помощью ИИ. Суть состояла в том, чтобы повторять по памяти фразы нарастающей сложности за носителем языка, а специальный алгоритм на базе ИИ анализировал корректность повтора и правильность произношения. Этот подход существенно проще традиционного, когда от кандидата для подтверждения уровня владения языком требуется сертификат, выданный специализированным центром (например, IELTS в случае с английским, DELE в случае с испанским и т.д.), а для выдачи сертификата, в свою очередь, нужно продемонстрировать целый комплекс языковых навыков — чтение, письмо, аудирование, устная речь. Получается, что здесь оценка с помощью ИИ становится прагматичной и простой заменой более дорогих академических первоисточников.

Другой случай — это оценка навыков взаимодействия с большими языковыми моделями типа ChatGPT. Здесь происходит проверка того, насколько продвинутыми являются навыки составления промтов (запросов искусственному интеллекту) и может ли кандидат с помощью их серии решить поставленную задачу — например, перевести текст об участниках деловой встречи в другой формат, решить головоломку или трансформировать логическую схему в таблицу с данными. В каждом задании из 3 есть 20 попыток для составления «идеального» промта, который решит поставленную задачу и включит в себя все нюансы. Самое любопытное, что результат решения таких задач оценивается вовсе даже не искусственным, а естественным интеллектом — то есть финальную оценку выставляет эксперт. При этом в целом навыки промт-инжениринга, конечно, являются довольно специфичными, поэтому проверка их наличия осуществляется только для узкого набора должностей.

Эти два кейса побудили меня ещё раз пообщаться с искусственным интеллектом и подробно расспросить его на тему того, как может выглядеть качественный тест, оценивающий все ключевые аспекты работы с ИИ. С его, ИИ, собственной точки зрения.

Вот какая структура теста в итоге получилась:

1️⃣Теоретические основы (знание основных принципов работы больших языковых моделей, использование различных инструментов для взаимодействия с ИИ)

2️⃣ Практические кейсы (сценарии использования ИИ для решения конкретных задач — например, написания отчётов, программирования, анализа данных, создания маркетинговых текстов, а также оценка качества и релевантности полученных ответов)

3️⃣ Аналитика (проверка критического мышления и анализ представленных данных на наличие ошибок, оценка способности различать правдоподобные и ложные ответы)

4️⃣ Этика (ситуационные задачи, связанные с этическими аспектами использования ИИ — например, конфиденциальность данных или ответственность за решения, принятые на основе ответов ИИ, знание законодательства и корпоративных стандартов работы с ИИ)

5️⃣ Креативность (задания на разработку новых идей и решений, а также на оптимизацию существующих процессов)

Сам искусственный интеллект считает, что подобный тест станет отличным инструментом для оценки готовности сотрудников работать с ним и использовать его потенциал на полную мощность!

А вы как считаете, нужен ли вообще такой тест? Если да, то что ещё можно в него добавить? Делитесь мнениями в комментариях ⬇️