Анализ 3 этапа конкурса IT-activity 25-26

Общая картина по умению составлять промпты (задание 3.1)

Работа участников продемонстрировала яркую поляризацию: от профессионалов, владеющих промптингом как инженерной дисциплиной, до тех, кто только начинает осваивать основы взаимодействия с ИИ. В целом, можно отметить рост понимания важности структуры и конкретики Итак, распределение результатов:

• Лидеры: 4.5-5 баллов (высокий профессионализм)
• Середняки: 3-3.5 балла (базовое понимание с недоработками)
• Аутсайдеры: 0-2.5 балла (не справились с форматом), выявились системные проблемы, требующие внимания.

СИЛЬНЫЕ МЕСТА (что получилось лучше всего)

• Понимание структуры промпта — конкретные примеры:

Удачно:

«Ты — методист-практик с 10-летним опытом работы с тревожными подростками. Проанализируй план урока по биологии для 8 класса на соответствие принципам нейрофизиологии обучения. Используй данные диагностики класса (приложены ниже), где 60% учащихся отмечают страх публичных ответов. Представь анализ в виде таблицы с колонками: "Элемент плана", "Соответствие принципам", "Риски", "Рекомендации". Не предлагай новых активностей — только анализ.»

• Почему хорошо: Есть роль, контекст, конкретная задача, чёткий формат ответа, ограничения.
• Стремление к конкретике:

1. Указание форматов: "игра «Угадай понятие»", "карточки-подсказки"
2. Привязка к параметрам: "1 класс", "подростки", "информатика"
3. Количественные требования: "3 кейса", "таблица из 5 колонок"

• Владение продвинутыми техниками:

1. Сложные роли: не просто "учитель", а специалист с профилем
2. Шаблоны ответов: явное указание структуры таблицы с названиями строк
3. Глубокая интеграция: "Используй все ключевые элементы отчёта А, Б, В"
4. Эмоциональный интеллект: мотивация для ИИ ("Это важно для моей карьеры")

ТИПИЧНЫЕ ОШИБКИ И СЛАБЫЕ МЕСТА

• Фундаментальные ошибки формата:
• НЕПРАВИЛЬНО: Готовый конспект урока на 2 страницы
• ПРАВИЛЬНО: Инструкция для создания конспекта
• НЕПРАВИЛЬНО: "Заполни шаблон:" (шаблон отсутствует)
• ПРАВИЛЬНО: "Заполни такую структуру: 1)..., 2)..., 3)..."
• НЕПРАВИЛЬНО: "Будь аналитиком и воспитателем одновременно"
• ПРАВИЛЬНО: "Будь аналитиком с учётом воспитательного аспекта"

• Недостаточная конкретность:
• Общие цели: "повысить мотивацию", "развить интерес"
• Отсутствие измеримости: нет конкретных индикаторов успеха
• Размытые требования: "ответ в виде таблицы" без описания структуры
• Формальное отношение к критериям:
• Роль как ярлык: "учитель" без описания компетенций
• Контекст как упоминание: "учти контекст" без конкретных данных
• Плохая организация: слитные предложения без структуры

Таким образом, абсолютное большинство участников (63%) продемонстрировали высокий профессионализм в составлении промпта, что говорит об успешном освоении этого инструмента.

Значительная часть (32%) показала базовое понимание, но с недоработками. Это основная зона для дальнейшего роста и обучения. Небольшая группа (5%) не справилась с форматом задания, что указывает на системные пробелы в понимании задачи. Этим участникам требуется дополнительное внимание и разбор их ошибок. Таким образом, задание 3.1 было успешно выполнено подавляющим большинством участников конкурса.

---

Анализ выполнения задания 3.2.1 (Промпт-рефлексия)

Общая характеристика работы

• Задача: Создать промпт для анализа плана по формированию мотивации
• Основная сложность: Нужно было провести мета-анализ (анализ анализа)
• Результат: Наиболее проблемное задание с высокой долей низких оценок

Итак, РАСПРЕДЕЛЕНИЕ РЕЗУЛЬТАТОВ:

• Лидеры: 4.5-5 баллов (высокий профессионализм)
• Середняки: 3-3.5 балла (базовое понимание с недоработками)
• Аутсайдеры: 0-2.5 балла (не справились с форматом), выявились системные проблемы, требующие внимания.
• С этим заданием справились на «отлично» только 28% участников. На средний балл - 33%, низкий результат у 39% участников.

Задание 3.2.1 (Промпт-рефлексия) стало ключевым "разделителем" участников в третьем этапе, выявив существенные затруднения в навыке анализа и критической оценки собственной работы с ИИ.

ПОЛОЖИТЕЛЬНЫЕ АСПЕКТЫ (что получилось)

• Высокая вариативность подходов:
• От минималистичных команд до детализированных инструкций
• Сочетание технических и метафорических формулировок

ПОНИМАНИЕ КЛЮЧЕВЫХ ТЕМ АНАЛИЗА:

• Правильная идентификация критериев: реализуемость, соответствие целям, ресурсы, сроки
• Учёт важных аспектов: возрастные особенности, нагрузка учителя

КРЕАТИВНОСТЬ В РОЛЯХ:

• ХОРОШИЕ ПРИМЕРЫ:
• "Ты — строгий методист районного уровня"
• "Ты — коуч по развитию образовательных систем"
• "Ты — цифровой наставник педагогов"
• Попытки эмоциональной связи: "без тебя я не справлюсь"

КРИТИЧЕСКИЕ ПРОБЛЕМЫ

• Отсутствие структуры анализа:
• НЕПРАВИЛЬНО (типичный промпт на 1-2 балла):"Проверь план на реализуемость. Посмотри на цели, задачи, мероприятия.Предложи улучшения."
• ПРАВИЛЬНО (промпт на 4-5 баллов):"Проведи анализ по 4 критериям:

1. Реализуемость — сколько времени потребуется учителю на подготовку каждого мероприятия? 2. Соответствие целям — как каждое мероприятие ведёт к достижению цели? 3. Ресурсы — указаны ли все необходимые ресурсы (время, материалы, помощь)? 4. Сроки — реалистичны ли временные рамки?"

• ИГНОРИРОВАНИЕ КОНТЕКСТА (более 50% промптов):
• Нет отсылок к анализу мотивации
• Нет привязки к конкретным проблемам класса
• Анализ проводится "в вакууме"
• НЕОПРЕДЕЛННОСТЬ ФОРМАТА ОТВЕТА:
• Большинство не указывает, как должен выглядеть результат
• ИИ вынужден догадываться о структуре ответа
• СМЕШЕНИЕ ЗАДАЧ:
• Частое объединение анализа с требованием создать новый контент
• Промпты становятся перегруженными

---

Портреты эффективного и неэффективного промптов

Неэффективный промпт:

• Начинается с "Проверь план на реализуемость..."
• Содержит список из 3-5 общих тем
• Требует "предложить улучшения" без конкретики
• Полностью игнорирует: роль ИИ, связь с контекстом, структуру анализа, формат ответа

Эффективный промпТ:

• Четкая роль: "Ты — опытный методист с 10-летним стажем"
• Структурированный анализ: "Проанализируй по критериям: 1)... 2)..."
• Явная связь с контекстом: "Основываясь на данных Анализа мотивации класса..."
• Конкретные требования: "Предложи 3-4 правки с примерами формулировок"
• Четкий формат: "Представь ответ в виде таблицы с колонками..."

---

Вывод по заданию 3.2.1 Ключ к успеху: конкретность, структура и контекстуализация Самая частая ошибка: участники не поняли, что нужно создать ИНСТРУКЦИЮ ДЛЯ АНАЛИЗА, а не просто попросить "проверить"

---

КРАТКИЙ АНАЛИЗ ВЫПОЛНЕНИЯ ЗАДАНИЯ 3.2.2 (ПЛАН)

• Общая характеристика:

Работа по оценке планов была проведена глубоко и вдумчиво. Эксперты стремились к принципиальности, а не формальной проверке. Однако анализ выявил внутреннюю непоследовательность, особенно в применении ключевых критериев.

• Ключевые проблемы в экспертизе:
• Главный методический изъян: Недостаточная жёсткость к фундаментальному критерию «Опора на анализ» (Критерий 3). Подавляющее большинство планов не содержали прямых отсылок на анализ мотивации (цитирование, проблемы или прямые ссылки) из этапа 2.2. В этом прослеживается и недоработка критериев, поэтому по данному пункту организаторы все равно выставляли баллы, хотя и снижали их.
• Непоследовательность в формальных требованиях: Штраф за отклонение от шаблона оформления применялся, но в большинстве случаев применялся к работам с грубыми нарушениями структуры. Если участники предлагали свои планы на основе шаблона, превосходящие по структуре и содержанию исходник, мы не снижали баллы.
• Отсутствие чёткого эталона: Шкала оценки (до 9 баллов) была несколько относительной. Не было заранее определённого образа «идеального» плана для сравнения.Недоработка критериев здесь объясняется тем, что не существует "идеального плана". Мы работаем с нейросетями, учимся получать адекватный результат, максимально близкий к критериям. Если бы мы предложили некий план, как идеальный - не было бы смыла в работе над промптами, критериями и редакцией результата. Наша задача - научиться все это получать от нейросетей. Поэтому планы получились очень разными.

На основе проведённой экспертизы можно сделать следующие выводы о том, как участники справились с заданием:

*Качество содержания и методической грамотности (Сильная сторона)

• Участники продемонстрировали высокий профессиональный уровень в проектировании педагогических вмешательств.
• Контекстуализация: Лучшие работы были не шаблонными, а глубоко адаптированными под конкретные условия: учёт возраста, предмета, особенностей класса (утомляемость, наличие детей с ОВЗ, иноязычных учащихся).
• Конкретность и измеримость: Во многих планах были прописаны чёткие, поведенчески ориентированные цели (например, «снизить количество отказов от ответов с 8 до 3 в месяц») и критерии успеха, сочетающие количественные и качественные показатели.
• Инновационность: Участники активно интегрировали современные инструменты: использование ИИ для генерации заданий, цифровые платформы (Kahoot!), креативные приёмы типа «QR-кодов вклада» или «тональной лиги» в ИЗО.
• Системность и реалистичность: Удачные планы имели понятную структуру (проблема → цель → задачи → мероприятия), были разбиты на реалистичные этапы и учитывали необходимые ресурсы, включая время учителя.

Критическое системное упущение (Главная слабость)

Несмотря на содержательное богатство, было допущено фундаментальное нарушение одного из ключевых условий задания.

• Игнорирование критерия «Опора на анализ»:
• Почти ни один план не содержал прямой, явной отсылки к результатам проведённого на этапе 2.2 анализа мотивации конкретного класса. Участники не упоминали и не цитировали тексты анализов в планах.
• Следствие: Планы, даже самые детальные, выглядели как универсальные методические разработки, а не как адресные вмешательства, вытекающие из проведённой диагностики. С формальной точки зрения это должно было повлечь за собой существенное снижение балла у большинства работ. Но мы снижали быллы не существенно, поскольку в данном критерии есть расхождение с шаблоном анализа (если бы мы в шаблон включили описание, эта ошибка встречалась бы реже).
• Проблемы с формальным соответствием

Несоблюдение формы шаблона: Очень многие участники отошли от предложенной табличной структуры, оформляя план в виде текстовых описаний, маркированных списков или сложных таблиц. Это, хотя и не влияло на содержание, приводило к незначительном снижению баллов за структуру.

• Расплывчатость в критериях оценки: В некоторых работах качественные критерии успеха («снижение тревожности», «улучшение климата») были описаны без указания конкретного инструмента их измерения (как, кем и когда будет фиксироваться результат).

Таким образом, участники блестяще справились с профессионально-творческой частью задания, показав умение проектировать мотивирующую образовательную среду. Однако они массово ндопустили ошибку в формально-методической части, проигнорировав требование о прямой опоре плана на предыдущий анализ. Это указывает на то, что для многих участников приоритетом было создание «хорошего плана», а не «плана, строго следующего инструкции».