ПРИМЕНЕНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В РАЗРАБОТКЕ АДАПТИВНОЙ СИСТЕМЫ ОБУЧЕНИЯ ДЛЯ РАЗВИТИЯ НАВЫКОВ КРИТИЧЕСКОГО МЫШЛЕНИЯ У СТУДЕНТОВ

В статье представлены результаты разработки и пилотной апробации адаптивной обучающей системы, предназначенной для формирования и оценивания критического мышления обучающихся с использованием элементов искусственного интеллекта. Научная новизна относительно существующих исследований по автоматизированной оценке эссе и оценке на основе больших языковых моделей (LLM) заключается в многокомпонентной оценке критического мышления, каскадном механизме ИИ-оценивания и механизме апелляции, что позволяет более точно определять слабые места студента в развитии критического мышления, обеспечивать прозрачную оценку критического мышления студента, устойчивость к сбоям системы и возможность оспаривания оценки студентом в спорных ситуациях. Система оценивает эссе и решение задачи по 6 компонентам критического мышления, а именно: анализу, интерпретации, оценке, аргументации, логической связности и рефлексии. Для каждого из компонентов были предложены формулы вычисления, которые вычисляются с помощью языковых моделей, семантических эмбеддингов преобразователей предложений и резервного TF-IDF-механизма. Апробация проведена на выборке из 20 студентов, являвшихся студентами КазНИТУ им. К.И. Сатпаева (Satbayev University). В экспертном оценивании участвовали три преподавателя в лице авторов. А экспериментальные данные включали 40 студенческих работ: 20 эссе и 20 решений задач. Каждая работа была оценена независимо тремя преподавателями, а также обучающей системой. Эталонная оценка была выбрана как усредненная оценка трех преподавателей. Корреляция автоматизированной оценки с усредненной экспертной оценкой составила r = 0,84, а среднее отклонение – 1,0 балла по десятибалльной шкале. Показанные результаты позволяют использовать систему как инструмент поддержки преподавателя, но также требуют дальнейшего исследования на большой выборке. Элементы геймификации, визуализация прогресса и механизм апелляции повышают вовлеченность обучающихся и обеспечивают баланс между автоматизированным и экспертным оцениванием.

1. Batdı, V., Elaldı, Ş., Özçelik, C. et al. Evaluation of the effectiveness of critical thinking training on critical thinking skills and academic achievement by using mixed-meta method. Review of Education, 12, e70001 (2024). https://doi.org/10.1002/rev3.70001

2. Almulla, M.A. Constructivism Learning Theory: A Paradigm for Students' Critical Thinking, Creativity, and Problem Solving to Affect Academic Performance in Higher Education. Sustainability, 15 (17), 12903 (2023). https://doi.org/10.1080/2331186X.2023.2172929

3. Pack, A., Barrett, A., and Escalante, J. Large language models and automated essay scoring of English language learner writing: Insights into validity and reliability. Computers and Education: Artificial Intelligence, 6, 100234 (2024). https://doi.org/10.1016/j.caeai.2024.100234

4. Facione, P.A. Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction (The Delphi Report) (Millbrae, CA: California Academic Press, 1990).

5. Uto, M. A Review of Deep-Neural Automated Essay Scoring Models. Behaviormetrika, 48 (2), 459– 484 (2021). https://doi.org/10.1007/s41237-021-00142-y

6. Lee, S., Cai, Y., Meng, D., Wang, Z., and Wu, Y. Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring. arXiv preprint, arXiv:2404.04941 (2024). https://arxiv.org/abs/2404.04941

7. Stahl, M., Biermann, L., Nehring, A., and Wachsmuth, H. Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation. Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024) (Mexico City: Association for Computational Linguistics, 2024), pp. 283–298. https://aclanthology.org/2024.bea-1.23/

8. Chu, S.Y., Kim, J.W., Wong, B., and Yi, M.Y. Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs. Findings of the Association for Computational Linguistics: NAACL 2025 (Albuquerque, New Mexico: Association for Computational Linguistics, 2025), pp. 5811–5829. https://doi.org/10.18653/v1/2025.findings-naacl.322

9. Bloom, B.S. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain (New York: David McKay Company, 1956).

10. Reimers, N., and Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP) (2019). https://doi.org/10.18653/v1/D19-1410

11. Klebanov, B.B., and Madnani, N. Automated Essay Scoring. Synthesis Lectures on Human Language Technologies (Morgan & Claypool Publishers, 2024).