kaz29Вестник Казахстанско-Британского технического университетаHerald of the Kazakh-British Technical University1998-66882959-8109Казахстанско-Британский Технический Университет10.55452/1998-6688-2026-23-3-243-254kaz29-3189Research ArticleКОМПЬЮТЕРНЫЕ НАУКИCOMPUTER SCIENCEПРИМЕНЕНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В РАЗРАБОТКЕ АДАПТИВНОЙ СИСТЕМЫ ОБУЧЕНИЯ ДЛЯ РАЗВИТИЯ НАВЫКОВ КРИТИЧЕСКОГО МЫШЛЕНИЯ У СТУДЕНТОВARTIFICIAL INTELLIGENCE TO DEVELOP AN ADAPTIVE LEARNING SYSTEM TO DEVELOP CRITICAL THINKING SKILLS IN STUDENTShttps://orcid.org/0009-0004-3032-5049УтебаевК. A.UtebayevK. A.

Магистрант

Алматы

Master’s student

Almaty

utebayevkuat@gmail.comhttps://orcid.org/0000-0002-1596-561XМолдагуловаA. Н.MoldagulovaA. N.

К.ф.-м.н., профессор

Алматы

Candidate of Physical and Mathematical Sciences, Professor

Almaty

a.moldagulova@satbayev.universityhttps://orcid.org/0000-0002-6355-9544КасенханА. М.KassenkhanA. M.

PhD, профессор

Алматы

PhD, Professor

Almaty

 

a.kassenkhan@satbayev.universityАлматинский филиал Национального исследовательского ядерного университета «МИФИ»КазахстанAlmaty Branch of the National Research Nuclear University MEPhIKazakhstanКазахский национальный исследовательский технический университет им. К.И. СатпаеваКазахстанSatbayev UniversityKazakhstan202626092026233243254Copyright © Утебаев К.A., Молдагулова A.Н., Касенхан А.М., 20262026Утебаев К.A., Молдагулова A.Н., Касенхан А.М.Utebayev K.A., Moldagulova A.N., Kassenkhan A.M.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.kbtu.edu.kz/jour/article/view/3189

В статье представлены результаты разработки и пилотной апробации адаптивной обучающей системы, предназначенной для формирования и оценивания критического мышления обучающихся с использованием элементов искусственного интеллекта. Научная новизна относительно существующих исследований по автоматизированной оценке эссе и оценке на основе больших языковых моделей (LLM) заключается в многокомпонентной оценке критического мышления, каскадном механизме ИИ-оценивания и механизме апелляции, что позволяет более точно определять слабые места студента в развитии критического мышления, обеспечивать прозрачную оценку критического мышления студента, устойчивость к сбоям системы и возможность оспаривания оценки студентом в спорных ситуациях. Система оценивает эссе и решение задачи по 6 компонентам критического мышления, а именно: анализу, интерпретации, оценке, аргументации, логической связности и рефлексии. Для каждого из компонентов были предложены формулы вычисления, которые вычисляются с помощью языковых моделей, семантических эмбеддингов преобразователей предложений и резервного TF-IDF-механизма. Апробация проведена на выборке из 20 студентов, являвшихся студентами КазНИТУ им. К.И. Сатпаева (Satbayev University). В экспертном оценивании участвовали три преподавателя в лице авторов. А экспериментальные данные включали 40 студенческих работ: 20 эссе и 20 решений задач. Каждая работа была оценена независимо тремя преподавателями, а также обучающей системой. Эталонная оценка была выбрана как усредненная оценка трех преподавателей. Корреляция автоматизированной оценки с усредненной экспертной оценкой составила r = 0,84, а среднее отклонение – 1,0 балла по десятибалльной шкале. Показанные результаты позволяют использовать систему как инструмент поддержки преподавателя, но также требуют дальнейшего исследования на большой выборке. Элементы геймификации, визуализация прогресса и механизм апелляции повышают вовлеченность обучающихся и обеспечивают баланс между автоматизированным и экспертным оцениванием.

The article presents the results of the development and pilot testing of an adaptive learning system designed to develop and assess students’ critical thinking using elements of artificial intelligence. The scientific novelty of the study, in comparison with existing research on automated essay scoring and LLM-based assessment, lies in the multi-component assessment of critical thinking, the cascade mechanism of AI-based assessment, and the appeal mechanism. These features make it possible to more accurately identify students’ weak points in the development of critical thinking, ensure transparent assessment of students’ critical thinking, increase the system’s resilience to failures, and provide students with the opportunity to challenge the assessment in controversial situations. The system evaluates essays and problem-solving tasks according to six components of critical thinking: analysis, interpretation, evaluation, argumentation, logical coherence, and reflection. For each component, calculation formulas were proposed; these are computed using language models, semantic embeddings based on sentence-transformers, and a backup TF-IDF mechanism. The pilot testing was conducted on a sample of 20 students from Satbayev University. Three instructors, represented by the authors, participated in the expert assessment. The experimental data included 40 student works: 20 essays and 20 problem-solving tasks. Each work was independently assessed by three instructors as well as by the learning system. The reference score was determined as the average score of the three instructors. The correlation between the automated assessment and the averaged expert assessment was r = 0.84, while the mean deviation was 1.0 point on a ten-point scale. The results obtained indicate that the system can be used as a tool to support instructors; however, further research on a larger sample is required. Gamification elements, progress visualization, and the appeal mechanism increase students’ engagement and ensure a balance between automated and expert assessment.

адаптивная обучающая системакритическое мышлениеискусственный интеллектязыковые моделиавтоматизированное оцениваниемногофакторная модельгеймификациямеханизм апелляцииобразовательная платформаadaptive learning systemcritical thinkingartificial intelligencelanguage modelsautomated assessmentmultifactor modelgamificationappeal mechanismeducational platformВ статье представлены результаты исследований, выполненных в рамках программноцелевого финансирования на 2024–2026 гг. по проекту ИРН BR24993072 «Разработка интеллектуального образовательного ресурса на основе искусственного интеллекта для развития критического мышления студентов», финансируемого Комитетом науки Министерства науки и высшего образования Республики КазахстанReferencesBatdı, V., Elaldı, Ş., Özçelik, C. et al. Evaluation of the effectiveness of critical thinking training on critical thinking skills and academic achievement by using mixed-meta method. Review of Education, 12, e70001 (2024). https://doi.org/10.1002/rev3.70001Batdı, V., Elaldı, Ş., Özçelik, C. et al. Evaluation of the effectiveness of critical thinking training on critical thinking skills and academic achievement by using mixed-meta method. Review of Education, 12, e70001 (2024). https://doi.org/10.1002/rev3.70001Almulla, M.A. Constructivism Learning Theory: A Paradigm for Students' Critical Thinking, Creativity, and Problem Solving to Affect Academic Performance in Higher Education. Sustainability, 15 (17), 12903 (2023). https://doi.org/10.1080/2331186X.2023.2172929Almulla, M.A. Constructivism Learning Theory: A Paradigm for Students' Critical Thinking, Creativity, and Problem Solving to Affect Academic Performance in Higher Education. Sustainability, 15 (17), 12903 (2023). https://doi.org/10.1080/2331186X.2023.2172929Pack, A., Barrett, A., and Escalante, J. Large language models and automated essay scoring of English language learner writing: Insights into validity and reliability. Computers and Education: Artificial Intelligence, 6, 100234 (2024). https://doi.org/10.1016/j.caeai.2024.100234Pack, A., Barrett, A., and Escalante, J. Large language models and automated essay scoring of English language learner writing: Insights into validity and reliability. Computers and Education: Artificial Intelligence, 6, 100234 (2024). https://doi.org/10.1016/j.caeai.2024.100234Facione, P.A. Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction (The Delphi Report) (Millbrae, CA: California Academic Press, 1990).Facione, P.A. Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction (The Delphi Report) (Millbrae, CA: California Academic Press, 1990).Uto, M. A Review of Deep-Neural Automated Essay Scoring Models. Behaviormetrika, 48 (2), 459– 484 (2021). https://doi.org/10.1007/s41237-021-00142-yUto, M. A Review of Deep-Neural Automated Essay Scoring Models. Behaviormetrika, 48 (2), 459– 484 (2021). https://doi.org/10.1007/s41237-021-00142-yLee, S., Cai, Y., Meng, D., Wang, Z., and Wu, Y. Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring. arXiv preprint, arXiv:2404.04941 (2024). https://arxiv.org/abs/2404.04941Lee, S., Cai, Y., Meng, D., Wang, Z., and Wu, Y. Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring. arXiv preprint, arXiv:2404.04941 (2024). https://arxiv.org/abs/2404.04941Stahl, M., Biermann, L., Nehring, A., and Wachsmuth, H. Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation. Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024) (Mexico City: Association for Computational Linguistics, 2024), pp. 283–298. https://aclanthology.org/2024.bea-1.23/Stahl, M., Biermann, L., Nehring, A., and Wachsmuth, H. Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation. Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024) (Mexico City: Association for Computational Linguistics, 2024), pp. 283–298. https://aclanthology.org/2024.bea-1.23/Chu, S.Y., Kim, J.W., Wong, B., and Yi, M.Y. Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs. Findings of the Association for Computational Linguistics: NAACL 2025 (Albuquerque, New Mexico: Association for Computational Linguistics, 2025), pp. 5811–5829. https://doi.org/10.18653/v1/2025.findings-naacl.322Chu, S.Y., Kim, J.W., Wong, B., and Yi, M.Y. Rationale Behind Essay Scores: Enhancing S-LLM's Multi-Trait Essay Scoring with Rationale Generated by LLMs. Findings of the Association for Computational Linguistics: NAACL 2025 (Albuquerque, New Mexico: Association for Computational Linguistics, 2025), pp. 5811–5829. https://doi.org/10.18653/v1/2025.findings-naacl.322Bloom, B.S. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain (New York: David McKay Company, 1956).Bloom, B.S. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain (New York: David McKay Company, 1956).Reimers, N., and Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP) (2019). https://doi.org/10.18653/v1/D19-1410Reimers, N., and Gurevych, I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP) (2019). https://doi.org/10.18653/v1/D19-1410Klebanov, B.B., and Madnani, N. Automated Essay Scoring. Synthesis Lectures on Human Language Technologies (Morgan & Claypool Publishers, 2024).Klebanov, B.B., and Madnani, N. Automated Essay Scoring. Synthesis Lectures on Human Language Technologies (Morgan & Claypool Publishers, 2024).

The authors declare that there are no conflicts of interest present.