РАЗРАБОТКА RESIDUAL CNN-АРХИТЕКТУРЫ ДЛЯ РАСПОЗНАВАНИЯ ВЫРАЖЕНИЙ ЛИЦА

Данное исследование представляет систему глубокой нейронной сети, которая обеспечивает многоклассовую классификацию эмоций в процессе разработки. Система определяет семь эмоциональных состояний: гнев (angry), отвращение (disgust), страх (fear), радость (happy), нейтральное состояние (neutral), грусть (sad) и удивление (surprise). Исследователи разделили свой набор данных на обучающую и тестовую части после предварительной обработки и использовали точность (precision), полноту (recall), F1-меру, матрицу ошибок (confusion matrix) и кривые ROC-AUC для оценки результатов. Согласно матрице ошибок, модель достигает наибольшей точности при распознавании радости (89%), далее следуют удивление (68%) и отвращение (49%). Модель показала хорошие и отличные результаты по большинству эмоций, однако испытывает трудности с эмоциями «страх» и «нейтральное состояние», поскольку их признаки пересекаются или распределение классов несбалансированно. Исследователи вычислили кривые операционных характеристик приемника (ROC) и площади под кривой (AUC) для каждого класса. Модель показала лучшие AUC-результаты для радости (0,92) и удивления (0,90), далее для отвращения (0,84). Наименьший AUC-показатель – 0,71 был зафиксирован для категории «страх» из-за слабой различимости этой эмоции. При оценке всех классов вместе модель достигла макроусредненного AUC-показателя 0,82. Предложенная нейронная сеть демонстрирует высокую эффективность в задачах распознавания эмоций благодаря своей способности выявлять интенсивные эмоции, такие как радость и удивление.

1. Ekundayo, O.S., and Viriri, S. Facial expression recognition: A review of trends and techniques. IEEE Access, 9, 136944–136973 (2021). https://doi.org/10.1109/ACCESS.2021.3113464

2. Sajjad, M., Ullah, F.U.M., Ullah, M., Christodoulou, G., Cheikh, F.A., Hijji, M., and Rodrigues, J.J. A comprehensive survey on deep facial expression recognition: challenges, applications, and future guidelines. Alexandria Engineering Journal, 68, 817–840 (2023). https://doi.org/10.1016/j.aej.2023.01.017

3. Zholshiyeva, L., Zhukabayeba, T., Serek, A.G., Duisenbek, R., Berdieva, M., and Shapay, N. Deep learning-based continuous sign language recognition. Journal of Robotics and Control (JRC), 6 (3), 1106–1118 (2025). https://doi.org/10.18196/jrc.v6i3.25881

4. Zholshiyeva, L., Zhukabayeva, T., Baumuratova, D., and Serek, A.G. Design of QazSL sign language recognition system for physically impaired individuals. Journal of Robotics and Control (JRC), 6 (1), 191–201 (2025). https://doi.org/10.18196/jrc.v6i1.23879

5. Serek, A., Amirgaliyev, B., Li, R.Y.M., Zhumadillayeva, A., and Yedilkhan, D. Crowd density estimation using enhanced multi-column convolutional neural network and adaptive collation. IEEE Access (2025). https://doi.org/10.1109/ACCESS.2025.3597393

6. Singh, R., Saurav, S., Kumar, T., Saini, R., Vohra, A., and Singh, S. Facial expression recognition in videos using hybrid CNN & ConvLSTM. International Journal of Information Technology, 15 (4), 1819–1830 (2023). https://doi.org/10.1007/s41870-023-01183-0

7. Pise, A.A., Alqahtani, M.A., Verma, P., K., P., Karras, D.A., S., P., and Halifa, A. Methods for facial expression recognition with applications in challenging situations. Computational Intelligence and Neuroscience, 2022 (1), 9261438 (2022). https://doi.org/10.1155/2022/9261438

8. Ge, H., Zhu, Z., Dai, Y., Wang, B., and Wu, X. Facial expression recognition based on deep learning. Computer Methods and Programs in Biomedicine, 215, 106621 (2022). https://doi.org/10.1016/j.cmpb.2022.106621

9. Dishar, H.K., and Muhammed, L.A. A review of the overfitting problem in convolution neural network and remedy approaches. Journal of Al-Qadisiyah for Computer Science and Mathematics, 15 (2), 155 (2023). https://doi.org/10.29304/jqcm.2023.15.2.1240

10. Bejani, M.M., and Ghatee, M. A systematic review on overfitting control in shallow and deep neural networks. Artificial Intelligence Review, 54 (8), 6391–6438 (2021).

11. Salehi, A.W., Khan, S., Gupta, G., Alabduallah, B.I., Almjally, A., Alsolai, H., et al. A study of CNN and transfer learning in medical imaging: advantages, challenges, future scope. Sustainability, 15 (7), 5930 (2023). https://doi.org/10.3390/su15075930

12. Gupta, J., Pathak, S., and Kumar, G. Deep learning (CNN) and transfer learning: a review. Journal of Physics: Conference Series, 2273 (1), 012029 (2022).

13. Nan, F., Jing, W., Tian, F., Zhang, J., Chao, K.M., Hong, Z., and Zheng, Q. Feature super-resolution based facial expression recognition for multi-scale low-resolution images. Knowledge-Based Systems, 236, 107678 (2022). https://doi.org/10.1016/j.knosys.2021.107678

14. Lo, L., Ruan, B.K., Shuai, H.H., and Cheng, W.H. Modeling uncertainty for low-resolution facial expression recognition. IEEE Transactions on Affective Computing, 15 (1), 198–209 (2023). https://doi.org/10.1109/TAFFC.2023.3264719

15. Pham, L., Vu, T.H., and Tran, T.A. Facial expression recognition using residual masking network. Proc. 25th Int. Conf. Pattern Recognition (ICPR), 4513–4519 (2021). https://doi.org/10.1109/ICPR48806.2021.9411919

16. Roy, A.K., Kathania, H.K., Sharma, A., Dey, A., and Ansari, M.S.A. ResEmoteNet: bridging accuracy and loss reduction in facial emotion recognition. IEEE Signal Processing Letters (2024). https://doi.org/10.1109/LSP.2024.3521321

17. Bah, I., and Xue, Y. Facial expression recognition using adapted residual based deep neural network. Intelligence & Robotics, 2 (1), 72–88 (2022). https://doi.org/10.20517/ir.2021.16

18. msambare. fer2013 (Facial Expression Recognition 2013 Dataset). Kaggle. URL: https://www.kaggle. com/datasets/msambare/fer2013 (accessed: 26.09. 2025).