БЕТ МИМИКАЛАРЫН ТАНУҒА АРНАЛҒАН RESIDUAL CNN АРХИТЕКТУРАСЫН ЖЕТІЛДІРУ

Бұл зерттеуде эмоцияларды көпкластық жіктеуді жүзеге асыратын терең нейрондық желі жүйесі ұсынылады. Жүйе жеті түрлі эмоциялық күйді анықтайды: ашу (angry), жиіркену (disgust), қорқыныш (fear), қуаныш (happy), бейтарап күй (neutral), мұң (sad) және таңдану (surprise). Зерттеушілер деректер жиынтығын алдын ала өңдеуден өткізгеннен кейін оны оқыту және тестілеу бөліктеріне бөліп, нәтижелерді бағалау үшін дәлдік (precision), толықтық (recall), F1-нәтижесі, қателер матрицасы (confusion matrix) және ROC-AUC қисықтарын қолданды. Қателер матрицасының нәтижелері бойынша модель ең жоғары дәлдікті «қуаныш» эмоциясын тануда көрсетті (89%). Одан кейін «таңдану» (68%) және «жиіркену» (49%) эмоциялары орналасқан. Жалпы алғанда, модель эмоциялардың басым бөлігі бойынша жақсы және өте жақсы нәтижелер көрсетті. Алайда «қорқыныш» және «бейтарап күй» эмоцияларын тануда белгілі бір қиындықтар байқалды, себебі олардың белгілері бір-бірімен ұқсас немесе деректердегі сыныптардың таралуы теңгерімсіз болады. Зерттеушілер әрбір сынып үшін қабылдағыштың операциялық сипаттамаларының (ROC) қисықтарын және қисық астындағы ауданды (AUC) есептеді. Модель ең жоғары AUC нәтижелерін «қуаныш» (0,92) және «таңдану» (0,90) эмоциялары үшін көрсетті, одан кейін «жиіркену» (0,84) эмоциясы орналасқан. Ең төменгі AUC көрсеткіші – 0,71 «қорқыныш» санаты үшін тіркелді, бұл эмоцияның айқын белгілерінің әлсіздігімен түсіндіріледі. Барлық сыныптарды бірге бағалағанда модель макроорташа AUC көрсеткіші 0,82 нәтижесіне қол жеткізді. Ұсынылған нейрондық желі бет-әлпет мимикасын талдау негізінде эмоцияларды тану міндеттерінде жоғары тиімділікті көрсетті, әсіресе қуаныш және таңдану сияқты айқын эмоцияларды анықтауда нәтижелі болды.

1. Ekundayo, O.S., and Viriri, S. Facial expression recognition: A review of trends and techniques. IEEE Access, 9, 136944–136973 (2021). https://doi.org/10.1109/ACCESS.2021.3113464

2. Sajjad, M., Ullah, F.U.M., Ullah, M., Christodoulou, G., Cheikh, F.A., Hijji, M., and Rodrigues, J.J. A comprehensive survey on deep facial expression recognition: challenges, applications, and future guidelines. Alexandria Engineering Journal, 68, 817–840 (2023). https://doi.org/10.1016/j.aej.2023.01.017

3. Zholshiyeva, L., Zhukabayeba, T., Serek, A.G., Duisenbek, R., Berdieva, M., and Shapay, N. Deep learning-based continuous sign language recognition. Journal of Robotics and Control (JRC), 6 (3), 1106–1118 (2025). https://doi.org/10.18196/jrc.v6i3.25881

4. Zholshiyeva, L., Zhukabayeva, T., Baumuratova, D., and Serek, A.G. Design of QazSL sign language recognition system for physically impaired individuals. Journal of Robotics and Control (JRC), 6 (1), 191–201 (2025). https://doi.org/10.18196/jrc.v6i1.23879

5. Serek, A., Amirgaliyev, B., Li, R.Y.M., Zhumadillayeva, A., and Yedilkhan, D. Crowd density estimation using enhanced multi-column convolutional neural network and adaptive collation. IEEE Access (2025). https://doi.org/10.1109/ACCESS.2025.3597393

6. Singh, R., Saurav, S., Kumar, T., Saini, R., Vohra, A., and Singh, S. Facial expression recognition in videos using hybrid CNN & ConvLSTM. International Journal of Information Technology, 15 (4), 1819–1830 (2023). https://doi.org/10.1007/s41870-023-01183-0

7. Pise, A.A., Alqahtani, M.A., Verma, P., K., P., Karras, D.A., S., P., and Halifa, A. Methods for facial expression recognition with applications in challenging situations. Computational Intelligence and Neuroscience, 2022 (1), 9261438 (2022). https://doi.org/10.1155/2022/9261438

8. Ge, H., Zhu, Z., Dai, Y., Wang, B., and Wu, X. Facial expression recognition based on deep learning. Computer Methods and Programs in Biomedicine, 215, 106621 (2022). https://doi.org/10.1016/j.cmpb.2022.106621

9. Dishar, H.K., and Muhammed, L.A. A review of the overfitting problem in convolution neural network and remedy approaches. Journal of Al-Qadisiyah for Computer Science and Mathematics, 15 (2), 155 (2023). https://doi.org/10.29304/jqcm.2023.15.2.1240

10. Bejani, M.M., and Ghatee, M. A systematic review on overfitting control in shallow and deep neural networks. Artificial Intelligence Review, 54 (8), 6391–6438 (2021).

11. Salehi, A.W., Khan, S., Gupta, G., Alabduallah, B.I., Almjally, A., Alsolai, H., et al. A study of CNN and transfer learning in medical imaging: advantages, challenges, future scope. Sustainability, 15 (7), 5930 (2023). https://doi.org/10.3390/su15075930

12. Gupta, J., Pathak, S., and Kumar, G. Deep learning (CNN) and transfer learning: a review. Journal of Physics: Conference Series, 2273 (1), 012029 (2022).

13. Nan, F., Jing, W., Tian, F., Zhang, J., Chao, K.M., Hong, Z., and Zheng, Q. Feature super-resolution based facial expression recognition for multi-scale low-resolution images. Knowledge-Based Systems, 236, 107678 (2022). https://doi.org/10.1016/j.knosys.2021.107678

14. Lo, L., Ruan, B.K., Shuai, H.H., and Cheng, W.H. Modeling uncertainty for low-resolution facial expression recognition. IEEE Transactions on Affective Computing, 15 (1), 198–209 (2023). https://doi.org/10.1109/TAFFC.2023.3264719

15. Pham, L., Vu, T.H., and Tran, T.A. Facial expression recognition using residual masking network. Proc. 25th Int. Conf. Pattern Recognition (ICPR), 4513–4519 (2021). https://doi.org/10.1109/ICPR48806.2021.9411919

16. Roy, A.K., Kathania, H.K., Sharma, A., Dey, A., and Ansari, M.S.A. ResEmoteNet: bridging accuracy and loss reduction in facial emotion recognition. IEEE Signal Processing Letters (2024). https://doi.org/10.1109/LSP.2024.3521321

17. Bah, I., and Xue, Y. Facial expression recognition using adapted residual based deep neural network. Intelligence & Robotics, 2 (1), 72–88 (2022). https://doi.org/10.20517/ir.2021.16

18. msambare. fer2013 (Facial Expression Recognition 2013 Dataset). Kaggle. URL: https://www.kaggle. com/datasets/msambare/fer2013 (accessed: 26.09. 2025).