МОДЕЛИРОВАНИЕ МОНИТОРИНГА СОСТОЯНИЯ ВОДИТЕЛЯ НА ОСНОВЕ ТЕОРЕТИКО-ЭМПИРИЧЕСКОГО ПОДХОДА

В статье рассматривается проблема повышения надежности обнаружения лица в видеопотоке, используемом в системах мониторинга состояния водителя. Надежная локализация лица водителя рассматривается как предварительный этап компьютерного зрения, необходимый для последующего анализа состояния глаз, направления взгляда, положения головы и визуальных признаков усталости. Целью исследования является разработка и экспериментальная оценка адаптивного метода обнаружения лица, обеспечивающего устойчивую работу при изменении освещения, положения головы, уровня шума изображения и частичном закрытии лица в условиях использования неподвижной камеры с предварительно выполненной внешней калибровкой. Предложенный метод объединяет первоначальное обнаружение областей лица с помощью алгоритма Виолы–Джонса, проверку обнаруженных областей посредством SVM-классификатора, внешнюю калибровку камеры и инкрементное обновление параметров на основе результатов обнаружения с высокой степенью достоверности, используемых в качестве псевдометок. Метод оценивался на наборе из 18 000 видеокадров, полученных из 12 видеозаписей с участием семи добровольцев в различных условиях съемки. Экспериментальные результаты показали, что интегрированный метод обеспечивает более высокие показатели обнаружения лица по сравнению с базовым алгоритмом Виолы–Джонса и его комбинацией со статическим SVM-классификатором. Предложенный метод достиг Precision 0,91 и Recall 0,90 при скорости обработки 22 кадра в секунду. В исследовании оценивается только обнаружение лица; непосредственная классификация усталости, сонливости, состояния глаз или мимики водителя не выполнялась. Полученные результаты показывают, что предложенный метод может использоваться как предварительный малоресурсный компонент системы мониторинга состояния водителя, работающей в режиме реального времени.

1. Povichanov, A.A. Obzor problematiki i perspektivnyh metodov intellektual'nogo analiza dannyh o sostoyanii voditelej transportnyh sredstv [Overview of Issues and Promising Methods of Intelligent Data Analysis on the State of Vehicle Drivers]. Ekonomika i kachestvo sistem svyazi, (4), 159–172 (2024). (in Russian).

2. Kirillova, E.S., and Serikov, S.A. Metody i sredstva kontrolya sostoyaniya voditelya avtomobilya [Methods and Means of Monitoring the State of a Car Driver]. Mezhdunarodnyj zhurnal gumanitarnyh i estestvennyh nauk, (3-2), 169–172 (2024). (in Russian).

3. Ahmetvaleeva, I.V. et al. Podhod k monitoringu sostoyaniya ustalosti voditelej transportnyh sredstv [An Approach to Monitoring the Drowsiness State of Vehicle Drivers]. Vestnik Tekhnologicheskogo universiteta, 26 (4), 58–62 (2023). (in Russian).

4. Katasyov, A.S., Katasyova, D.V., and Sibgatullin, A.A. Nejrosetevaya model' ocenki funkcional'nogo sostoyaniya voditelej v sistemah transportnoj bezopasnosti [Neural Network Model for Assessing the Functional State of Drivers in Transportation Safety Systems]. Elektronika, fotonika i kiberfizicheskie sistemy, 3 (1), 69–80 (2023). (in Russian).

5. Bryzgalov, V.I., Karpushko, M.O., and Burgonutdinov, A.M. Prognoz kolichestva dorozhnotransportnyh proisshestvij na platnyh avtomobil'nyh dorogah [Forecast of the Number of Traffic Accidents on Toll Roads]. Vestnik Permskogo nacional'nogo issledovatel'skogo politekhnicheskogo universiteta. Prikladnaya ekologiya. Urbanistika, (2), 24–36 (2023). (in Russian).

6. Selina, A.D., and Venecianskij, A.S. Znachenie monitoringa zdorov'ya voditelya transportnogo sredstva [The Importance of Monitoring the Health of a Vehicle Driver]. Izmerenie. Monitoring. Upravlenie. Kontrol', (1), 65–71 (2024). (in Russian).

7. YUdin, D.A., and Mahon', YA.S. Vliyanie stressa i ustalosti voditelya kak determiniruyushchih faktorov dorozhno-transportnyh proisshestvij: analiz po dannym Rossijskoj Federacii [The Influence of Driver Stress and Fatigue as Determining Factors of Traffic Accidents: Analysis Based on Russian Federation Data]. Intellektual'nyj kompas: napravlenie nauchnyh otkrytij: sbornik, 95 (2026). (in Russian).

8. SHarova, D.E., and Garbuk, S.V. Metody ocenki kachestva sistem komp'yuternogo zreniya: evolyuciya podhodov, tendencii i ogranicheniya [Methods for Assessing the Quality of Computer Vision Systems: Evolution of Approaches, Trends and Limitations]. Informacionno-ekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya, (1), 35–41 (2026). (in Russian).

9. Boboqulov, S.R. et al. UDK 004.85 (075.8): Ispol'zovanie algoritma Non-Maximum Suppression dlya povysheniya tochnosti i skorosti obrabotki raspoznavaniya lic v real'nom vremeni [Using the Non-Maximum Suppression Algorithm to Increase the Accuracy and Speed of Real-Time Face Recognition Processing]. Innovatsion Texnologiyalar, 59 (3), 111–115 (2025). (in Russian).

10. Lohvickij, V.A., YAkovlev, E.L., and Bushev, I.V. Prakticheskoe sravnenie metodov komp'yuternogo zreniya i glubokogo obucheniya v zadache binarnoj klassifikacii izobrazhenij [Practical Comparison of Computer Vision and Deep Learning Methods in the Binary Image Classification Task]. Intellektual'nye tekhnologii na transporte, (4), 89–98 (2025). (in Russian).

11. Shvets, O., Smakanov, B., Kovacs, L., and Gyorok, G. Intelligent system for driver support using two classifiers for simulation. Journal of Theoretical and Applied Information Technology, 100 (15), 4767–4782 (2022).

12. Chao, Q. et al. A survey on visual traffic simulation: Models, evaluations, and applications in autonomous driving. Computer Graphics Forum, 39 (1), 287–308 (2020). https://doi.org/10.1111/cgf.13803

13. Gao, M., and Shi, G.Y. Ship spatiotemporal key feature point online extraction based on AIS multi-sensor data using an improved sliding window algorithm. Sensors, 19 (12), 2706 (2019). https://doi.org/10.3390/s19122706

14. Dmitriev, E.A. Metod Violy-Dzhonsa [Viola-Jones Method]. Nauchnye issledovaniya i razrabotki studentov: materialy VI Mezhdunar. studench. nauch.-prakt. konf., 67–69 (2018). (in Russian).

15. Shvets, O., Smakanov, B., and Soltanbekov, S. The use of neuroanalytics in modern video surveillance systems. Multidisciplinary Academic Notes, Science Research and Practices: Proceedings of the XV International Scientific and Practical Conference, Madrid, Spain, 585–589 (2022). https://doi.org/10.46299/ISG.2022.1.15

16. Elharrouss, O., Almaadeed, N., and Al-Maadeed, S. A review of video surveillance systems. Journal of Visual Communication and Image Representation, 77, 103116 (2021). https://doi.org/10.1016/j.jvcir.2021.103116

17. Shvets, O., Smakanov, B., and Györök, G. Stabilization of environmental conditions to improve the performance of a mobile application for the state of the driver monitoring. Proceedings of the 17th International Symposium on Applied Informatics and Related Areas (AIS 2022), Obuda University, Székesfehérvár, Hungary, 98 (2022).

18. Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11), 1330–1334 (2000). https://doi.org/10.1109/34.888718

19. Shvets, O., Smakanov, B., and Bakatbayeva, Zh. Monitoring of the state of a person at hazardous work. Proceedings of the 16th International Symposium on Applied Informatics and Related Areas, Obuda University, Székesfehérvár, Hungary, 88–91 (2021).

20. Ehsani, J.P. et al. Developing and testing a hazard prediction task for novice drivers: A novel application of naturalistic driving videos. Journal of Safety Research, 73, 303–309 (2020). https://doi.org/10.1016/j.jsr.2020.03.010

21. Figueiras, P. et al. Real-time monitoring of road traffic using data stream mining. 2018 IEEE International Conference on Engineering, Technology and Innovation (ICE/ITMC), 1–8 (2018). https://doi.org/10.1109/ICE.2018.8436271

22. Fan, Y. et al. Multiple obstacle detection for assistance driver system using deep neural networks. International Conference on Artificial Intelligence and Security (Cham: Springer International Publishing), pp. 501–513 (2019).

23. Al Haddad, C., and Antoniou, C. A data–information–knowledge cycle for modeling driving behavior. Transportation Research Part F: Traffic Psychology and Behaviour, 85, 83–102 (2022). https://doi.org/10.1016/j.trf.2021.12.017

24. Arvin, R., Kamrani, M., and Khattak, A.J. The role of pre-crash driving instability in contributing to crash intensity using naturalistic driving data. Accident Analysis & Prevention, 132, 105226 (2019). https://doi.org/10.1016/j.aap.2019.07.002

25. Bellini, P. et al. Real-time traffic estimation of unmonitored roads. 2018 IEEE 16th Intl Conf on Dependable, Autonomic and Secure Computing, 16th Intl Conf on Pervasive Intelligence and Computing, 4th Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Congress (DASC/ PiCom/DataCom/CyberSciTech), 935–942 (2018).

26. Hochin, T., Shinohara, Y., and Nishizaki, Y. Detection of driver's eye fixation on a moving target by using line fitting. 2019 6th International Conference on Computational Science/Intelligence and Applied Informatics (CSII), 13–18 (2019).

27. Kang, M.J., Kwon, O.H., and Park, S.H. Development of a crash risk prediction model using the k-nearest neighbor algorithm. Advanced Multimedia and Ubiquitous Engineering: MUE/FutureTech 2018 12 (Singapore: Springer), pp. 835–840 (2019). https://doi.org/10.1007/978-981-13-1328-8_109

28. Li, R. et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety. SAE Technical Paper Series, 1 (2020).