BLEU ЖӘНЕ SARI МЕТРИКАЛАРЫН ҚАЗАҚ ТІЛІНДЕГІ ЖЕҢІЛДЕТІЛГЕН МӘТІНДЕРДІ БАҒАЛАУДА ҚОЛДАНУ: ТАЛДАУ ЖӘНЕ ТИІМДІЛІК

Бұл мақалада қазақ тіліндегі жеңілдетілген мәтіндердің сапасын бағалау әдістемесі BLEU және SARI метрикаларын қолдану арқылы қарастырылады. Мәтіндерді жеңілдету – ақпараттың қолжетімділігін қамтамасыз ету және қазақ тілінде оқу процесін жеңілдету үшін маңызды аспект. BLEU метрикасы, аударма мен эталонды n-граммаларды салыстыруға негізделген, машиналық аударма сапасын бағалау үшін кеңінен қолданылады, бірақ ол кіріс мәтінінің контекстін ескермейді. SARI метрикасы, мәтіндерді жеңілдетуді бағалауға арнайы жасалған, семантикалық өзгерістерді ескереді және адам бағаларымен жоғары корреляцияны көрсетеді. Зерттеу аясында күрделі сөздерді қарапайым синонимдермен алмастыру және күрделі фразаларды ауыстыру немесе жою алгоритмдері қолданылды. Талдау нәтижелері SARI метрикасы жеңілдетілген мәтіндерде енгізілген өзгерістерге BLEU-ге қарағанда сезімтал екенін көрсетті. Осылайша, BLEU және SARI метрикаларын біріктіріп қолдану қазақ тіліндегі жеңілдетілген мәтіндердің сапасын жанжақты және дәл бағалауға мүмкіндік береді.

1. Jiang, Chao, Mounica Maddela, Wuwei Lan, Yang Zhong, Wei Xu. Comput. Res. Repos., 2020. https://doi.org/10.48550/arXiv.2005.02324

2. Lindstrom, Jennifer H. Teaching Exceptional Children, 2019, vol. 51, pp. 189–200. https://doi.org/10.1177/0040059918763712.

3. Xu W., Callison-Burch C., Napoles C. Transactions of the Association for Computational Linguistics, 2015, vol. 3, pp. 283–297. https://doi.org/10.1162/tacl_a_00139.

4. Suha S. Al-Thanyyan, Aqil M. Azmi. ACM Comput. Surv., 2021, 36 p. https://doi.org/10.1145/3442695.

5. Papineni K., Roukos S., Ward T., Zhu W.-J. Proceedings of the 40th Annual Meeting on Association for Computational Linguistics – ACL ’02, 2001, p. 311. https://doi.org/10.3115/1073083.1073135.

6. Xu, Wei, Napoles, Courtney, Pavlick, Ellie, Chen, Quanze, Callison-Burch, Chris. Transactions of the Association for Computational Linguistics, 2016, pp. 401–415. https://doi.org/10.1162/tacl_a_00107.

7. Narayan S., Gardent C. Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014, vol. 1, pp. 435–445. https://doi.org/10.3115/v1/P14-1041.

8. Sulem E., Abend O., Rappoport A. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018, pp. 738–744. https://doi.org/10.18653/v1/D18-1081.

9. 1Sulem E., Abend O., Rappoport A. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018, vol. 1, pp. 685–696. https://doi.org/10.48550/arXiv.1810.05022.

10. Qonaqjailyqqa negızdelgen qazaq ūlttyq ashanasy, soyle.kz, 2024. Available: https://www.soyle.kz/article/view?id=879. [Accessed: 26-Nov- 2024] [in Kazakh]

11. 1Janfada B., Minaei-Bidgoli B. 6th International Conference on Web Research (ICWR), 2020, p. 271. https://doi.org/10.1109/ICWR49608.2020.9122325.