KAFKA–FLINK КОНТЕЙНЕРЛЕНГЕН АҒЫНДЫҚ ЖҮЙЕЛЕРІНДЕ HOT-TIER ЖАДЫН БАСҚАРУҒА АРНАЛҒАН ҮШ ДЕҢГЕЙЛІ АҚПАРАТ ӨМІРЛІК ЦИКЛЫН БАСҚАРУ МЕХАНИЗМІ

Нақты уақыттағы ағындық жүйелер үздіксіз деректер ағынының әсерінен жадқа тұрақты жүктемеге ұшырайды, бұл hot-tier сақтау қабатының шексіз өсуіне әкеледі. Ақпараттың өмірлік циклін басқару (Information Lifecycle Management, ILM) тәсілдері негізінен корпоративтік архивтеу жүйелерінде қолданылған және көпдеңгейлі жад архитектурасын пайдаланатын контейнерленген ағындық пайплайндарда жеткілікті деңгейде зерттелмеген. Бұл жұмыста саясатқа негізделген жеңіл ILM механизмі ұсынылады, ол Kafka–Apache Flink пайплайнына енгізілген және үш деңгейлі сақтау моделін қамтиды: MongoDB (hot-tier), TimescaleDB (warm-tier) және Parquet файлдары (cold-tier). Асинхронды тазалаушы ағын (sweeper thread) жазбаларды τ_hot және τ_cold уақыт шектеріне сәйкес деңгейлер арасында жылжытады, осылайша ағындық өңдеуді бұзбай, hot-tier толып кетуін болдырмайды. Жад тиімділігін, деңгейлер бойынша деректерге қол жеткізу кідірісін, шектерге сезімталдықты, масштабталуды және ұзақ мерзімді жұмыс тәртібін бағалау үшін бес эксперимент жүргізілді. Нәтижелер ILM қолдану MongoDB жадын ең жоғары деңгейде пайдалануды 81%-ға азайтатынын көрсетті (106.96 ± 1.63 МБ-тан 20.28 ± 1.81 МБ-қа дейін, p < 0.001), бұл ретте Flink жүйесінің өткізу қабілеті мен өңдеу кідірісі өзгеріссіз қалады. Жад шектеулері секундына 200-ден 1000ға дейін хабарлама жылдамдығында тұрақты сақталады. 90 минуттық қосымша эксперимент үш деңгейлі өмірлік циклдің дұрыс жұмыс істейтінін дәлелдейді: MongoDB тұрақты шекте қалады, TimescaleDB 2.28 миллион warm-tier жазбасын жинақтайды, ал Parquet cold-tier архивін қалыптастырады. Бұл нәтижелер нақты уақыттағы контейнерленген ағындық жүйелерде деректердің өмірлік циклін тиімді және аз шығынмен басқару тек дерекқорлардың ішкі мүмкіндіктері мен файлдық жүйе операцияларын пайдалану арқылы жүзеге асырылатынын көрсетеді.

1. Ding, Y. Research on management and optimization of big data computing engine based on cloud native technology IT architecture. Procedia Computer Science, 243, 910–917 (2024). https://doi.org/10.1016/j.procs.2024.09.109

2. Statista. Volume of data/information created, captured, copied, and consumed worldwide from 2010 to 2025. Statista Research Department (2024). URL: https://www.statista.com/statistics/871513/worldwidedata-created/ (accessed 2026.04.10)

3. Sharma, C., and Vaid, A. Leveraging SAP information lifecycle management (ILM): Latest insights and applications. Zenodo, 5(6), 167–173 (2024).

4. Gandomi, A., and Haider, M. Beyond the hype: Big data concepts, methods, and analytics. International Journal of Information Management, 35, 137–144 (2015).

5. Govil, J., Kaur, N., Kaur, H., and Govil, J. Data/information lifecycle management: A solution for taming data beast. Proceedings of the International Conference on Information Technology: New Generations (ITNG 2008), 1226–1227 (2008).

6. Salutina, T.Y., Klesareva, E.Y., and Platunina, G.P. Big data as a management decision-making tool in digital business environments. Proceedings of the 2021 IEEE International Conference on Quality Management, Transport and Information Security, Information Technologies (IT&QM&IS 2021), 893–895 (2021).

7. Ahmad, P.H., and Rai, M. Analysis of optimization strategies for big data storage management: A study. Proceedings of the 2023 4th International Conference on Electronics and Sustainable Communication Systems (ICESC 2023), 1747–1753 (2023).

8. Wang, M.F., Lin, W.T., Tang, C.H., and Tsai, M.F. Constructing storage capacity migration policies for information lifecycle management system. Proceedings of the 12th IEEE International Conference on High Performance Computing and Communications (HPCC 2010), 503–508 (2010).

9. Li-Zhen, S. Research on hierarchical storage of digital library based on the information lifecycle management. Proceedings of the 2010 2nd IEEE International Conference on Information Management and Engineering, 64–66 (2010).

10. HongJu, X., Fei, W., FenMei, W., and XiuZhen, W. Some key problems of data management in army data engineering based on big data. Proceedings of the 2017 IEEE 2nd International Conference on Big Data Analysis (ICBDA 2017), 149–152 (2017).

11. Miao, T. The optimization of land resource data management model in big data era. Proceedings of the IEEE Advanced Information Technology, Electronic and Automation Control Conference (IAEAC 2024), 763–767 (2024).

12. Muratov, S.Y., and Muravyov, S.B. Framework architecture of a secure big data lake. Procedia Computer Science, 229, 39–46 (2023).

13. Kreps, J., Narkhede, N., and Rao, J. Kafka: A distributed messaging system for log processing. Proceedings of the NetDB Workshop, 11, 1–7 (2011).

14. Carbone, P., Katsifodimos, A., Ewen, S., Markl, V., Haridi, S., and Tzoumas, K. Apache Flink: Stream and batch processing in a single engine. Bulletin of the Technical Committee on Data Engineering, 38(4) (2015).

15. Chintapalli, S., Dagit, D., Evans, B., Farivar, R., Graves, T., Holderbaum, M., and Poulosky, P. Benchmarking streaming computation engines: Storm, Flink and Spark Streaming. Proceedings of the 2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW 2016), 1789–1792 (2016).

16. Kulkarni, A., and Freedman, M. TimescaleDB: SQL made scalable for time-series data. Proceedings of the CIDR Workshop (2017). URL: https://api.semanticscholar.org/CorpusID:34446750

17. Apache Parquet Project. Apache Parquet format specification (2024). URL: https://parquet.apache.org/docs/ (accessed: 2026.04.10).