EUR/USD ЖҰБЫ БОЙЫНША ТӘУЛІКТІК БАҒА БОЛЖАУҒА АРНАЛҒАН НАЗАР МЕХАНИЗМДЕРІ БАР НЕЙРОНДЫҚ ЖЕЛІ МОДЕЛЬДЕРІН ДАМЫТУ ЖӘНЕ ОҢТАЙЛАНДЫРУ

Зерттеу әртүрлі нейрондық желілік архитектураларды, атап айтқанда назар аудару механизмдерін біріктіретін модельдерді (attention) пайдалана отырып, EUR/USD валюта жұбының бағамын бір күндік болжау мәселесін қарастырады. Үш нейрондық желілік архитектура зерттелді: LSTM базалық моделі, bahdanau зейін механизмі бар LSTM моделі және өзін-өзі зейіндеу механизмі бар трансформатор моделі (self-attention). Эксперимент 2020 жылдың қаңтарынан 2022 жылдың желтоқсанына дейінгі кезеңдегі тарихи минуттық деректерде жүргізілді. Нәтижелер назар аудару механизмі бар модельдер LSTM негізгі архитектурасынан айтарлықтай жоғары екенін көрсетті. Ең жақсы нәтижелер Transformer моделімен алынды (MSE=0.185, MAE=0.297, RMSE=0.431, MAPE=7.3%). Егжей-тегжейлі талдау transformer моделінің тұрақтылығы мен дәлдігін растады. Attention модельдерінің анықталған артықшылықтары олардың алгоритмдік саудада қолдану перспективасын негіздейді және нақты сауда жағдайларын оңтайландыру және бейімдеу үшін қосымша зерттеулерді қажет етеді. Атап айтқанда, қосымша зерттеулер attention модельдерін сауда стратегиялары мен тәуекелдерді басқару жүйелерімен біріктіруге, сондай-ақ нарықтық құбылмалылықтың күрт өзгеруі жағдайында олардың мінез-құлқын зерттеуге бағытталуы мүмкін. Сонымен қатар, практикалық саудадағы болжамдардың жалпы тұрақтылығы мен сенімділігін арттыру үшін attention архитектураларын басқа болжау әдістерімен біріктіру мүмкіндіктерін зерттеу ұсынылады.

1. Dakalbab, F., Kumar, A., Abu Talib, M., and Nasir, Q. Advancing Forex prediction through multimodal text-driven model and attention mechanisms. Intelligent Systems with Applications, 23, 200518 (2025). https://doi.org/10.1016/j.iswa.2025.200518

2. Yildirim, D.C., Toroslu, I.H., and Fiore, U. Forecasting directional movement of Forex data using LSTM with technical and macroeconomic indicators. Financial Innovation, 7 (1), 1–21 (2021). https://doi.org/10.1186/s40854-020-00220-2

3. Saghafi, A., Bagherian, M., and Shokoohi, F. Forecasting Forex EUR/USD closing prices using a dualinput deep learning model with technical and fundamental indicators. Mathematics, 13 (9), 1472 (2025).

4. García, F., Martínez-César, S., Pérez-Rosés, H., et al. Foreign exchange forecasting models: LSTM and BiLSTM comparison. Engineering Proceedings, 68 (1), 19 (2024).

5. Islam, M.S., and Hossain, E. Foreign exchange currency rate prediction using a GRU–LSTM hybrid network. Soft Computing Letters, 3, 100009 (2021).

6. Ayitey Junior, M., Appiahene, P., and Appiah, O. Forex market forecasting with two-layer stacked long short-term memory neural network (LSTM) and correlation analysis. Journal of Electrical Systems and Information Technology, 9 (1), 14 (2022).

7. Bormpotsis, C., Sedky, M., and Patel, A. Predicting Forex currency fluctuations using a novel bioinspired modular neural network. Big Data and Cognitive Computing, 7 (3), 152 (2023).

8. Markova, M. Forex time series forecasting using hybrid convolutional neural network/long shortterm memory network model. In: International Conference on New Trends in the Applications of Differential Equations in Sciences. Cham: Springer International Publishing, 2022, pp. 295–305.

9. Shi, H., Li, Y., Wang, Z., et al. A CNN–LSTM based deep learning model with high accuracy and robustness for carbon price forecasting: A case of Shenzhen’s carbon market in China. Journal of Environmental Management, 352, 120131 (2024).

10. Pornwattanavichai, A., Maneeroj, S., and Boonsiri, S. BERTFOREX: Cascading model for Forex market forecasting using fundamental and technical indicator data based on BERT. IEEE Access, 10, 23425– 23437 (2022).

11. Ito, K., Iima, H., and Kitamura, Y. LSTM forecasting foreign exchange rates using limit order book. Finance Research Letters, 47, 102517 (2022).

12. Zafeiriou, T., and Kalles, D. Comparative analysis of neural network architectures for short-term FOREX forecasting. Intelligent Decision Technologies, 18 (3), 2177–2190 (2024).

13. Gradzki, P., and Wojcik, P. Is attention all you need for intraday Forex trading? Expert Systems, 41 (2), e13317 (2024).

14. Kantoutsis, K.T., Mavrogianni, A.N., and Theodorakatos, N.P. Transformers in high-frequency trading. Journal of Physics: Conference Series, 2701 (1), 012134 (2024).

15. Fischer, T., Sterling, M., and Lessmann, S. FX-spot predictions with state-of-the-art transformer and time embeddings. Expert Systems with Applications, 249, 123538 (2024).

16. Peng, P., Liu, X., Zhang, Y., et al. Attention-based CNN–LSTM for high-frequency multiple cryptocurrency trend prediction. Expert Systems with Applications, 237, 121520 (2024).

17. Zhang, J., and Yan, L. GRU-enhanced attention mechanism for LSTM in hybrid CNN–LSTM models for stock prediction. Journal of Global Trends in Social Science, 2 (3), 10–17 (2025). https://doi.org/10.70731/rzvs8j53

18. Zhao, L., and Yan, W.Q. Prediction of currency exchange rate based on transformers. Journal of Risk and Financial Management, 17 (8), 332 (2024).

19. Hadizadeh, A., Tarokh, M.J., and Ghazani, M.M. A novel transformer-based dual attention architecture for the prediction of financial time series. Journal of King Saud University – Computer and Information Sciences, 37, 72 (2025). https://doi.org/10.1007/s44443-025-00045-y

20. Liu, Q., Hu, Y., and Liu, H. Enhanced stock price prediction with optimized ensemble modeling using multi-source heterogeneous data: Integrating LSTM attention mechanism and multidimensional gray model. Journal of Industrial Information Integration, 42, 100711 (2024).