kaz29Вестник Казахстанско-Британского технического университетаHerald of the Kazakh-British Technical University1998-66882959-8109Казахстанско-Британский Технический Университетkaz29-211Research ArticleФИЗИКО-МАТЕМАТИЧЕСКИЕ И ТЕХНИЧЕСКИЕ НАУКИPHYSICAL, MATHEMATICAL AND TECHNICAL SCIENCESОПТИМИЗАЦИЯ АЛГОРИТМОВ ПОДГОТОВКИ ДАННЫХ ДЛЯ ОБУЧЕНИЯ И ПРИМЕНЕНИЯ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ НА ЯЗЫКЕ PYTHONOPTIMIZATION OF DATA PREPARATION ALGORITHMS FOR TRAINING AND APPLICATION OF MACHINE LEARNING MODELS IN PYTHONДжиликбаевМ.JilikbaevM.

магистрант

АкжаловаАAkzhalovaAkzhalova

профессор

Казахстанско-Британский технический университетКазахстан202010112021173131136Copyright © Джиликбаев М., Акжалова А., 20212021Джиликбаев М., Акжалова А.Jilikbaev M., Akzhalova A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.kbtu.edu.kz/jour/article/view/211

В данной работе рассмотрена целесообразность применения различных алгоритмов подготовки данных для более качественного обучения модели на языке программирования python3. Рассмотрены способы взаимодействия с отсутствующими значениями в наборе данных и способы их устранения в зависимости от различных факторов. Рассмотрены алгоритмы преобразования номинальных переменных в вид, пригодный для обучения моделей библиотеки Scikit-Learn. Также рассмотрен способ комбинирования алгоритмов преобразования данных для достижения наивысшей предиктивной способности по F1 мере на примере модели бинарной классификации.

In this paper, the feasibility of using various data preparation algorithms for better training of the model in the python3 programming language is considered. We describe how to interact with missing values in the data set and how to eliminate them, depending on various factors. Algorithms for converting nominal variables into a form suitable for teaching models of the Scikit-Learn library are considered. Also, a method of combining data conversion algorithms to achieve the highest predictive ability in F1 measure was applied using the example of a binary classification model.

подготовка данныхpython3one-hot-encodingпредиктивная способностьdata preparationpython3one-hot-encodingpredictive abilityReferencesD. Powers, "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation,'' J. Mach. Learn. Res., 2, No.1, 37--63 (2011).D. Powers, "Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation,'' J. Mach. Learn. Res., 2, No.1, 37--63 (2011).D. L. Olson and D. Delen, Advanced Data Mining Techniques, Springer, New York (2008).D. L. Olson and D. Delen, Advanced Data Mining Techniques, Springer, New York (2008).S. E. Whang, "Goods: Organizing google’s datasets,'' SIGMOD, 795–-806 (2016).S. E. Whang, "Goods: Organizing google’s datasets,'' SIGMOD, 795–-806 (2016).L. Chen and A. Kumar, "Enabling and optimizing nonlinear feature interactions in factorized linear algebra,'' SIGMOD, 1571–-1588 (2019).L. Chen and A. Kumar, "Enabling and optimizing nonlinear feature interactions in factorized linear algebra,'' SIGMOD, 1571–-1588 (2019).L. Chen, A. Kumar, J. F. Naughton and J. M. Patel, "Towards linear algebra over normalized data,'' PVLDB, 10, No.11, 1214–-1225 (2017).L. Chen, A. Kumar, J. F. Naughton and J. M. Patel, "Towards linear algebra over normalized data,'' PVLDB, 10, No.11, 1214–-1225 (2017).I. Czogiel, K. Luebke and C. Weihs, "Response surface methodology for optimizing hyper parameters,'' Technical report, Universitat Dortmund Fachbereich Statistik (2005).I. Czogiel, K. Luebke and C. Weihs, "Response surface methodology for optimizing hyper parameters,'' Technical report, Universitat Dortmund Fachbereich Statistik (2005).I. D. Erhan, Y. Bengio, A. Courville, P. Manzagol, P. Vincent and S. Bengio, ``Why does unsupervised pre-training help deep learning?'' Journal of Machine Learning Research, 625–-660 (2010).I. D. Erhan, Y. Bengio, A. Courville, P. Manzagol, P. Vincent and S. Bengio, ``Why does unsupervised pre-training help deep learning?'' Journal of Machine Learning Research, 625–-660 (2010).G. E. Hinton, "A practical guide to training restricted Boltzmann machines,'' Technical Report, University of Toronto 1 (2010).G. E. Hinton, "A practical guide to training restricted Boltzmann machines,'' Technical Report, University of Toronto 1 (2010).

The authors declare that there are no conflicts of interest present.