kaz29Вестник Казахстанско-Британского технического университетаHerald of the Kazakh-British Technical University1998-66882959-8109Казахстанско-Британский Технический Университетkaz29-208Research ArticleФИЗИКО-МАТЕМАТИЧЕСКИЕ И ТЕХНИЧЕСКИЕ НАУКИPHYSICAL, MATHEMATICAL AND TECHNICAL SCIENCESСРАВНЕНИЕ АНАЛИТИЧЕСКИХ ИНСТРУМЕНТОВ ДЛЯ БОЛЬШИХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ НАБОРА ТЕКСТА ПЕСЕНCOMPARING BIG DATA ANALYTIC TOOLS USING MUSIC DATASETБектемировР. И.BektemirovR. I.

магистрант

НуркейУ. Т.NurkeyU. T.

магистрант

Университет им. Сулеймана ДемиреляКазахстан20191011202116497104Copyright © Бектемиров Р.И., Нуркей У.Т., 20212021Бектемиров Р.И., Нуркей У.Т.Bektemirov R.I., Nurkey U.T.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.kbtu.edu.kz/jour/article/view/208

Огромное хранилище размерами в петабайты данных генерируется каждый день из современных информационных систем и цифровых технологий, таких как анализ научных данных, анализ данных в социальных сетях, системы рекомендаций и анализ журналов веб-служб. Данные обладают огромной силой, чтобы напрямую направлять нас к обнаружению знаний. Большие данные, в свою очередь, требуют совершенно нового подхода и инструментов для их обработки. Анализ этих массивных данных требует много усилий на разных уровнях для извлечения знаний и дальнейшего принятия решений. Огромные объемы данных и их неструктурированный характер порождают новые проблемы и вопросы, связанные с их управлением и обработкой. В этой статье рассматриваются некоторые из самых популярных инструментов для анализа больших данных – Hadoop, Spark и Pig являются основными и современными инструментами для анализа больших данных, в связи с чем эти инструменты были выбраны для сравнения. Результаты этого исследования показывают, что для различных задач требуются разные инструменты и нет единого решения. Любые проблемы с большими данными нуждаются в том, чтобы разработчики использовали соответствующий инструмент, чтобы сделать работу более качественной и быстрой.

A huge repository of petabytes of data is generated each day from modern information systems and digital technologies such as scientific data analysis, social media data mining, recommendation systems, and analysis on web service logs.The data has a huge power to directly guide us to knowledge detection. Big data in turn requires whole new approach and tools to handle it. Analysing these massive data requires a lot of efforts to extract knowledge for decision making. Huge volumes of data and its unstructured nature raise new challenges and issues regarding its management and processing. This paper covers some of the most popular tools for analyzing big data. Hadoop, Spark and Pig are major and modern tools in big data analytics. Thus and so these tools were chosen for comparison. Results of this research show that various tasks require different tools and there is no all-in-one solution. Any big data problems stand in need developers to use proper tool to make job done in a way better and quicker.

большие данныеHadoopSparkPigсравнение платформ для больших данныхbig dataHadoopSparkPigcomparison of big data platformsReferencesAgneeswaran V. S., Tonpay P., Tiwary J. (2013) Paradigms for realizing machine learning algorithms. Big Data 1 (4) : 207-214Agneeswaran V. S., Tonpay P., Tiwary J. (2013) Paradigms for realizing machine learning algorithms. Big Data 1 (4) : 207-214https://www.kaggle.com/https://www.kaggle.com/Lee K.-H., Lee Y.-J., Choi H., Chung Y. D., Moon B. (2012) Parallel data processing with MapReduce: a survey. ACM SIGMOD Record 40 (4) : 11-20Lee K.-H., Lee Y.-J., Choi H., Chung Y. D., Moon B. (2012) Parallel data processing with MapReduce: a survey. ACM SIGMOD Record 40 (4) : 11-20Big Data Analysis: Comparison of Hadoop MapReduce, Pig and Hive. Available from: https://www.researchgate.net/publication/308074477_Big_Data_Analysis_Comparision_of_Hadoop_MapReduce_Pig_and_HiveBig Data Analysis: Comparison of Hadoop MapReduce, Pig and Hive. Available from: https://www.researchgate.net/publication/308074477_Big_Data_Analysis_Comparision_of_Hadoop_MapReduce_Pig_and_HiveMapReduce vs. Pig vs. Hive - Comparison between the key tools of Hadoop, Available article from: https://www.dezyre.com/article/mapreduce-vs-pig-vs-hive/163MapReduce vs. Pig vs. Hive - Comparison between the key tools of Hadoop, Available article from: https://www.dezyre.com/article/mapreduce-vs-pig-vs-hive/163Dilpreet Singh and Chandan K. Reddy, “A Survey on Platforms for Big Data Analytics”, Journal of Big Data, 1:1, 8, 2014.Dilpreet Singh and Chandan K. Reddy, “A Survey on Platforms for Big Data Analytics”, Journal of Big Data, 1:1, 8, 2014.https://www.scnsoft.com/blog/spark-vs-hadoop-mapreducehttps://www.scnsoft.com/blog/spark-vs-hadoop-mapreducehttps://dzone.com/articles/hadoop-vs-spark-a-head-to-head-comparisonhttps://dzone.com/articles/hadoop-vs-spark-a-head-to-head-comparisonhttps://www.todaysoftmag.com/article/1553/finding-similar-entities-in-bigdata-modelshttps://www.todaysoftmag.com/article/1553/finding-similar-entities-in-bigdata-modelshttps://neo4j.com/docs/graph-algorithms/current/algorithms/similarity-jaccard/https://neo4j.com/docs/graph-algorithms/current/algorithms/similarity-jaccard/Szmit R. (2013) Locality Sensitive Hashing for Similarity Search Using MapReduce on Large Scale Data. In: Klopotek M. A., Koronacki J., Marciniak M., Mykowiecka A., Wierzchon S. T. (eds) Language Processing and Intelligent Information Systems. IIS 2013. Lecture Notes in Computer Science, vol. 7912. Springer, Berlin, HeidelbergSzmit R. (2013) Locality Sensitive Hashing for Similarity Search Using MapReduce on Large Scale Data. In: Klopotek M. A., Koronacki J., Marciniak M., Mykowiecka A., Wierzchon S. T. (eds) Language Processing and Intelligent Information Systems. IIS 2013. Lecture Notes in Computer Science, vol. 7912. Springer, Berlin, HeidelbergC. Sadowski and G. Levin. Simhash: Hash-based Similarity Detection. Technical report, Technical report, Google, 2007.C. Sadowski and G. Levin. Simhash: Hash-based Similarity Detection. Technical report, Technical report, Google, 2007.Tom Kenter , Maarten de Rijke, Short Text Similarity with Word Embeddings, Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, October 18-23, 2015, Melbourne, AustraliaTom Kenter , Maarten de Rijke, Short Text Similarity with Word Embeddings, Proceedings of the 24th ACM International on Conference on Information and Knowledge Management, October 18-23, 2015, Melbourne, Australia

The authors declare that there are no conflicts of interest present.