kaz29Вестник Казахстанско-Британского технического университетаHerald of the Kazakh-British Technical University1998-66882959-8109Казахстанско-Британский Технический Университетkaz29-261Research ArticleРАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И ИНЖЕНЕРИЯ ЗНАНИЙSOFTWARE ENGINEERING AND KNOWLEDGE ENGINEERINGМЕТОДЫ ВЫЯВЛЕНИЯ И ВЫБОРА ПРИЗНАКОВ ПРИ ОБРАБОТКЕ НАУЧНЫХ ИНФОРМАЦИОННЫХ РЕСУРСОВ ВУЗАMETHODS OF IDENTIFICATION AND SELECTION OF CHARACTERISTICS IN THE PROCESSING OF SCIENTIFIC INFORMATION RESOURCES OF THE UNIVERSITYЖомарткызыГ.ZhomartkyzyG.

PhD, доцент

КумаргажановаС. К.KumargazhanovaS. K.

к. т. н.

ПоповаГ. В.PopovaG. V.

к. ф.-м. н., доцент

Восточно-Казахстанский государственный технический университет им. Д. СерикбаеваКазахстан201914112021163116121Copyright © Жомарткызы Г., Кумаргажанова С.К., Попова Г.В., 20212021Жомарткызы Г., Кумаргажанова С.К., Попова Г.В.Zhomartkyzy G., Kumargazhanova S.K., Popova G.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.kbtu.edu.kz/jour/article/view/261

В данной работе рассматриваются методы выявления и выбора признаков при обработке научных информационных ресурсов вуза. Процедура по обработки неструктурированных информационных ресурсов состоит из нескольких этапов: извлечение терминологических коллокаций, выбор признаков, классификация, тематическое аннотирование, кластеризация документов и аналитический информационный поиск. Методы автоматического извлечения терминологических коллокаций используются для формирования подмножества терминов предметной области. Множество терминологических коллокаций, выделяемое на заданной коллекции научных текстов, характеризует узкую предметную область этой коллекции. Автоматическое извлечение ключевых слов и терминологических коллокаций является основным этапом в задачах обработки естественного языка. Для автоматического извлечения терминологических коллокаций из научных текстов в данной работе рассматривается метод С-value. Установленное ограничение значения C-value позволит рассматривать только термины длиной более одного слова. Полученные таким образом термины-кандидаты формируют список n-грамм (биграммы, триграммы). Основная модификация метода, основанного на статистическом подходе, заключается в предварительном использовании морфологических шаблонов фильтров. Словосочетания, похожие на термины, извлекаются из текста с помощью метода C-value: проводится разделение текста; из текста извлекаются словосочетания, удовлетворяющие установленным условиям; для всех терминов-кандидатов, отобранных по установленному ограничению, создаются записи в базе данных. Методы выбора признаков применяются для сокращения размерности пространства признаков с целью формирования наиболее информативного состава. Выбор признаков способствует повышению эффективности обучения за счет уменьшения размера лексикона и точности классификации благодаря исключению шумовых признаков. Для удаления неинформативных терминов, т.е. для оценки важности терминов, выбран критерий χ2. Корпус документов для обработки собран из статей, опубликованных в журналах по различным направлениям.

This paper discusses methods for identifying and selecting features when processing scientific information resources of a university. The procedure for processing unstructured information resources consists of several stages: the extraction of terminological collocations, the selection of features, classification, thematic annotation, clustering of documents and analytical information retrieval. Methods for automatic extraction of terminological collocations are used to form a subset of domain terms. The set of terminological collocations allocated on a given collection of scientific texts characterizes the narrow subject area of this collection. The automatic extraction of keywords and terminological collocations is the main stage in the tasks of processing natural language. For automatic extraction of terminological collocations from scientific texts in this paper the C-value method is considered. Setting a C-value value limit will only allow for terms longer than one word. The candidate terms thus obtained form a list of n-grams (bigrams, trigrams). The main modification of the method based on the statistical approach is the preliminary use of morphological filter patterns. Phrase-like phrases are extracted from the text using the C-value method: the text is divided; phrases that meet the established conditions are extracted from the text; for all candidate terms selected by the established restriction, records are created in the database. Methods of feature selection are used to reduce the dimension of feature space in order to form the most informative composition. The choice of traits contributes to improving the efficiency of learning by reducing the size of the lexicon and the accuracy of classification due to the elimination of noise signs. To remove non-informative terms, i. e. To assess the importance of the terms, the criterion was chosen. The body of documents for processing is assembled from articles published in journals in various fields.

метод С-Valueшаблоны терминовN-граммная модельтриграммыбиграммыкритерийC-Value methodterm patternsN-gram modeltrigramsbigramschi-squared testReferencesPivovarova L. M.,Yagunova E. V. (2010). Extraction and classification of terminological collocations on the material of linguistic scientific texts (preliminary observations). In Proceedings of Symposium: “Terminology and knowledge” Russia, Moscow. URL: http://webground.su/data/lit/pivovarova_yagunova/Izvlechenie_i_klassifikatsiya_terminoligicheskih_kollokatsyi.pdf.Pivovarova L. M.,Yagunova E. V. (2010). Extraction and classification of terminological collocations on the material of linguistic scientific texts (preliminary observations). In Proceedings of Symposium: “Terminology and knowledge” Russia, Moscow. URL: http://webground.su/data/lit/pivovarova_yagunova/Izvlechenie_i_klassifikatsiya_terminoligicheskih_kollokatsyi.pdf.Sedova Y. A., Kvyatkovskaya I. Y. (2011). Intelligent analysis of corps of scientific information. In Bulletin of the Astrakhan State Technical University. Series: Management, Computing and Informatics, Vol. 1, Russia, P. 128-136.Sedova Y. A., Kvyatkovskaya I. Y. (2011). Intelligent analysis of corps of scientific information. In Bulletin of the Astrakhan State Technical University. Series: Management, Computing and Informatics, Vol. 1, Russia, P. 128-136.Braslavsky P. Sokolov, Е. A. (2008). Comparison of five methods for extraction of terms of arbitrary length. In Proceedings of International Conference “Dialogue” - Computational Linguistics and Intelligent Technologies, Vol. 7 (14). Russia, P. 67-74.Braslavsky P. Sokolov, Е. A. (2008). Comparison of five methods for extraction of terms of arbitrary length. In Proceedings of International Conference “Dialogue” - Computational Linguistics and Intelligent Technologies, Vol. 7 (14). Russia, P. 67-74.Min J., Josh C. D., Buzhou T., Hongxin C., Hua X. (2012). Extracting semantic lexicons from discharge summaries using machine learning and the C-Value method. Procedding of the AMIA Symposium, P. 409-416.Min J., Josh C. D., Buzhou T., Hongxin C., Hua X. (2012). Extracting semantic lexicons from discharge summaries using machine learning and the C-Value method. Procedding of the AMIA Symposium, P. 409-416.Manning Ch. D., Raghavan P., Schutze H. (2009). Introduction to Information Retrieval.Manning Ch. D., Raghavan P., Schutze H. (2009). Introduction to Information Retrieval.Du M., Chen X. (2013). Accelerated k-nearest neighbors algorithm based on principal component analysis for text categorization. In Journal of Zhejiang University-Science C-Computers & Electronics, Vol. 14 (6), P. 407-416.Du M., Chen X. (2013). Accelerated k-nearest neighbors algorithm based on principal component analysis for text categorization. In Journal of Zhejiang University-Science C-Computers & Electronics, Vol. 14 (6), P. 407-416.Shengyi Jiang, Guansong Pang, Meiling Wu, Limin Kuang. (2012). An improved K-nearest-neighbor algorithm for text categorization. In Proceedings of the Expert Systems with AP. lications 39, P. 1503-1509.Shengyi Jiang, Guansong Pang, Meiling Wu, Limin Kuang. (2012). An improved K-nearest-neighbor algorithm for text categorization. In Proceedings of the Expert Systems with AP. lications 39, P. 1503-1509.Jiang J., Tsai Sh., Lee Sh. (2012). FSKNN: Multi-label text categorization based on fuzzy similarity and k nearest neighbors. In Proceedings of the Expert Systems with AP.lications 39, P. 2813-2821.Jiang J., Tsai Sh., Lee Sh. (2012). FSKNN: Multi-label text categorization based on fuzzy similarity and k nearest neighbors. In Proceedings of the Expert Systems with AP.lications 39, P. 2813-2821.Science journal “Solid State Physics”, url: http://journals.ioffe.ru/ftt/ (date accessed - September 2013).Science journal “Solid State Physics”, url: http://journals.ioffe.ru/ftt/ (date accessed - September 2013).Altin9ay H., Erenel Z. (2010). Analytical evaluation of term weighting schemes for text categorization. In Proceedings of the Pattern Recognition Letters, 1, P. 1310-1323.Altin9ay H., Erenel Z. (2010). Analytical evaluation of term weighting schemes for text categorization. In Proceedings of the Pattern Recognition Letters, 1, P. 1310-1323.

The authors declare that there are no conflicts of interest present.