«АҚЫЛДЫ» ЖАҢАЛЫҚТАР АГРЕГАТОРЫНЫҢ ИНТЕЛЛЕКТУАЛДЫ МОДУЛІ

Қазіргі кезде жаңалық порталдары, блогтар және т.б. сияқты интернет-ресурстардан ақпарат алатындар саны артып келеді. Интернет-технологиялардың дамуына байланысты жарияланған ақпараттың көлемі өскені соншалық, өзекті және қызықты ақпаратты табу қиын әрі ұзаққа созылады. Жаңалықтар агрегаторлары – бұл қолданушыға сан түрлі ақпарат көздерінен тек жаңа және маңызды жаңалықтарды алуға мүмкіндік беретін шешім. Мазмұнды біріктіретін платформа бүкіл ғаламтордан ақпарат жинайды және оны пайдаланушылар қолдану үшін бір жерде жариялайды. Бұл мақалада RSS / Atom арнасын қолдана отырып, әртүрлі ақпарат көздерінен соңғы жаңалықтарды жинайтын және оларды бір платформада көрсететін интеллектуалды жаңалықтар агрегатор жүйесі қарастырылған. Жаңалықтар агрегаторында интеллектуалды модуль іске асырылған, ол пайдаланушылар сақтаған жаңалықтар негізінде оларға ұқсас жаңалықтарды ұсынады. Ұқсас жаңалықтарды қолданушыларға ұсыну үшін жаңалықтар тақырыптарына косинустық ұқсастық әдісі қолданылады, бұл екі вектордың арасындағы косинусты есептеу арқылы екі вектордың ұқсастығын өлшейді. Осылайша косинустық ұқсастық мәні ең жоғары жаңалықтар тақырыптары пайдаланушыларға беріледі. Жаңалықтар тақырыбына табиғи тілді өңдеудің келесі технологиялары қолданылады: токенизациялау, қажет емес таңбалар мен пунктуацияларды жою, тақырыптарды TF-IDF әдісі арқылы векторларға айналдыру. Бұл жұмыста косинустық ұқсастық, евклидтік арақашықтық және Жаккард арақашықтығы сияқты ең танымал метрикалар үшін ұқсастық өлшемдері салыстырылды. Салыстыру нәтижелері бағдарламалау және бизнес / маркетинг санаттарынан RSS / Atom ресурстық арналары арқылы алынған жаңалықтар үшін ұсынылған.

1. Sudatta Chowdhury Monica Landoni. "News aggregator services: user expectations and experience" // Online Information Review.– 2006. – Т 30. –100-115 с.

2. William A. Hanff. News aggregator [Электронный ресурс].-URL: https://www.britannica.com/topic/news-aggregator

3. Агрегатор социальных сетей: материал из Википедии [Электронный ресурс].-URL: https://en.wikipedia.org/wiki/News_aggregator

4. Franziska Zimmer. An Evaluation of the Social News Aggregator Reddit // European Conference on Social Media. – 2018. – Лимерик, Ирландия.

5. Adrienne Erin. 10 social news aggregators to help you reach new audiences [Электронный ресурс].-URL: https://socialnomics.net/2015/01/08/10-social-news-aggregators-to-help-you-reach-new-audiences/

6. Alex Stolz, Martin Hepp. From RDF to RSS and Atom: Content Syndication with Linked Data // 24th ACM Conference on Hypertext and Social Media. – 1-3 Мая 2013. – Париж, Франция.

7. V. Srividhya, R. Anitha. Evaluating Preprocessing Techniques in Text Categorization // International Journal of Computer Science and Application Issue.-2010.

8. Dr. S. Vijayarani, MS. J. Ilamathi, Ms. Nithya. Preprocessing Techniques for Text Mining - An Overview // International Journalof Computer Science & Communication Networks. – Т 5(1). – 7-16 с.

9. Prasoon Singh. Fundamentals of Bag Of Words and TF-IDF [Электронный ресурс].-URL: https://medium.com/analytics-vidhya/fundamentals-of-bag-of-words-and-tf-idf-9846d301ff22

10. Korbinian Koch. A friendly introduction to text clustering [Электронный ресурс].-URL: https://towardsdatascience.com/a-friendly-introduction-to-text-clustering-fa996bcefd04

11. Tan Thongtan, Tanasanee Phienthrakul. Sentiment Classification using Document Embeddings trained with Cosine Similarity // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop.-28 Июля-2 Августа 2019. – Флоренция, Италия. – 407-414 с.

12. Varun. Cosine similarity: How does it measure the similarity, Maths behind and usage in Python [Электронный ресурс].-URL: https://towardsdatascience.com/cosine-similarity-how-does-it-measure-the-similarity-maths-behind-and-usage-in-python-50ad30aad7db

13. Chris Emmery. Euclidean vs. Cosine Distance [Электронный ресурс].-URL: https://cmry.github.io/notes/euclidean-v-cosine#:~:text=Cosine%20similarity%20is%20generally%20used,data%20represented%20by%20word%20counts.

14. Shashank Gupta, Vasudeva Varma. Scientific Article Recommendation by using Distributed Representations of Text and Graph // International World Wide Web Conference Committee (IW3C2). – 2017.

15. Ziwon Hyung, Kibeom Lee, Kyogu Lee. Music recommendation using text analysis on song requests to radio stations // Music and Audio Research Group, Graduate School of Convergence Science and Technology, Seoul National University. – 2013. – Сеул, Корея.