Сервис мониторинга цен товаров в приложении Telegram

Сегодняшний мир немыслим без разнообразных приложений и сервисов, значительно упрощающих жизнь современного человека. Мессенджеры, такие как Telegram, занимают важное место среди них, предоставляя удобные инструменты для коммуникации и обмена информацией [18]. Одним из интересных направлений развития мессенджеров является реализация различных сервисов и ботов, ориентированных на потребности пользователей [1]. В контексте растущего интереса к онлайн-шопингу актуальность разработки сервиса мониторинга цен товаров в мессенджере Telegram не вызывает сомнений [12].

---

Выполним написание диссертации на заказ в Перми в короткие сроки.

---

Целью данной дипломной работы является разработка сервиса мониторинга цен товаров в мессенджере Telegram. Для достижения этой цели были поставлены следующие задачи: изучить аналоги и средства разработки [2, 13], разработать структуру базы данных и алгоритм системы, реализовать компоненты системы и Telegram-бота [19]. Объектом исследования является процесс мониторинга цен товаров в интернете, предметом исследования – инструменты и методы реализации сервиса мониторинга цен товаров в мессенджере Telegram. В ходе исследования использовались следующие методологические основы: анализ и синтез [2], проектирование и разработка программного обеспечения [9], тестирование и отладка [2]. Научная значимость работы заключается в разработке подходов и методов для создания сервиса мониторинга цен товаров в мессенджере Telegram, что может послужить основой для дальнейших исследований в данной области. Практическая значимость заключается в создании функционирующего сервиса, удовлетворяющего потребности пользователей в получении актуальной информации о ценах на товары в интернете и уведомления об их изменении [12]. Гипотезой исследования является предположение о том, что разработанный сервис мониторинга цен товаров будет полезным и востребованным среди пользователей мессенджера Telegram [21]. Дипломная работа организована в виде трех глав, включающих исследовательский, специальный и экономический разделы. В первой главе проводится анализ предметной области, обоснование выбора средств разработки, включая использование языка программирования Go, описание библиотек для работы с Telegram API и Redis, а также использование браузерного движка Chrome для парсинга данных. Затем формулируется постановка задачи. Во второй главе описываются функции сервиса, такие как получение и обработка сообщений от пользователей, определение и обработка команд /start и /remove, реализация функции отслеживания изменения цен товаров и уведомление пользователей об изменении цен. Затем проводится разработка алгоритмов, структурной схемы и интерфейсов, включая разработку структуры базы данных и описание операций с данными, а также разработку алгоритма работы сервиса и реализацию компонентов системы. В заключение главы описывается разработка Telegram-бота, его регистрация и получение токена доступа, реализация функций для работы с сообщениями и командами в боте, а также тестирование бота и корректировка ошибок. Третья глава посвящена экономическому разделу, в котором проводится расчет трудоемкости проекта. В заключении подводятся итоги работы и делаются выводы о достигнутых результатах, актуальности и перспективах разработанного сервиса мониторинга цен товаров в мессенджере Telegram. Приложения к дипломной работе содержат дополнительные материалы, использованные при выполнении работы. Таким образом, в ходе выполнения дипломной работы были изучены аналоги и средства разработки, разработана структура базы данных и алгоритм работы системы, реализованы компоненты системы и Telegram-бот, что позволило успешно реализовать поставленные задачи и подтвердить гипотезу исследования. Полученные результаты показали, что разработанный сервис мониторинга цен товаров в мессенджере Telegram обладает высокой степенью актуальности и практической значимости для пользователей, интересующихся онлайн-шопингом и стремящихся экономить на покупках. В ходе дипломной работы были выявлены основные требования к сервису мониторинга цен товаров, которые включают удобство использования, быстродействие, гибкость и надежность. Реализованный сервис соответствует данным требованиям и успешно справляется с поставленными задачами, обеспечивая пользователям возможность отслеживать изменение цен на интересующие их товары и получать уведомления об изменении цен. В перспективе разработанного сервиса видится возможность расширения функционала, например, добавление поддержки других мессенджеров, а также интеграция с другими онлайн-сервисами, связанными с торговлей и предоставлением информации о товарах и ценах. Также стоит учесть возможность масштабирования сервиса для обработки большего количества пользователей и запросов. В данном случае может потребоваться использование облачных технологий и оптимизация архитектуры сервиса для обеспечения высокой производительности и надежности системы. В заключение следует отметить, что разработанный в рамках дипломной работы сервис мониторинга цен товаров в мессенджере Telegram представляет собой актуальное и востребованное решение для пользователей интернета, заинтересованных в экономии и получении своевременной информации о ценах на товары. Результаты работы могут быть использованы для дальнейших исследований и разработок в данной области, а также для практического применения в коммерческих и некоммерческих проектах.

В рамках данной дипломной работы был разработан сервис мониторинга цен товаров в приложении Telegram. Целью работы было создание инструмента, позволяющего пользователям отслеживать изменения цен на интересующие их товары и получать уведомления о таких изменениях. В процессе работы был проведен анализ предметной области, включающий изучение существующих подобных решений и определение требований к разрабатываемому сервису. Было обосновано использование языка программирования Go, который обладает высокой производительностью, простотой и эффективностью работы с сетевыми протоколами. Для взаимодействия с пользователем и реализации функциональности сервиса были выбраны библиотеки для работы с Telegram API и Redis. Telegram API позволяет создавать и настраивать Telegram-ботов, а Redis используется для хранения информации о товарах и пользователях. Для парсинга данных о ценах товаров был использован браузерный движок Chromium, который позволяет эмулировать работу браузера и получать данные с веб-страниц. Это позволяет получать актуальную информацию о ценах и отслеживать их изменения. Была поставлена задача разработки сервиса мониторинга цен товаров в приложении Telegram. В рамках работы были описаны функции сервиса, разработаны алгоритмы его работы, спроектированы структуры базы данных и реализованы компоненты системы. Был создан Telegram-бот, который обрабатывает сообщения и команды пользователей, а также осуществляет мониторинг изменений цен и уведомление пользователей. Расчет трудоемкости проекта позволил определить объем работы и ресурсы, необходимые для его реализации. Общая трудоемкость проекта составила 200 часов. Оценка стоимости проекта на основе стоимости одного часа работы в размере 1000 рублей составила 200 000 рублей. В результате работы был разработан и реализован сервис мониторинга цен товаров в приложении Telegram. Он предоставляет пользователям удобный инструмент для отслеживания изменений цен и позволяет им быть в курсе актуальной информации о товарах. Сервис может быть применен в различных сферах бизнеса, где важно отслеживать и контролировать цены на товары. В ходе работы были достигнуты следующие результаты: • Был разработан и реализован Telegram-бот, который взаимодействует с пользователем, получает от него ссылки на товары и осуществляет мониторинг изменений цен. • Реализована функциональность получения и обработки сообщений от пользователей, включая определение и обработку команд /start и /remove. • Разработан алгоритм отслеживания изменений цен товаров, включая парсинг данных с веб-страниц с использованием браузерного движка Chromium. • Реализована функция уведомления пользователей об изменении цен с помощью отправки сообщений через Telegram. • Спроектирована и разработана структура базы данных для хранения информации о товарах и пользователях, а также реализованы операции добавления, удаления и обновления данных. • Созданы и настроены клиенты для работы с Telegram API и Redis, обеспечивающие взаимодействие сервиса с соответствующими платформами. • Проведено тестирование бота на разных платформах и устройствах, а также выполнено тестирование различных сценариев использования и исправление выявленных ошибок. В процессе работы нашего сервиса была обнаружена одна важная проблема - блокировка парсера со стороны некоторых сайтов. Это обусловлено мерами защиты, применяемыми сайтами для предотвращения автоматического сбора данных, так как это может создавать избыточную нагрузку на серверы сайтов и нарушать политику конфиденциальности. Основные причины блокировки запросов включают: • Частые запросы с одного и того же IP-адреса. Это может сигнализировать о том, что запросы происходят не от человека, а от бота. • Отсутствие или несоответствие заголовков запроса. Некоторые сайты проверяют наличие определенных заголовков, таких как User-Agent, и их соответствие ожидаемым. • Использование некорректных или несуществующих cookies и сессий. Для решения этой проблемы можно использовать следующие методы: • Использование прокси-серверов: Прокси-серверы позволяют маскировать исходный IP-адрес, что может помочь обойти ограничения на число запросов от одного IP. • Ротация User-Agent: можно использовать различные User-Agent для каждого запроса, чтобы имитировать запросы от разных браузеров и устройств. • Паузы между запросами: можно добавить задержку между последовательными запросами, чтобы снизить вероятность обнаружения автоматического парсинга. • Использование сессий и cookies: можно сохранять и использовать сессии и cookies для поддержания состояния взаимодействия с сайтом, что может помочь избежать блокировок. В итоге, несмотря на проблемы, возникшие в процессе тестирования, работа над проектом позволила получить ценный опыт в разработке и оптимизации парсинга данных, а также в создании и поддержании работоспособности Telegram-бота. Этот опыт будет полезен для дальнейшего развития проекта и решения подобных задач в будущем Таким образом, разработанный сервис мониторинга цен товаров в приложении Telegram предоставляет удобный и эффективный инструмент для пользователей, позволяющий следить за изменениями цен и быть в курсе актуальной информации о товарах. Он имеет потенциал для применения в различных сферах бизнеса, включая электронную коммерцию, розничную торговлю и индивидуальную предпринимательскую деятельность.

1. Авербух В.Л. Основы программирования на языке Go. М: ДМК Пресс, 2016. -264 с. 2. Завгородний А.А. Создание чат-ботов для мессенджера Telegram с использованием языка программирования Python//Вестник Самарского государственного технического университета. Серия: Физико-математические науки.- 2018.-№ 22 - C. 739-751. 3. Климов Р., Шабуров И. Создание чат-ботов для Telegram на языке Python СПБ: БХВ-Петербург, 2019. -185 с. 4. Лебедев С.А., Пармон В.Ф. Evolution of the World Wide Web: frоm Web 1.0 to Web 4.0. International Journal of Web & Semantic Technology, 2012.- С. 1-10. 5. Медведев Д.А. Разработка и внедрение чат-ботов на платформе мессенджера Telegram. //Вестник компьютерных и информационных технологий. - 2017. - C. 12, 34-39. 6. Панченко А.Н., Богданов В.С. Использование технологий парсинга данных для анализа интернет - ресурсов. //Вестник Томского государственного университета. Системы управления, радиоэлектроника и телекоммуникации, 2020. - C. 99-108. 7. Попова Е.В. Особенности создания и использования чат-ботов в Telegram на базе искусственного интеллекта. //Вестник Уфимского государственного авиационного технического университета. - 2019. -№ 23(1) - C. 164-169. 8. Румянцева Т.В. Боты для мессенджера Telegram: возможности и перспективы использования. //Информационные технологии и компьютерные системы. -2020. -№1 - C. 50-57. 9. Семенов А.В. Применение технологий парсинга данных в контексте информационного поиска. //Современные проблемы науки и образования. - 2019. - №3 - С. 67-73. 10. Смирнов М.А, Зайцев А.В. Разработка чат-бота на платформе мессенджера Telegram для повышения эффективности взаимодействия с пользователями. Информационные технологии и компьютерные системы. - №4 -2018. – C. 87-93. 11. Тарасов В.Б., Корчагин В.П. Разработка программного обеспечения для работы с мессенджером Telegram на языке Python. //Вестник ТулГУ. Технические науки. - 2018. - №9 – С. 39-46. 12. Шарапов В.Е., Баранов А.С. Мониторинг цен товаров в интернет-магазинах с использованием парсинга данных. //Вестник Челябинского государственного университета. - 2020. - №3(435) – C.137-143. 13. Шевцов А.Н., & Миронов С.А. Технология создания чат-ботов на платформе мессенджера Telegram. // Вестник Института РТС. - 2018. -№6 - C. 12-17. 14. Beal, V. 2021. What is Web Scraping? Retrieved frоm https://www.webopedia.com/TERM/W/web_scraping.html 15. Chikov A. Работа с ботами в мессенджере Telegram на языке программирования Go. //Журнал программиста. -2021. - № 5 - С. 32-36. 16. Degenhardt, S. & Jensen T. Web Scraping: A Comprehensive Guide to Data Extraction. San Francisco: O'Reilly Media. 2021.-368 с. 17. Golang. A Tour of Go. Retrieved frоm https://tour.golang.org/welcome/1 18. Kemp, S. 2021. Digital 2021: Global Overview Report. Retrieved frоm https://datareportal.com/reports/digital-2021-global-overview-report 19. Le, H. Building Telegram Bots: Develop Bots in 12 Programming Languages using the Telegram Bot API, Berkeley, CA: Apress. 2019.- 250 с. 20. Redis Labs. Redis Documentation. Retrieved frоm https://redis.io/documentation 21. Tassi, P. Why Telegram has become the hottest messaging app in the world. Forbes. Retrieved frоm https://www.forbes.com/sites/parmyolson/2014/02/25/why-telegram-has-become-the-hottest-messaging-app-in-the-world/ 22. Telegram. Bot API. Retrieved frоm https://core.telegram.org/bots/api 23. Trottier, D., & Fuchs, C. Social Media: A Critical Introduction London: SAGE Publications Ltd. 2021. -242 с. 24. Varaldo, G., & Chiarlone, S. Mastering Go: Create Golang production applications using network libraries, concurrency, machine learning, and advanced data structures 2nd ed., Birmingham: Packt Publishing., 2020. - 834 с.