Обнаружение аномалий (понижение размерности)

В реальное время, основная масса областей делают переход к шагу цифровой модификации. Бывают замечены и внедряются системы онлайн вещей, больших данных, машинного изучения. Объектом данной работы выступает многомерные данные. Предметом исследовательской работы методы понижения размерностей и методы поиска аномалий. Методы: 1. структурного и функционального анализа; 2. основных положений теории автоматизированных систем; 3. адаптивные. Целью работы выступает изучение методов понижения размерностей и поиска аномалий. В соответствии с целью ставятся следующие вопросы для дальнейшего изучения, а именно: - произвести описание математической постановки задачи; - произвести описание многомерного статистического анализа; - произвести описание искусственной нейронной сети; - произвести описание обнаружений аномалий как области анализа данных; - произвести описание методов понижения размерностей многомерных данных; - произвести описание методов обнаружения аномалий многомерных данных; - произвести оценку методов и моделей.

---

Лучшее решение это - купить курсовую работу по информатике в Work5. Доверьте написание курсовой работы профессиональным авторам!

---

. Актуальность данной исследовательской работы заключается в том, что будут рассмотрены наиболее распространенные методы в области данной тематики. Данная работа состоит из двух глав, введения, заключения и списка литературы. Всего 27 страниц, список литературы из 10 пунктов. В первой главе производится математическая постановка задачи в области исследования функционального анализа. А также производится описание возможных причин, которые вызывают аномалии. С позиции количества данных в работе производится описание подхода к решению таких задач, как поиск аномалий и понижение размерности. Выделяется концептуальный подход к детектированию и прогнозированию аномалий, основанный на метрических итерационных алгоритмах, а также модельном подходе. Далее производится описание многомерного статистического анализа, с позиции использования многомерных данных, а именно набора одномерных функций в многомерных событиях. При этом, присваивается функциям и объектам классы, которые в дальнейшем выступают неким обобщением. Затем производится описание обнаружения аномалий, используя искусственную нейронную сеть, но без описания процесса ее обучения, при этом решая некий класс задач, связанный с прогнозированием отказа оборудования, как один из методов решения задачи по поиску аномалий. Далее, в первой главе производится описание интеллектуального анализа данных, производится классификация возможных сложностей, а также классификация самих аномалий и соответственных методик решения для них, таких как: 1. гибридные методы, 2. методы на основе индуктивного вывода, 3. концепция «размытости» данных, 4. методы на основе генетических алгоритмов, 5. методы на основе искусственных нейронных сетей, 6. методы на основе методов машинного обучения. Во второй главе происходит описание методов понижения размерностей, а именно: 1. метод опорных векторов; 2. метод главных компонент (МГК); 3. метод неотрицательного матричного разложения; 4. ядерный метод главных компонент (ЯМГК); 5. метод, основанный на графах ядерного метода главных компонент; 6. метод линейного дискриминантного анализа (ЛДА); 7. метод обобщённого дискриминантного анализа (ОДА); 8. метод автокодировщика. Затем производится описание методов обнаружения аномалий, а именно: 1. алгоритм выявления аномалий с допущением, что распределение исходной последовательности может быть приближено к гауссовскому; 2. метод типа PCA для обнаружения аномалий; 3. метод автоэнкодера. Затем производится оценка методов с позиции использованной модели, причем, при этом можно произвести оценку и самой модели, исходя из работоспособности методов.

В ходе написания работы была достигнута поставленная цель, а именно были изучены методы понижения размерностей и поиска аномалий. В соответствии с целью были решены заданные вопросы для изучения, а именно: - было произведено описание математической постановки задачи; - было произведено описание многомерного статистического анализа; - было произведено описание искусственной нейронной сети; - было произведено описание обнаружений аномалий как области анализа данных; - было произведено описание методов понижения размерностей многомерных данных; - было произведено описание методов обнаружения аномалий многомерных данных; - была произведена оценку методов и моделей. Также, в данной работе были рассмотрены основные методы обнаружения аномалий, которые на сегодняшний день активно изучаются и используются, в дальнейшем, возможно будет их усовершенствование и улучшение, оптимизация входных параметром и расчетов, уменьшения времени задержи результатов. Наряду с этим были рассмотрены основные методы понижения размерности, для которых можно произвести те же операции в будущем, что и для методов обнаружения аномалий, а именно: возможно будет их усовершенствование и улучшение, оптимизация входных параметром и расчетов, уменьшения времени задержи результатов. Также, наряду с этим было произведено оценивание рассмотренных методов понижения размерности и обнаружения аномалий, на основании поставленной модели. Были выявлены схожие и различные черты, а именно: 1. Схожесть заключается в моделировании в том случае, когда они могут пометить предстоящую неисправность, аномалию, заблаговременно до фактического отказа. 2. Различие заключается в том, как определить подходящее пороговое значение для маркировки аномалий, чтобы избежать многих ложных срабатываний при нормальных условиях работы. В дальнейшем планируется рассмотреть подход к обобщению на теорию дифференциальных уравнений в частных производных и уравнения с запаздыванием, а также усовершенствование специализированных эффективных методов обучения полиномиальных нейронных сетей.

1. Вороновский Г. К., Махотило К. В., Петрашев С. Н., Сергеев С. А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. — Х.: ОСНОВА. — 1997. — 112 c. 2. Люцарев B.C., Ермаков К.В., Рудный Е.Б., Ермаков И.В. Безопасность компьютерных сетей на основе Windows NT. — Москва, Русская редакция. — 1998. 304 с. 3. Шкодырев В. П., Ягафаров К. И., Баштовенко В. А., Ильина Е. Э. Обзор методов обнаружения аномалий в потоках данных // Proc. of the Second Conference on Software Engineering and Information Management, СанктПетербург, Россия. — 2017. — Vol. 1864. — 7 c. 4. Шолохова А.А. Разработка методов обнаружения аномалий маневрирования и потребления топлива для морских судов: вып. квал. раб.: 02.06.01/ Шолохова Алена Алексеевна. - Санкт-Петербург. 2018. 78 с. 5. Bakar, Z.,Mohemad, R., Ahmad, A., and Andderis, M. Acomparative study for outlier detection techniques in data mining // Proceedings of the IEEE Conference on Cybernetics and Intelligent Systems. — 2006. — Pp. 1–6. 6. Das, S., Wong, W-K., Dietterich, T., Fern, A. and Emmott, A. Incorporating Expert Feedback into Active Anomaly Discovery // Proceedings of the IEEE 16th International Conference on Data Mining. — 2016. — Pp. 853–858. 7. Flovik V. How to use machine learning for anomaly detection and condition monitoring. [Электронный ресурс]. // Towards Dаta Science. 2018. Режим доступа: https://towardsdatascience.com/how-to-use-machine-learning-for-anomaly-detection-and-condition-monitoring-6742f82900d7 // (дата обращения: 16.11.2020). 8. Klerx, T., Anderka, M., Büning, H. K., and Priesterjahn S. Model-Based Anomaly Detection for Discrete Event Systems // IEEE 26th International Conference on Tools with Artificial Intelligence, Limassol. — 2014. — Pp. 665– 672. 9. Kulikovskikh I.M. Anomaly detection in an ecological feature space to improve the accuracy of human activity identification in buildings. /Computer Optics. № 41(1). 2017. С.126-133. DOI: 10.18287/2412-6179-2017-41-1-126-133. 10. Omar, S., Ngadi, A., and Jebur, H. Machine Learning Techniques for Anomaly Detection: An Overview // International Journal of Computer Applications. — 2013. — Vol. 79, no. 2. — Pp. 33–41.