Practical use of methods for finding and correcting anomalies to build accurate forecasts
Keywords:
anomalous measurements, automated system, anomaly search, anomaly correction, efficiency, forecastAbstract
This article describes the features and main functionality of the developed automated system for searching and correcting anomalous measurements. The work of the methods proposed by the author is analyzed and their effectiveness is proved on real statistical data. Testing has shown that the use of new methods for finding and processing anomalies gives positive results, and the forecast obtained from the found model practically coincides with real data. The directions of further research are outlined.
References
ГОСТ 8.736-2011 "Государственная система обеспечения единства измерений. Измерения прямые многократные. Методы обработки результатов измерений. Основные положения".
ГОСТ Р ИСО 16269-4-2017 Статистические методы. Статистическое представление данных Часть 4. Выявление и обработка выбросов.
Кириченко, А. В. Математические модели и методы анализа и прогнозирования: предварительная обработка результатов эксперимента, проверка статистических гипотез, корреляционный анализ, парный регрессионный анализ: учебное пособие / А. В. Кириченко и др. - Саратов: КУБиК, 2019. - 259 с.
Chandola, V. Anomaly detection: A survey / V. Chandola, A. Banerjee, V. Kumar // ACM Comput. Surv., 2009. – № 41, 3, Article 15. – 58 p.
Попукайло, В. С. Обнаружение аномальных измерений при обработке данных малого объема // Технология и конструирование в электронной аппаратуре, 2016. – № 4-5. – С. 42-46.
Wilson, J. Holton. Regression Analysis: Understanding and Building Business and Economic Models Using Excel, 2nd Edition / J. Holton Wilson, Barry P. Keating, Mary Beal. — New York, USA, Business Expert Press, LLC, 2016. — 205 p.
Кузовлев, В. И. Выявление аномалий при прогнозном анализе данных / В. И. Кузовлев, А. О. Орлов // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2016. – № 5. – С.75-85.
Кузовлев, В. И. Метод выявления аномалий в исходных данных при построении прогнозной модели решающего дерева в системах поддержки принятия решений / В. И. Кузовлев, А. О. Орлов // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. Журн, 2012. - № 9. - URL: https://cyberleninka.ru/article/n/metod-vyyavleniya anomaliy-v-ishodnyh-dannyh-pri-postroenii-prognoznoy-modeli-reshayuschego-dereva-v-sistemah-podderzhki-prinyatiya/viewer.
Рычка, О. В. Разработка алгоритма реализации методов повышения качества регрессионных моделей, используемых при проектировании технических систем // Информатика и кибернетика. – Донецк: ДонНТУ, 2020. - № 3 (21). - С.42-48.
Рычка, О. В. Анализ эффективности усовершенствованных методов поиска и обработки аномалий для нелинейных моделей с внутренней линейностью // Международный рецензируемый научно-теоретический журнал «Проблемы искусственного интеллекта». – Донецк, 2020. – Вып. №3(18). – С. 101-110.
