Detección De Anomalías Promedio Móvil

Me gustaría detectar una anomalía usando media móvil ponderada exponencial. Para una instancia de tiempo t, tendré el valor de punto de datos (DP). La constante EWMA será 0.85 (asumiendo). Por ejemplo, no quiero tomar una serie de puntos de datos en el cálculo. En cualquier instancia de tiempo decir 10, quiero saber si el punto de datos 300 (en este caso) es una anomalía o no. También tengo el EMA (9) 150 y EMA (10) 277.5 para el cálculo (si es necesario) ¿Hay alguna lógica para calcular esto Gracias de antemano pensé en la siguiente lógica, pero no estoy seguro de si funcionaría con seguridad DP - EMA - Promedio Mínimo Ponderado Exponencial Sería difícil decir que el DP es o no es una anomalía porque usted no sabe cómo desarrolló su EMA (t-1). Es decir, si hay muchos puntos de datos que lo hicieron entonces será un marcador mejor que si sólo hay un punto de datos. Un acercamiento que usted podría tomar es tener un umbral del cambio. Básicamente, si la EMA cambia más de un porcentaje que se considera una anomalía. Esto sin embargo sufre si sus números son todos muy altos y las diferencias son muy pequeñas. Lo que realmente necesita es una desviación estándar para detectar anomalías. Usted podría mirar en el seguimiento potencial que también y utilizarlo para determinar mejor si usted tiene una anomalía. Si tiene algún conocimiento de los datos con los que va a trabajar, actualice su pregunta para obtener una ayuda más específica. En respuesta a los datos que usted agregó Im que asume que usted quiere que 300 sea una anomalía (sus otros valores eran 120 y 150). El método que he sugerido anteriormente funcionará sin embargo si el número después de 300 es más normal, digamos 170 que probablemente también se marcaría como una anomalía. IMHO el peso youre poner en nuevos valores es excesivo. Yo haría lo contrario: nuevo .85 viejo .15 newDP en lugar de lo que tiene de nuevo .15 viejo .85 newDP Si cambia a lo que sugiero que obtendrá youll resultados justos. Dependiendo de cuál es su objetivo general, los resultados justos pueden ser suficientes. Razones por las que no tengo registro 1. Tengo que tener en cuenta los viejos valores desde el comienzo de la serie de tiempo, 2.I don39t quieren un modelo basado en la ventana. 3. También no quiero buscar la serie de datos completa para cada instancia de tiempo para el cálculo Me preguntaba si la siguiente lógica realmente funciona, pero no está seguro Anomalía es cierto si: ABS (DP-EMA (nueva)) gt 3 SD O) ABS (DP-EMA (nueva)) gt 3 EMWSD DP - Punto de datos EMA - Promedio móvil ponderado exponencial ndash Aravind Jul 11 ​​14 a 5: 06A Medio móvil geométrico Método de martingala para detectar cambios en los flujos de datos Bondu, M. Boull: Un enfoque supervisado para la detección de cambios en flujos de datos. La Conferencia Conjunta Internacional sobre Redes Neuronales de 2011 (IJCNN), pp. 519 526 (2011). Daniel Kifer, Shai Ben-David, Johannes Gehrke: Detección del cambio en los flujos de datos. Actas de la 30ª Conferencia VLDB, Toronto, Canadá, pp. 180-191 (2004). Leszek Czerwonka: Cambios en los precios de las acciones como respuesta a las previsiones de ganancias con respecto a los beneficios reales futuros. Alexandru Ioan Cuza Universidad de Iasi, Vol. 56, págs. 81 - 90 (2009). Q. Siqing, W. Sijing: Un modelo homomórfico para identificar anomalías abruptas de precursores de derrumbes. Ingeniería Geología, Vol. 57, págs. 163168 (2000). CrossRef Wei Xiong, NaixueXiong, Laurence T. Yang, etc. Detección de anomalías de tráfico de red basada en la teoría de la catástrofe. IEEE Globecom 2010 Taller sobre Avances en Comunicaciones y Redes, pp. 2070-2074 (2010). Thomas Hilker. Michael A. Wulder. Nicholas C. Coops, etc. Un nuevo modelo de fusión de datos para la alta correlación espacial y temporal de la perturbación forestal basada en Landsat y MODIS. Teledetección del Medio Ambiente, Vol. 113, págs. 16131627 (2009). Ashraf M. Dewan. Yasushi Yamaguchi: Usando la teledetección y los SIG para detectar y monitorear el uso de la tierra y el cambio de cobertura de la tierra en Dhaka Metropolitan de Bangladesh durante 1960 2005. Environ Monit Assess, Vol. 150, págs. 237 - 249 (2009). CrossRef Jin S. Deng, KeWang, Yang Hong, Jia G. Qi. Dinámica espacio-temporal y evolución del cambio de uso de la tierra y patrón de paisaje en respuesta a la rápida urbanización. Paisaje y Urbanismo, vol. 92, págs. 187-198 (2009). CrossRef Asampbu Kitamoto: Minería de Datos Espaciales-Temporales para Typhoon Image Collection. Journal of Intelligent Information Systems, Vol. 19 (1), págs. 25-41 (2002). Tao Cheng, Jiaqiu Wang: Minería de datos espaciotemporales integrada para la predicción de incendios forestales. Transacciones en SIG. Vol. 12 (5), págs. 591-611 (2008). A. Dries y U. Ruckert: Detección adaptativa de la deriva del concepto. En SIAM Conference on Data Mining, pp. 233244 (2009). J H. Friedman y L. C. Rafsky: Generalizaciones multivariantes de las pruebas de dos muestras de Wald-Wolfowitz y Smirnov. Annals of Statistic, vol. 4, pp. 697717 (2006). F. Nemec, O. Santolik, M. Parrot, y J. J. Berthelier: Observaciones de la nave espacial de perturbaciones electromagnéticas relacionadas con la actividad sísmica. Geophysical Research Letters, vol. 35 (L05109), págs. 1-5 (2008). Sheskin, D. J. Manual de procedimientos estadísticos paramétricos y no paramétricos. 2ª ed. CRC Press, Boca Raton, Fla., Pp. 513 - 727 (2000). W. A. Shewhart: La aplicación de las estadísticas como una ayuda para mantener la calidad de un producto manufacturado. Am. Statistician Assoc. Vol. 20, págs. 546 - 548 (1925). CrossRef W. A. Shewhart: Control económico de la calidad del producto manufacturado. A. m. Soc. Para Control de Calidad, (1931). E. S. Página: Problema en el que se produce un cambio en un parámetro en un punto desconocido. Biometrika, Vol. 44, págs. 248 - 252 (1957). MATH M. A. Girshik y H. Rubin: Un enfoque de Bayes para un modelo de control de calidad, Annal of Math. Estadísticas, vol. 23 (1), páginas 114 - 125 (1952). Ludmila I. Kuncheva: Detección de cambios en la transmisión de datos multivariados utilizando detectores de verosimilitud. IEEE Transactions on Knowledge and Data Engineering, vol. 6 (1), pp. 1-7 (2007). F. Chu, Y. Wang, y C. Zaniolo: Un enfoque de Aprendizaje Adaptativo para Flujos de Datos Ruidosos. Proc. Cuarto IEEE Intl Conf. Data Mining, pp. 351-354 (2004). J. Z. Kolter y M. A. Maloof: Mayoría ponderada dinámica: un nuevo método de conjunto para el seguimiento de la deriva conceptual. Proc. Tercera IEEE Intl Conf. Data Mining, páginas 123-130 (2003). H. Wang, W. Fan, P. S. Yu, y J. Han: Minería Concepto-Drifting flujos de datos utilizando clasificadores Ensemble. Proc. ACM SIGKDD, págs. 226 - 235 (2003). M. Scholz y R. Klinkenberg: Boosting Classifiers for Drifting Concepts. Intelligent Data Analysis, vol. 11 (1), pp. 3-28 (2007). R. Klinkenberg: Aprendizaje de Conceptos de Deriva: Ejemplos de Selección vs Ponderación de Ejemplo, Análisis de Datos Inteligentes. Tema especial sobre sistemas de aprendizaje incremental capaces de lidiar con la deriva de conceptos, Vol. 8 (3), págs. 281 - 300 (2004). R. Klinkenberg y T. Joachims: Detección de la deriva del concepto con las máquinas del vector de la ayuda. Proc. 17º Intl Conf. Aprendizaje Automático, P. Langley, ed. Pp. 487 - 494 (2000). G. Widmer y M. Kubat: Aprendiendo en la Presencia de Deriva Conceptual y Contextos Ocultos. 23 (1), pp. 69 - 101 (1996). Kong Fanlang: Un método dinámico de previsión del sistema. Teoría y práctica de la ingeniería de sistemas, vol. 19 (3), págs. 58 - 62 (1999). Kong Fanlang: Un Método Dinámico de Pronóstico de Temperatura del Aire. Kybernetes, vol. 33 (2), págs. 282 - 287 (2004). S. S. Ho, H. Wechsler: Un Marco de Martingala para Detectar Cambios en Flujos de Datos Probando la Intercambiabilidad. IEEE transacciones en el análisis de patrones y la inteligencia de la máquina, Vol. 32 (12), págs. 2113-2127 (2010). CrossRef S. Muthukrishnan, E. van den Berg, e Y. Wu: Detección de Cambio Secuencial en Flujos de Datos, Proc. ICDM Workshop Data Stream Minería y Gestión, págs. 551-556 (2007) V. Vovk, I. Nouretdinov y A. Gammerman: Prueba de intercambiabilidad en línea. Proc. 20th Intl Conf. Aprendizaje de la máquina, T. Pp. 768 - 775 (2003). M. Steele: Cálculo estocástico y aplicaciones financieras. SpringerVerlag, (2001). E. Keogh, J. Lin y A. Fu: HOT SAX: Encontrar eficientemente las subsecuencias de la serie de tiempo más inusuales. En Actas de la 5ª Conferencia Internacional de IEEE sobre Minería de Datos (ICDM05), pp. 226-233 (2005). V. Moskvina y A. A. Zhigljavsky: Un algoritmo basado en análisis de espectro singular para la detección de puntos de cambio. Comunicación en Estadística: Simulación amp Computation, Vol. 32 (2), págs. 319-352 (2003). MathSciNet MATH CrossRef Y. Takeuchi y K. Yamanishi: Un marco unificador para detectar valores atípicos y puntos de cambio a partir de datos de series temporales no estacionarias. IEEE Transactions on Knowledge and Data Engineering, vol. 18 (4), págs. 482489 (2006). CrossRef F. Desobry, M. Davy y C. Doncarli: Un algoritmo de detección de cambios en el kernel en línea. IEEE Transactions on Signal Processing, Vol. 53 (8), pp. 2961 - 2974 (2005). Anomalía de CrossRefDectect de MathSciNet con la descomposición media móvil La descomposición de la serie de tiempo dividió una serie de tiempo en una serie temporal, una tendencia y una serie de tiempo residual al azar. La tendencia y la serie temporal aleatoria pueden ser utilizadas para detectar anomalías. Pero la detección de anomalías en una serie cronológica ya anómala no es fácil. TLDR Trabajando en una serie temporal anómala: Detección de anomalías con descomposición media móvil doesn8217t work Detección de anomalías con movimientos medianos de descomposición El problema con Moving Average En la descomposición de series de tiempo en R. aprendimos que el algoritmo está usando un promedio móvil para extraer las tendencias De la serie temporal. Esto está perfectamente bien en una serie de tiempo sin anomalías. Pero en presencia de valores atípicos, el promedio móvil se ve gravemente afectado ya que la tendencia incorpora las anomalías. En primer lugar, vamos a detectar la anomalía mediante la descomposición con el promedio móvil. Como no funciona bien, vamos a detectar anomalías utilizando la descomposición con la mediana móvil para obtener mejores resultados. Acerca de los datos: webTraffic. csv informar el número de páginas vistas por días durante un período de 103 semanas (casi 2 años). Para que sea interesante, le añadimos algunas (extra) anomalías. Mirando la serie de tiempo, vemos claramente una estacionalidad de 7 días ya que hay menos tráfico los fines de semana. Para descomponer una serie temporal estacional, se necesita el período de la estacionalidad. En nuestro ejemplo, sabemos que la estacionalidad será de 7 días. Si se desconoce, es posible determinar la estacionalidad de una serie temporal. Por último, pero no menos importante, necesitamos saber si la serie temporal es aditiva o multiplicativa. Nuestro tráfico web es multiplicativo. Para resumir sobre nuestro tráfico web: Estacionalidad de 7 días (más de 103 semanas) Series de tiempo multiplicativas Descargar datos webTraffic. csv lt - leer. Csv (webTraffic. csv, sep,.techo T) días como. (Runis (1. 1.50)) días i 15 días pos i 15 pos 1.2 días 510 pos 0 parcela (como ts (días)) Movimiento Descomposición media (Mal resultado) 1 8211 Descomposición As La serie temporal es anómala durante la descomposición las tendencias se equivocan completamente. De hecho, las anomalías se promedian en la tendencia.