时间序列数据信息
趋势 Trend 趋势是时间序列的基本组成部分之一。它表示数据均值的长期变化,如图 1 所示。 此图显示了一个示例时间序列,表示一家航空公司随时间变化的每月乘客数量。 时间序列的平均水平随时间增加,代表明显的上升趋势。 一些学习算法难以处理时间序列的趋势分量。因此,通常建议将其删除以获得时间序列的最佳建模。 您可以使用 …
时间序列可视化
时间序列图形 时间序列的时间结构 Line Plots Lag Plots or Scatter Plots Autocorrelation Plots 时间序列的分布 Histograms and Density Plots 时间序列间隔上分布 Box and Whisker Plots Heat Maps 时间序列 …
时间序列预处理
时间序列示例数据 澳大利亚墨尔本市10年(1981-1990年)内的最低每日温度 import pandas as pd import matplotlib.pyplot as plt series = pd.read_csv( …
tsmoothie
时间序列平滑和异常检测
GluonTS
深度学习、概率预测
TODS 异常检测
TODS 异常检测简介 TODS 是一个全栈的自动化机器学习系统,主要针对多变量时间序列数据的异常检测。 该系统可以处理三种常见的时间序列异常检测场景:点的异常检测(异常是时间点)、模式的异常检测(异常是子序列)、 系统的异常检测(异常是时间序列的集合)。TODS 提供了一系列相应的算法 TODS 特点 TODS 具有 …
Pandas-Timeseries
Pandas 提供了多种功能来支持时间序列数据。以下主要功能对于使用 Pandas 进行时间序列预测非常重要: 解析来自各种来源和格式的时间序列信息 生成固定频率日期和时间跨度的序列 利用时区信息处理和转换日期时间 将时间序列重采样或转换为特定频率 以绝对或相对时间增量执行日期和时间运算 Pandas 支持的四个与时间 …
pmdarima
Auto ARIMA
pyts
时间序列分类
tslearn
预测
tsfresh
机器学习特征工程
Statsmodels
statistical models, hypothesis tests, and data exploration 安装 依赖 Python >= 3.7 NumPy >= 1.17 SciPy >= 1.3 Pandas >= 1.0 Patsy >= 0.5.2 Cython …
cesium
特征工程
AutoTS
AutoTS 简介 AutoTS is a time series package for Python designed for rapidly deploying high-accuracy forecasts at scale. 朴素模型 统计模型 机器学习模型 深度学习模型 所有模型都支持预测多变量(多个时间序 …
时间序列分析观点
问题:LSTM 模型时间序列预测结果可能比线性回归的结果差 如果序列中随机变化的趋势频繁出现,且训练数据中找不到很好的规律,自回归的模型会选择用近期值作为预测值输出(因为学习难度最易的情况下误差能有效控制在一定范围),于是出现预测滞后(非平稳序列预测的场景情况)。 对此,会差分、log 等平稳操作,对输入序列做转换,数 …
风力涡轮机有功功率预测比赛观摩
风力发电机功率预测问题 任务定义 2022 年 kdd cup 提供了龙源电力集团有限公司独特的空间动态风力预测数据集:SDWPF, 其中包括:风力涡轮机的空间分布,以及时间、天气和涡轮机内部状态等动态背景因素。 预测目标是 134 个风机各自在未来 288 个时刻(共 2 天)下的输出功率 需要在 48 小时之前解决 …
基本规则法
时间序列基本面规则法介绍 要预测一个时间序列,我们首先需要发现其变化的规律。最基本的方法,就是通过人工经验, 挖掘时序数据的演化特征,找到时序变化的周期,从而预估时间序列的未来走势。 具体的观察一个时间序列,当序列存在周期性时,提取时间序列的周期性特征进行预测 时间序列基本规则法(周期因子法)思想: 提取时间序列的周期 …
动态时间规整
DTW 介绍 DTW,Dynamic time warping,动态时间归整(扭曲) warping 指对序列进行压缩或扩展 动态时间归整,简称 DTW,该算法在 1970 年左右被提出来,最早用于处理语音识别分类的问题, 是一种计算两个数据序列之间的最佳匹配的技术。 DTW 的核心思路是,利用动态规划方法,对两个序列 …
LSTM 时间序列预测
目标 CSV 文件中包含了谷歌从 2001-01-25 到 2021-09-29 的股票数据,数据是按照天数频率的 预测 Open 列的未来值 Python 依赖 import numpy as np import pandas as pd from matplotlib.pyplot as plt from …
时间序列异常值检测
Anomaly Detection
随机漫步
随机漫步简介 百度百科 Python 示例 import random """ 随机漫步生成是无规则的,是系统自行选择的结果. 根据设定的规则自定生成,上下左右的方位,每次所经过的方向路径. """ class Randomwalk(): """ …
深度学习方法
深度学习方法 关于基于深度学习的算法,可以自己写一篇很长的文章来解释有关每种架构的所有细节。 但是本文只提供一些常用的时间序列分类基准模型和技术 虽然基于深度学习的算法在计算机视觉和 NLP 等领域非常流行并得到广泛研究,但它们在时间序列分类领域却并不常见。 Fawaz 等人。在他们关于时间序列分类的深度学习的论文中对 …
时间序列分类
时间序列分类介绍 时间序列分类数据不同于常规分类问题,因为属性具有有序的序列 常用时间序列分类应用 ECG/EEG 信号分类 心电图(ECG,Electrocardiogram)记录着心脏的电活动,被广泛地用于诊断各种心脏问题。 这些心电信号是用外部电极捕捉的。例如,考虑下面的信号样本,它表示一个心跳的电活动。 左边的 …
卡尔曼滤波
卡尔曼滤波简介 卡尔曼滤波(Kalman Filter, KF) 是一种优化估算算法(Optimal Estimation Algorithm), 常用于制导与导航控制系统、计算机视觉系统和信号处理领域。 实际作用主要是:从受误差影响的传感器测量中估算出最佳的系统状态。 什么是卡尔曼滤波? 可以在任何含有不确定信息的动 …
滤波算法
限幅滤波 限幅滤波也叫程序判断滤波法 方法: 根据经验判断, 确定两次采样允许的最大偏差值, 假设为 $\delta$, 每次检测到新的值时判断: 如果本次值与上次值之差小于等于 $\delta$, 则本次值有效 如果本次值与上次值之差大于 $\delta$, 则本次值无效, 放弃本次值, 用上一次值代替本次值 优点: …
时间序列特征
简单的统计描述 依据时间序列数据计算得到的特征数都可用于描述该时间序列,如平均值、最小值或最大值。 ACF 特征 一个序列的所有自相关都可以视为该序列的特征。还可以总结自相关以产生新特征。 例如,总和前 10 个自相关系数的平方是一个有用的总结,说明一个序列中有多少自相关,而不管滞后。 还可以计算周期之间序列变化的自相 …
时间序列分解、移动平均
时间序列数据通常有很多种潜在模式,因此一种有效的处理时间序列的方式是将其分解为多个成分, 其中每个成分都对应一种基础模式。 一般有三种基础的时间序列模式:趋势性、季节性和周期性。当我们想要把时间序列分解为多个成分时, 我们通常将趋势和周期组合为趋势-周期项(有时也简单称其为趋势项),因此,我们认为时间序列包括三个成分: …
时间序列回归模型
线性回归模型的核心思路是:我们预测时间序列 $y$ 时假设它与其它时间序列 $x$ 之间存在线性关系。 例如,我们可以通过广告总花费 $x$ 来预测月度销量 $y$;同样的, 我们可以通过气温数据 $x_{1}$ 和星期数据 $x_{2}$ 来预测日耗电量 $y$。 被预测变量 $y$ 有时还称作回归变量、因变量或被解 …
指数平滑
指数平滑是在 20 世纪 50 年代后期提出的(Brown, 1959; Holt, 1957; Winters, 1960), 其激发了一些十分成功的预测方法。 使用指数平滑方法生成的预测是过去观测值的加权平均值, 并且随着过去观测值离预测值距离的增大,权重呈指数型衰减。换句话说,观察值越近,相应的权重越高。 该框架 …
AIRMA 模型
ARIMA 模型提供了另一种时间序列预测的方法。 指数平滑模型(exponential smoothing)和 ARIMA 模型是应用最为广泛的两种时间序列预测方法, 基于对这两种预测方法的拓展,很多其他的预测方法得以诞生。 与指数平滑模型针对于数据中的趋势(trend)和季节性(seasonality)不同, …
时间序列图形
目录 时间序列数据探索性分析 R 语言知识 tsibble 对象 索引变量 关键变量 tsibble 对象的处理 读取 CSV 文件并将其转化为 tsibble 对象 季节性周期 时间序列模式 趋势 季节性 周期性 季节性与周期性的区别 时间序列模型示例 时间序列图形 时间图 季节图 季节图 多重季节性周期 子序列季节 …
预测:方法与实践
预测 什么是可以被预测的? 可预测性需要满足的条件 事件(或数量)的可预测性取决于一下几个因素: 我们对它的影响因素的了解程度; 有多少历史数据是可用的; 未来与过去的相似程度; 预测是否会影响我们试图预测的事物。 例如,对居民用电需求可以非常准确地预测,因为通常这四个条件都可以满足的: 我们很好地了解它的影响因素:电 …
时间序列预测模型
预测方法 时间序列分析的一个目标是借助历史数据反映出的客观规律,对序列的未来观测值进行预测。下面简单介绍常用的预测方法, 用 $\hat{y}_{T+h|T}$ 表示基于 $T$ 时刻的信息构造的对 $h$ 时刻后(即 $T+h$ 时刻)的 $y$ 的预测值。 均值预测法 均值(average 或 mean)预测是指采 …
时间序列模型评估
时间序列交叉验证 评估性能对预测模型的开发至关重要。交叉验证是一种流行的技术,但是在处理时间序列时, 应该确保交叉验证处理了数据的时间依赖性质,要防止数据泄漏和获得可靠的性能估计。 在时序问题上,需要特别注意不能做随机分割,而需要在时间维度上做前后的分割, 以保证与实际预测应用时的情况一致 对于方法的采用建议如下: 首 …
时间序列平稳性和纯随机性
时间序列平稳性 时间序列分析中的许多方法,如 ARMA、ARIMA、Granger 因果检验等时序预测和分析方法, 都需要时间序列具备平稳性。那么: 什么是时间序列的平稳性呢? 什么序列是平稳时间序列? 什么序列又是非平稳时间序列? 平稳性 时间序列平稳性是指在一组时间序列数据看起来平坦,各阶统计特性(所有统计特征), …
时间序列特征工程
时间特征 滑动窗口统计特征 扩展窗口统计特征 时间序列特征 时间序列特征构造基本准则: 构造时序特征时一定要算好时间窗口,特别是在工作的时候,需要自己去设计训练集和测试集, 千万不要出现数据泄露的情况(比如说预测明天的数据时,是拿不到今天的特征的) 针对上面的情况,可以尝试将今天的数据进行补齐 有些特征加上去效果会变 …
时间序列预测方式
按输入变量 单变量预测 Univariate Time Series Forecasting, 单变量预测 自回归预测 在单变量时间序列预测中,单个时间序列被建模为其滞后的线性或非线性组合, 其中该序列的过去值用于预测其未来。 多变量预测 Multivariate Time Series Forecasting, 多变 …
时间序列趋势性和周期性
时间序列趋势性检测 移动平均法 在原时间序列内依次求连续若干期的平均数作为其某一期的趋势值, 如此逐项递移求得一系列的移动平均数,形成一个平均数时间序列 时间回归法 使用回归分析中的最小二乘法,以时间 $t$ 或 $t$ 的函数为自变量拟合趋势方程。常用的趋势方程如下 一阶线性方程 二次、多次方程曲线 指数曲线 趋势其 …
机器学习预测方式
为什么时间序列预测很难 机器学习和深度学习已越来越多应用在时序预测中。ARIMA 或指数平滑等经典预测方法正在被 XGBoost、 高斯过程或深度学习等机器学习回归算法所取代。 尽管时序模型越来越复杂,但人们对时序模型的性能表示怀疑。 有研究表明,复杂的时序模型并不一定会比时序分解模型有效。 时间序列是按时间排序的值, …
机器学习预测模型应用 DEMO
# -*- coding: utf-8 -*- # *************************************************** # * File : ml_forecasting.py # * Author : Zhefeng Wang # * Email : …
Deep Time Series Models 总结
一、研究背景与意义 时间序列数据特性:时间序列是按离散时间顺序组织的数据点序列,广泛存在于金融风险评估、能源可持续性、天气预报等现实场景。 与图像、文本数据不同,其语义信息主要源于时间变化,存在非线性模式与时间变异趋势交织的独特挑战,需复杂方法提取有意义的时间表征。 研究发展历程:时间序列分析已有数百年研究历史,早期依 …
【Paper】TimeXer:融合外生变量的时间序列预测 Transformer 模型
一、研究背景与问题 时间序列预测的现实需求:时间序列预测在气象、电力、交通等领域应用广泛, 但现实场景中数据常存在部分观测特性,仅依赖目标变量(内生变量)难以保证预测准确性。 外生变量的重要性:外生变量(如经济指标、人口变化、社会事件等)能为内生变量预测提供关键外部信息。 例如,电价预测需结合市场供需等外生变量,仅靠历 …
【Paper】Time-series Dense Encoder(TiDE):长期时间序列预测模型研究总结
一、研究背景与动机 长期时间序列预测的重要性:长期时间序列预测(基于长历史窗口预测未来多步)是时间序列分析的核心问题,在能源、金融、交通等领域应用广泛。 现有模型的局限: 深度学习模型(如 Transformer 类模型,包括 Informer、Autoformer 等)虽曾被认为是长期预测的先进方案,但近年研 …
【Paper】PatchTST:A Time Series is Worth 64 Words:Long-Term Forecasting with Transformers
一、论文基本信息 发表会议:ICLR 2023 作者团队:Yuqi Nie(普林斯顿大学)、Nam H. Nguyen、Phanwadee Sinthong、Jayant Kalagnanam(IBM 研究院) 核心主题:提出基于 Transformer 的高效模型 PatchTST,用于多变量时间序列预测和自监督表示 …
【Paper】iTransformer
参考 iTransformer: 倒置Transformer,刷新时序预测新纪录
【Paper】WaveNet
论文简介 论文名称: 论文地址: 模型代码: 历史研究和瓶颈 论文贡献 问题定义 模型定义 实验结果 总结 参考
【Paper】N-BEATS
论文简介 题目:N-BEATS: Neural Basis Expansion Analysis for Interpretable Time Series Forecasting. 代码:https://github.com/ElementAI/N-BEATS 历史研究和瓶颈 在 M4 竞赛中,前排基本都用机器学习的 …
【Paper】 FEDformer
论文简介 论文名称:FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting. 论文地址:https://proceedings.mlr.press/v162/zhou22g/zhou22g.pdf 模型代 …
Deep Time Series Models 综述
论文信息 论文名称:Deep Time Series Models: A Comprehensive Survey and Benchmark 论文地址:https://arxiv.org/abs/2407.13278 论文代码:https://github.com/thuml/Time-Series-Library …
【paper】TimesNet
论文信息 论文名称:TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis 论文地址:https://openreview.net/pdf?id=ju_Uqw384Oq 论文代 …
【Paper】 Autoformer
论文信息 论文名称:Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting. 论文地址:https://arxiv.org/abs/2106.13008 论文代码: …
【Paper】TFT:Temporal Fusion Transformers
论文简介 论文:Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting 作者:牛津大学和谷歌云AI 代 …
【Paper】LTSF-Linear
论文简介 论文名称:Are Transformers Effective for Time Series Forecasting? 论文地址:https://arxiv.org/abs/2205.13504 模型代码:https://github.com/cure-lab/LTSF-Linear …
【Paper】TBATS
论文简介 历史研究和瓶颈 论文贡献 问题定义 模型定义 实验结果 总结 资料
【Paper】Informer
论文简介 论文名称:Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. 论文地址:https://arxiv.org/abs/2012.07436 论文代码: …
【Paper】LSTNet
论文简介 历史研究和瓶颈 论文贡献 问题定义 模型定义 实验结果 总结 资料 参考 LSTNet详解 paper code
【Paper】DeepAR
论文简介 题目:DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks 作者:亚马逊 代码:https://github.com/husnejahan/DeepAR-pytorch 简介:一种使用自回归 RNN …
【Paper】AR-Net
论文简介 论文名称:AR-Net: A simple Auto-Regressive Neural Network for time-series. 论文地址:https://arxiv.org/pdf/1911.12436.pdf 论文代码:https://github.com/ourownstory/AR-Net …
VAR
向量自回归模型
Theta
Theta 介绍 Theta 模型基本上依赖于分解。我们知道时间序列可以分解为三个部分:趋势部分、季节性部分和残差。 因此,将序列分解为各个组成部分,对未来预测每个组成部分,并将每个部分的预测组合成最终预测,是一个合理的做法。 不幸的是,在实践中这并不奏效,尤其是因为很难分离残差并对其进行预测。 因此,Theta 模型 …
时间序列非平稳时序模型
非平稳时间序列分析介绍 在自然界中绝大部分序列都是非平稳的,因而对非平稳序列的分析更普遍、更重要。 对于非平稳时间序列分析,根据残差序列的方差是否相同,时序分析可以分为两种: 残差序列具有同方差性 差分自回归移动平均模型(Autoregressive Integrated Moving Average, ARIMA) …
时间序列统计性时域分析
统计性时域分析 统计性时域分析主要是横向挖掘时序的内生相关关系,其中,描述时序内生相关关系的两个重要统计指标是: 自协方差函数:就是协方差,只不过 $X_{1}$ 和 $X_{2}$ 对应的是时间序列 $X_{t_{1}}$ 和 $X_{t_{2}}$。 之所以前面有个“自”,是因为时间序列 $X_{t_{1}}$ …
时间序列平滑及预测
时间序列平滑简介 数据平滑通常是为了消除一些极端值或测试误差. 即使有些极端值本身是真实的, 但是并没有反映出潜在的数据模式, 仍需处理 数据平滑方法 差分运算 移动平均 简单移动平均 加权移动平均 指数加权移动平均/ …
Prophet
论文简介 论文:Forecast at Scale 代码:https://github.com/facebook/prophet 文档:https://facebook.github.io/prophet/ 历史研究和瓶颈 ARMA 模型在时间序列的趋势和季节上没有很好的处理, ETA(指数平滑,Exponential …
时间序列平稳时序模型
平稳时间序列分析介绍 一个时间序列经过预处理被识别为 平稳非白噪声时间序列,就说明该序列是一个蕴含相关信息的平稳序列。 在统计上,通常是建立一个线性模型来拟合该序列的发展,借此提取该序列中的有用信息。 假设一个时间序列经过预处理被识别为 平稳非白噪声时间序列,就可以利用 ARMA 模型对该序列建模。 ARMA(Auto …
小波分析
小波变换的维基百科介绍 小波分析介绍 小波分析(wavelet analysis)或小波变换(英语:wavelet transform)是指用有限长或快速衰减的“母小波”(mother wavelet)的振荡波形来表示信号。该波形被缩放和平移以匹配输入的信号。 “小波”(英语:wavelet)一词由吉恩·莫莱特和阿列克 …
傅里叶变换
傅里叶分析 傅立叶分析(Fourier Analysis) 是研究如何将数学函数分解为一系列更简单的三角函数的领域。 傅立叶变换(Fourier Transfrom) 是该领域的一种工具,用于将函数分解为其分量频率。 傅里叶变换基本概念 傅立叶变换是一种工具,可让您获取信号并查看其中每个频率的功率。基本概念包括: 信 …