自回归模型（Auto Regressive, AR）是最常见的平稳时间序列模型之一。

本文为一些链接整合，供以后回顾学习理解用。

1. AR模型引入

对于单摆系统，设 xt 为第 t 次摆动过程中的摆幅。根据物理原理，第 t 次的摆幅 xt 由前一次的摆幅 xt-1 决定，即有 xt=a1xt-1。考虑到空气振动的影响，我们往往假设

其中，随机干扰 εt ~ N(0, σ2)。

[通常假设误差项服从均值为0、方差为σ²的正态分布(即ε ~ N(0,σ²))]

设初始时刻 x0=1，现在取不同的 a1 和 σ 值进行实验。实验结果如下图。

可以看出，参数 a1 对序列的稳定性起到决定性的作用，而噪声强度 σ2 决定了序列的波动程度。

在这里，我们称模型 (1) 为一阶自回归模型。更一般地，可以考虑序列值 xt 可由前 p 个时刻的序列值及当前的噪声表出，即

其中，aj 为参数，{εt} 为白噪声。为了显示序列值为随机变量，这里使用 Xt 而不是 xt。

1.1. 扩展解释

1.1.1. 正态分布

 正态分布，也称为高斯分布，是概率统计学中一种重要的概率分布，通常用于描述自然界中的许多现象。正态分布的特点是其钟形曲线，对称分布于均值周围。正态分布的曲线呈现出一个峰值，这个峰值对应于均值，而分布的尾部则逐渐延伸开来。

正态分布的概率密度函数（Probability Density Function，PDF）可由以下公式表示：

  

其中：

f(x)是在处的概率密度值。                
是分布的均值。
是分布的标准差。

均值决定了曲线的中心位置，而标准差则决定了曲线的宽度。

具体而言，正态分布的性质如下：

        均值（）： 曲线的峰值位于均值处，而且曲线是关于均值对称的。

        标准差（）： 标准差决定了曲线的宽度。当标准差较大时，曲线较为扁平，即数据分布较为分散；当标准差较小时，曲线较为陡峭，数据分布较为集中。

        曲线的形状： 正态分布的概率密度函数呈现出典型的钟形曲线，两侧尾部逐渐下降，这种形状是由指数函数的幂指数项所导致。

下图所示，不同均值和标准差所绘制的曲线有所不同。

 在正态分布中，数据集中的大约68%的数据在均值的1个标准差范围内，95%在2个标准差范围内，99.7%在3个标准差范围内，换言之该数据集数据极不可能出现在3个标准差范围之外。

1.1.2. 白噪声

白噪声（white noise）是指功率谱密度在整个频域内是常数的噪声。 所有频率具有相同能量密度的随机噪声称为白噪声。白噪声是指在较宽的频率范围内，各等带宽的频带所含的噪声功率谱密度相等的噪声。白噪声各频段的能量分布均匀，在人耳可听的频率范围内，具有相同能量的噪声称为白噪声。由于人耳对高频敏感一点，这种声音听上去是很吵的沙沙声。

白噪声或白杂讯，是一种功率谱密度为常数的随机信号。换句话说，此信号在各个频段上的功率谱密度是一样的，由于白光是由各种频率（颜色）的单色光混合而成，因而此信号的这种具有平坦功率谱的性质被称作是“白色的”，此信号也因此被称作白噪声。相对的，其他不具有这一性质的噪声信号被称为有色噪声。

理想的白噪声具有无限带宽，因而其能量是无限大，但这在现实世界是不可能存在的。实际上，我们常常将有限带宽的平整信号视为白噪声，因为这让我们在数学分析上更加方便。一般，只要一个噪声过程所具有的频谱宽度远远大于它所作用系统的带宽，并且在该带宽中其频谱密度基本上可以作为常数来考虑，就可以把它作为白噪声来处理。例如，热噪声和散弹噪声在很宽的频率范围内具有均匀的功率谱密度，通常可以认为它们是白噪声。

2. AR模型的定义

2.1. 定义 1

如果 {εt} 为白噪声，服从 N(0,σ2)，a0,a1,...,ap(ap≠0) 为实数，就称 p 阶差分方程。

是一个 p 阶自回归模型，简称 AR(p) 模型，称 a=(a0,a1,...,ap)T 是 AR(p) 模型中的自回归系数。满足 AR(p) 模型 (3) 的时间序列 {Xt} 称为 AR(p) 序列。当 a0=0 时，称为零均值 AR(p) 序列，即

需要指出的是，对于 a0≠0 的情况，我们可以通过零均值化的手段把一般的 AR(p) 序列变为零均值 AR(p) 序列。

3. AR序列的建模

对于给定的时间序列 {Xt}，我们最关注的是如何对其进行建模。一般地，平稳序列的建模过程可以用下图中的流程图表示。

步骤 1 对序列作白噪声检验，若经检验判定序列为白噪声，建模结束；否则转步骤 2.

步骤 2 对序列作平稳性检验，若经检验判定为非平稳，则进行序列的平稳化处理，转步骤 1；否则转步骤 3.

步骤 3 对模型进行识别，估计其参数，转步骤 4.

步骤 4 检验模型的适用性，若检验通过，则得到拟合模型并可对序列做预测；否则转步骤 3.

4. 自回归模型的特点

·依赖性：自回归模型假设时间序列数据的当前值依赖于其历史值。
·参数化：模型通过确定参数 (a1,a2...ap) 来形成对历史数据的依赖关系。
·自相关性：这种模型的一个关键特征是自相关性，即序列的当前值与其过去值之间存在相关关系。

自回归模型的局限性
虽然自回归模型在许多场合下表现良好，但它依赖于几个假设：

·时间序列是平稳的，即其统计属性如均值、方差和自相关结构不随时间变化。
·模型假定过去的值是未来值的唯一决定因素，忽略了可能存在的外部影响因素。

自回归模型在处理具有复杂季节性或非线性特征的时间序列数据时可能需要进行调整或与其他模型（如移动平均模型、差分自回归移动平均模型等）结合使用。

5. 自回归语言模型

自回归语言模型的特点是，它能够逐一生成序列中的每个词 (x_i)，每个词的生成都是基于之前所有词的条件概率。这种模型通常利用神经网络（如LSTM、GRU或Transformer）来计算每个条件概率 。

例如，当模型生成文本“the mouse ate the cheese”时：

        它首先生成“the”，这是基于(p(the))。
        接着生成“mouse”，这是基于(p(mouse∣the))。
        然后是“ate”，基于(p(ate∣the,mouse))，以此类推。

6. 扩散模型（Diffusion Models）

扩散模型（Diffusion Models）在近几年成为了生成对抗网络（GAN）之外的又一高质量生成模型的主要方向。它的中心理念可以概括为：「先把一张清晰的图逐渐加噪，最后变成纯随机噪声；然后训练一个神经网络去逆向地一步步清除噪声，最终还原到清晰的原图」。本篇将用直观的方式，并结合详细数学公式，来解释扩散模型的运作原理与实现流程。

在物理上，“扩散”常指例如一滴墨汁在水中慢慢扩散成均匀分布的过程。对于数据而言，则可以想象：把一张图像视为起始状态，每一步添上一点高斯噪声——图像就越来越模糊，最终完全变成像水中“均匀分布的墨汁”一样的纯噪声。 接下来要做的，就是 “逆向扩散”：假设我们手中只有一张纯随机噪声的图像，通过网络一步步“去噪”，让它回到那幅清晰图像。

在训练阶段，我们知道真实图像和各步噪声图像的对应关系；网络学到如何在每个阶段把噪声减去一点点，从而逐步逼近真实图像分布。

扩散模型是一种概率生成模型，其生成过程可以被视为一个逐渐消除噪声的过程。具体来说，扩散模型通过模拟一个反向的马尔可夫链来逐步将噪声还原为目标数据。这个反向过程的基础是一个正向的扩散过程，在该过程中，数据逐渐被添加噪声，最终接近一个简单的分布（如标准高斯分布）。扩散模型的训练目标是学习这个反向过程，使得模型能够从纯噪声生成出逼真的样本。

7. 扩散模型工作原理

扩散模型的核心思想是通过定义一个前向扩散过程（forward diffusion process）和一个反向去噪过程（reverse denoising process）来实现数据生成。过程如下：

7.1. 前向扩散过程

在前向扩散过程中，模型逐步将真实数据添加噪声，生成一个逐步变得模糊和随机的版本。这个过程可以表示为一个马尔可夫链，其中每个时间步的状态由前一时间步的状态通过添加噪声得到。

累积加噪公式

若我们一步步加噪到第t tt步，可写

这表示：只要知道第0步的图像x0，就能一次性地生成第t tt步的带噪图像，少了迭代操作。

7.2. 反向去噪过程

扩散模型的生成过程通过学习一个反向过程来实现。反向过程的目标是将纯噪声逐步转变为逼真的数据样本。

在推理（采样）阶段，我们希望从纯随机噪声xT开始，反向地一步步去噪，得到x0.

7.3. 训练目标

我们要让网络学会在每个t tt步去噪的方式

整合链接：

AR模型详解-CSDN博客

白噪声，有色噪声的定义、特性及其MATLAB仿真-CSDN博客

正态分布（高斯分布）相关概念-CSDN博客

什么是自回归模型-CSDN博客

扩散模型（Diffusion Models）详解-CSDN博客

什么是扩散模型（Diffusion Models）？-CSDN博客