From e03d1114edc4833817d7c05ceb37e7e466d24b13 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:25 +1100 Subject: [PATCH 01/28] Update translation: lectures/approximation_errors.md --- lectures/approximation_errors.md | 1626 ++++++++++++++++++++++++++++++ 1 file changed, 1626 insertions(+) create mode 100644 lectures/approximation_errors.md diff --git a/lectures/approximation_errors.md b/lectures/approximation_errors.md new file mode 100644 index 00000000..f6672c41 --- /dev/null +++ b/lectures/approximation_errors.md @@ -0,0 +1,1626 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.4 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 时间序列模型中的近似误差 + headings: + Overview: 概览 + Kullback–Leibler divergence between Gaussian processes: 高斯过程之间的库尔贝克-莱布勒散度 + Kullback–Leibler divergence between Gaussian processes::Spectral densities: 谱密度 + Kullback–Leibler divergence between Gaussian processes::Divergence rate: 散度率 + Kullback–Leibler divergence between Gaussian processes::Hansen and Sargent's approximation criterion: 汉森和萨金特的近似准则 + Kullback–Leibler divergence between Gaussian processes::Periodogram and likelihood: 周期图与似然函数 + Misspecified autoregressions: 设定有误的自回归 + Misspecified autoregressions::Projection onto autoregressions: 在自回归上的投影 + Misspecified autoregressions::Seasonal example: 季节性示例 + Misspecified autoregressions::Deleting seasonal bands: 删除季节性频段 + Misspecified autoregressions::Filtering: 滤波 + Distributed lags: 分布滞后 + Distributed lags::Least squares as weighted projection: 最小二乘作为加权投影 + Distributed lags::Sampling continuous-time lags: 连续时间滞后的抽样 + Distributed lags::Seasonal noise in regressors: 回归量中的季节性噪声 + Seasonal adjustment in dynamic models: 动态模型中的季节调整 + Seasonal adjustment in dynamic models::Filtering in dynamic systems: 动态系统中的滤波 + Seasonal adjustment in dynamic models::Hansen and Sargent's experiment: 汉森和萨金特的实验 + Seasonal adjustment in dynamic models::Sims's permanent income examples: 西姆斯的永久收入示例 + Garbling and the data processing inequality: 淆乱与数据处理不等式 + Garbling and the data processing inequality::Filters, frequency bands, and the data processing inequality: 滤波器、频段与数据处理不等式 + Garbling and the data processing inequality::A Blackwell chain: 一条布莱克韦尔链 + Garbling and the data processing inequality::Two pairs of distributions: 两对分布 + Garbling and the data processing inequality::Divergences, not estimates: 散度,而非估计值 + Garbling and the data processing inequality::Low-frequency filters: 低频滤波器 + Garbling and the data processing inequality::Sampling: 抽样 + Concluding remarks: 结语 + Exercises: 练习 +--- + +(approximation_errors)= +```{raw} jupyter +
+ + QuantEcon + +
+``` + +# 时间序列模型中的近似误差 + +```{contents} Contents +:depth: 2 +``` + +## 概览 + +当计量经济学家估计一个不包含生成数据的真实过程的模型时,在正则性条件下,最大似然估计量会收敛到模型中在库尔贝克-莱布勒(KL)散度意义下最接近真实过程的那个成员。 + +在 {doc}`information_projections` 中,我们将该成员称为真实分布在模型上的 **m-投影**。 + +本讲座围绕这一事实的一个推论展开:通过选择模型、数据以及用来变换数据的任何滤波器,计量经济学家实际上选择了估计量所计算的是哪一种投影。 + +对于平稳高斯过程,每个观测值对应的 KL 散度收敛于一个对频率的积分,因此 m-投影要在不同频率上的近似误差之间进行权衡。 + +{cite:t}`Sims1971`、{cite:t}`Sims1974`、{cite:t}`Sims1993` 以及 {cite:t}`HansenSargent1993` 研究了计量经济学家在拟合设定有误的时间序列模型时所犯的误差,并说明了抽样、季节性噪声和季节调整如何改变这些误差。 + +本讲座共分五节。 + +* {ref}`ae_kl_section` 将两个平稳高斯过程之间的 KL 散度描述为对频率的积分。 +* {ref}`ae_ar_section` 将设定有误的自回归描述为谱密度的投影,并说明了对数据和模型同时滤波、仅对数据滤波、以及删除频段这三种操作如何改变该投影。 +* {ref}`ae_lag_section` 将分布滞后的最小二乘估计描述为以回归量的谱密度加权的 m-投影,并介绍西姆斯关于抽样和季节性噪声的结果。 +* {ref}`ae_seasonal_section` 描述了动态理性预期模型中的季节调整。 +* {ref}`ae_garbling_section` 将滤波、删除频段、去除季节性均值以及抽样都视为 {doc}`blackwell_kihlstrom` 意义下的淆乱(garbling),并利用数据处理不等式来整理前几节的结果。 + +{doc}`specification_tests` 是本讲座的延续:它将设定检验描述为两个投影之间的比较。 + +每一节都使用其所依据论文的符号体系,因此有几个符号在不同节中含义会有所变化。 + +具体而言,$A$ 既表示汉森和萨金特的准则,也表示西姆斯的移动平均算子;$c$ 既表示滤波器,也表示西姆斯的季节性噪声滞后分布,还表示消费;$w$ 既表示有限傅里叶变换,也表示西姆斯的季节性噪声;$Y$ 既表示抽样序列,也表示收入;$\gamma$ 既表示自协方差,也表示生产率参数;$d$ 既表示滞后分布,也表示禀赋冲击;$v$ 既表示季节性新息,也表示西姆斯在 $z$ 中的噪声。 + +{doc}`协方差平稳过程讲座 ` 介绍了谱密度。 + +{doc}`phillips_misspecified` 利用汉森和萨金特的准则 {eq}`ae_hs_criterion` 来计算使用设定有误模型进行预测的主体所持有的信念。 + +我们使用以下导入。 + +```{code-cell} ipython3 +import numpy as np +import matplotlib.pyplot as plt +from scipy import integrate +from scipy.linalg import toeplitz, cho_factor, cho_solve +from scipy.optimize import minimize +``` + +(ae_kl_section)= +## 高斯过程之间的库尔贝克-莱布勒散度 + +### 谱密度 + +设 $\{y_t\}$ 为均值为零、自协方差为 $\gamma_k = E[y_t y_{t-k}]$ 的协方差平稳过程。 + +其**谱密度**为 + +$$ +f(\omega) = \sum_{k=-\infty}^{\infty} \gamma_k e^{-i \omega k} , +\qquad +\gamma_k = \frac{1}{2\pi} \int_{-\pi}^{\pi} f(\omega) e^{i \omega k} \, d\omega . +$$ (ae_spectral) + +我们遵循 {cite:t}`HansenSargent1993` 的惯例。 + +{doc}`sargent_surico` 和 {doc}`phillips_drifts_volatilities` 在求和前乘以因子 $1/(2\pi)$;该因子只是对 $f$ 做重新标度,并不改变诸如 $f/g$ 这样的比值。 + +在第二个公式中令 $k = 0$ 可以看出,$f$ 将 $y_t$ 的方差 $\gamma_0$ 分配到频率 $\omega \in [-\pi, \pi]$ 上。 + +一阶自回归 $y_t = \rho y_{t-1} + \sigma \varepsilon_t$(其中 $|\rho| < 1$,$\varepsilon_t$ 为单位方差白噪声)的谱密度为 $\sigma^2 / |1 - \rho e^{-i\omega}|^2$。 + +更一般地,自回归 $a(L) y_t = \sigma \varepsilon_t$(其中 $a(L) = 1 - a_1 L - \cdots - a_p L^p$)的谱密度为 $\sigma^2 / |a(e^{-i\omega})|^2$。 + +我们在 $[0, 2\pi)$ 内的细密频率网格上计算谱密度,在该网格上,一个函数的平均值近似于其在一个周期上的积分乘以 $\frac{1}{2\pi}$。 + +```{code-cell} ipython3 +n_grid = 2**14 +ω = 2 * np.pi * (np.arange(n_grid) + 0.5) / n_grid +z = np.exp(-1j * ω) + + +def ar_poly(a): + """a(e^{-iω}) = 1 - a_1 e^{-iω} - ... - a_p e^{-ipω} 在网格上的值。""" + return 1 - sum(a_j * z**(j + 1) for j, a_j in enumerate(np.atleast_1d(a))) + + +def ar_spectrum(a, σ2=1.0): + return σ2 / np.abs(ar_poly(a))**2 + + +def autocov(f, n_lags): + """由网格上的谱密度 f 计算 γ_0, ..., γ_{n_lags}。""" + return np.array([np.mean(f * np.cos(ω * k)) for k in range(n_lags + 1)]) + + +def kl_rate(f, g, keep=None): + """(1/4π) ∫ [f/g - 1 - log(f/g)] dω,在 keep 指定的频率上计算。""" + ratio = f / g + integrand = ratio - 1 - np.log(ratio) + if keep is not None: + integrand = np.where(keep, integrand, 0.0) + return 0.5 * np.mean(integrand) +``` + +### 散度率 + +设 $f$ 和 $g$ 分别为两个均值为零的平稳高斯过程的谱密度,并假设二者都有界且与零有一定的距离。 + +在第一个过程下,前 $T$ 个观测值构成的向量 $y^T = (y_1, \ldots, y_T)$ 服从 $N(0, \Gamma_T(f))$,其中 $\Gamma_T(f)$ 是以 $\gamma_{j-k}$ 为元素的 $T \times T$ 矩阵;在第二个过程下,它服从 $N(0, \Gamma_T(g))$。 + +这两个多元正态分布之间的 KL 散度为 $\frac{1}{2}[\operatorname{tr}(\Gamma_T(g)^{-1}\Gamma_T(f)) - T - \log\det(\Gamma_T(g)^{-1}\Gamma_T(f))]$,并且它近似地按比例随 $T$ 增长。 + +除以 $T$ 之后,它收敛于 + +$$ +D(f \| g) = \frac{1}{4\pi} \int_{-\pi}^{\pi} \left[ \frac{f(\omega)}{g(\omega)} - 1 - \log \frac{f(\omega)}{g(\omega)} \right] d\omega . +$$ (ae_kl_rate) + +我们称 $D(f \| g)$ 为谱密度为 $f$ 的过程相对于谱密度为 $g$ 的过程的 **KL 散度率**。 + +{doc}`likelihood_ratio_process` 和 {doc}`likelihood_var` 将这一速率记为 $h_{KL}(f, g)$,并在时域中针对马尔可夫链和高斯向量自回归计算它;对于两个均值为零的一阶向量自回归,下文的向量公式 {eq}`ae_kl_rate_vector` 等于 {eq}`eq:var_kl_rate`。 + +*KL 散度率是跨频率的平均值,其中每个频率处的 KL 散度是方差分别为两个谱密度在该频率处取值的正态分布之间的散度。* + +在频率 $\omega_j = 2\pi j / T$(其中 $0 < \omega_j < \pi$)处的变换 $w_j = T^{-1/2} \sum_{t=1}^T y_t e^{-i \omega_j t}$,当 $T$ 较大时,近似地是方差为 $f(\omega_j)$ 的独立复正态随机变量。 + +因此,$T$ 个观测值的两个分布之间的 KL 散度,近似等于在约 $T/2$ 个频率上,$w_j$ 的两个分布之间散度的总和。 + +在每个频率上,该散度是均值为零、方差分别为 $f(\omega_j)$ 和 $g(\omega_j)$ 的两个正态分布之间的散度,根据 {doc}`exponential_families` 的公式 {eq}`ef_kl_normal`,对于实正态随机变量该散度为 $\frac{1}{2}[f/g - 1 - \log(f/g)]$,对于复正态随机变量则是该值的两倍。 + +对 $T/2$ 个频率求和并除以 $T$,即得到 {eq}`ae_kl_rate`。 + +我们通过计算两个一阶自回归($\rho = 0.9$ 和 $\rho = 0.5$)在 $T$ 个观测值的分布之间的精确散度,来检验 {eq}`ae_kl_rate`。 + +```{code-cell} ipython3 +def ar1_autocov(ρ, T): + return ρ**np.arange(T) / (1 - ρ**2) + + +def kl_normal_vectors(Σ1, Σ2): + """N(0, Σ1) 相对于 N(0, Σ2) 的 KL 散度。""" + M = cho_solve(cho_factor(Σ2), Σ1) + return 0.5 * (np.trace(M) - len(M) - np.linalg.slogdet(M)[1]) + + +ρ1, ρ2 = 0.9, 0.5 +for T in (25, 100, 400, 1600): + Σ1 = toeplitz(ar1_autocov(ρ1, T)) + Σ2 = toeplitz(ar1_autocov(ρ2, T)) + print(f"T = {T:5d}: divergence / T = {kl_normal_vectors(Σ1, Σ2) / T:.5f}") +print(f"divergence rate: {kl_rate(ar_spectrum(ρ1), ar_spectrum(ρ2)):.5f}") +``` + +对于一个具有谱密度矩阵 $F$ 和 $G$、均值为 $\nu$ 和 $\mu$ 的向量过程,相同的论证给出 + +$$ +\frac{1}{4\pi} \int_{-\pi}^{\pi} \left[ \operatorname{tr}\left(G(\omega)^{-1} F(\omega)\right) - n - \log \det \left(G(\omega)^{-1} F(\omega)\right) \right] d\omega ++ \frac{1}{2} (\nu - \mu)^\top G(0)^{-1} (\nu - \mu) , +$$ (ae_kl_rate_vector) + +其中 $n$ 是该过程的维数。 + +均值通过频率零处的变换 $w_0 = T^{1/2} \bar y$ 进入该表达式,而在第二个过程下,该变换的协方差矩阵近似为 $G(0)$。 + +{doc}`phillips_misspecified` 描述了一个均值为零的模型,该模型通过提高 $G(0)$ 来拟合非零均值,这会缩小均值项。 + +### 汉森和萨金特的近似准则 + +{cite:t}`HansenSargent1993` 写道: + +> 我们希望研究计量经济学家在估计一个设定有误的模型时,在经济解释上所犯的误差。众所周知,最大似然估计与库尔贝克-莱布勒(1951)信息准则之间存在重要联系。 + +他们设 $F(\omega)$ 和 $\nu$ 分别为可观测变量向量的谱密度矩阵和均值,设 $G(\omega, \delta)$ 和 $\mu(\delta)$ 为参数向量为 $\delta$ 的近似模型所蕴含的谱密度矩阵和均值。 + +他们证明,当最小化点唯一时,$\delta$ 的高斯最大似然估计量几乎必然收敛于他们的**近似准则**的最小化点: + +$$ +A(\delta) = \frac{1}{2\pi} \int_{-\pi}^{\pi} \log \det G(\omega, \delta) \, d\omega ++ \frac{1}{2\pi} \int_{-\pi}^{\pi} \operatorname{trace}\left[G(\omega, \delta)^{-1} F(\omega)\right] d\omega ++ [\nu - \mu(\delta)]^\top G(0, \delta)^{-1} [\nu - \mu(\delta)] . +$$ (ae_hs_criterion) + +从 $A(\delta)$ 中减去不依赖于 $\delta$ 的量 $\frac{1}{2\pi}\int \log \det F(\omega) \, d\omega + n$,剩下的就是散度率 {eq}`ae_kl_rate_vector` 的两倍。 + +因此,*设定有误的最大似然估计量的概率极限,就是真实过程在模型上的 m-投影,散度用 KL 散度率来度量。* + +{cite:t}`HansenSargent1993` 在每个频率 $\omega$ 处应用了他们所称的"关于正态分布随机变量的常见信息不等式": + +$$ +\log \det G(\omega, \delta) + \operatorname{trace}\left[G(\omega, \delta)^{-1} F(\omega)\right] +\geq \log \det F(\omega) + n . +$$ + +对频率积分表明,$A(\delta)$ 的前两项至少为 $\frac{1}{2\pi}\int \log \det F(\omega) \, d\omega + n$,当 $G(\cdot, \delta) = F$ 时取等号;均值项非负,且当 $\mu(\delta) = \nu$ 时等于零。 + +### 周期图与似然函数 + +{cite:t}`HanSar1980` 沿用 {cite:t}`Hannan1970` 的方法,使用对 $T$ 个观测值的高斯对数似然函数的频域近似,这种近似常以 {cite:t}`Whittle1953` 命名为惠特尔似然: + +$$ +- \frac{1}{2} \sum_{j=0}^{T-1} \log \det G(\omega_j, \delta) - \frac{1}{2} \sum_{j=0}^{T-1} \operatorname{tr}\left[ G(\omega_j, \delta)^{-1} I(\omega_j) \right] +$$ (ae_whittle) + +再加上一个常数,其中 $\omega_j = 2\pi j / T$,而 $I(\omega_j) = T^{-1} \left(\sum_t y_t e^{-i\omega_j t}\right)\left(\sum_t y_t e^{i\omega_j t}\right)^\top$ 为**周期图**。 + +汉森和萨金特用 $S$ 表示模型的谱密度矩阵;我们沿用他们 1993 年论文中的符号 $G(\omega, \delta)$。 + +{doc}`kalman_filter_var` 根据状态空间模型的新息来计算精确的高斯对数似然函数;{eq}`ae_whittle` 则是逐个频率地近似同一个似然函数。 + +最大化 {eq}`ae_whittle` 相当于最小化 {eq}`ae_hs_criterion` 前两项的一个样本版本,其中用周期图代替真实谱密度 $F$。 + +在 {doc}`information_projections` 中,最大似然估计量是经验分布在模型上的 m-投影;而在 {eq}`ae_whittle` 中,周期图取代了经验分布的位置。 + +周期图在任何频率处都不会收敛到 $F(\omega)$:对于标量过程,其方差始终接近 $f(\omega)^2$。 + +$\operatorname{tr}[G(\omega_j, \delta)^{-1} I(\omega_j)]$ 在各频率上的平均值确实会收敛到 $\operatorname{tr}[G(\omega, \delta)^{-1}F(\omega)]$ 对应的平均值,而估计量收敛到 {eq}`ae_hs_criterion` 的最小化点只需要这些平均值收敛即可。 + +(ae_ar_section)= +## 设定有误的自回归 + +### 在自回归上的投影 + +假设计量经济学家将自回归 $a(L) y_t = \sigma \varepsilon_t$ 拟合到谱密度为 $f$ 的标量过程上,因此模型的谱密度为 $g(\omega) = \sigma^2 / |a(e^{-i\omega})|^2$。 + +对于固定的多项式 $a$,使散度率 {eq}`ae_kl_rate` 最小的方差 $\sigma^2$ 为 + +$$ +\sigma^2(a) = \frac{1}{2\pi} \int_{-\pi}^{\pi} f(\omega) |a(e^{-i\omega})|^2 \, d\omega = E\left[ \left( a(L) y_t \right)^2 \right] , +$$ + +即法则 $\hat y_t = a_1 y_{t-1} + \cdots + a_p y_{t-p}$ 的一步向前预测误差的均方值。 + +当 $a$ 的根位于单位圆外时,柯尔莫哥洛夫公式给出 $\frac{1}{2\pi}\int \log |a(e^{-i\omega})|^2 \, d\omega = 0$。 + +将 $\sigma^2(a)$ 代入 {eq}`ae_kl_rate`,可得 + +$$ +D(f \| g) = \frac{1}{2} \left[ \log \sigma^2(a) - \frac{1}{2\pi} \int_{-\pi}^{\pi} \log f(\omega) \, d\omega \right] . +$$ + +根据柯尔莫哥洛夫公式,$\frac{1}{2\pi}\int_{-\pi}^{\pi} \log f(\omega) \, d\omega = \log \sigma^2_\infty$,其中 $\sigma^2_\infty$ 是给定 $y_t$ 的无限过去时,其一步向前预测误差的方差,因此 $D(f \| g) = \frac{1}{2} \log [\sigma^2(a)/\sigma^2_\infty]$。 + +对于向量过程,{doc}`kalman_filter_var` 中的谱分解恒等式 {eq}`eq:sf_identity` 给出了对应的结果:状态空间模型的可观测变量的谱密度矩阵的对数行列式在频率上的平均值,等于其新息协方差矩阵(在该讲座的符号中为 $G\Sigma G^\top + R$)的对数行列式。 + +第二项不依赖于 $a$,所以*平稳过程在 $p$ 阶自回归上的 m-投影,所选取的系数是使一步向前预测误差均方值最小的系数。* + +这些系数满足尤尔-沃克方程 $\sum_{k=1}^p a_k \gamma_{j-k} = \gamma_j$(对 $j = 1, \ldots, p$);当 $p = 1$ 时,$a_1 = \gamma_1 / \gamma_0$。 + +在频域似然函数 {eq}`ae_whittle` 中,$p$ 阶自回归构成一个指数族,其充分统计量是滞后 $0, \ldots, p$ 处的自协方差。 + +与 {doc}`information_projections` 中一样,m-投影要匹配各阶矩:其滞后 $0, \ldots, p$ 处的自协方差与 $y_t$ 的自协方差相等。 + +同样的论证适用于任何移动平均算子是比值多项式(首项系数为一、根在单位圆外)的模型;若均值非零,则集中后的方差还要加上预测误差均值的平方。 + +{doc}`phillips_misspecified` 利用这一点来计算模型设定有误的主体的预测规则。 + +下面的函数通过直接最小化散度率来计算 m-投影。 + +其参数 `keep` 将准则限制在一部分频率上。 + +将 $a$ 的某个根替换为其倒数不会改变谱密度的形状,因此该准则在平稳区域之外也有最小化点。 + +我们通过用 $(-1, 1)$ 内的偏自相关系数来参数化自回归,从而将搜索限制在平稳自回归范围内。 + +```{code-cell} ipython3 +def yule_walker(γ, p): + return np.linalg.solve(toeplitz(γ[:p]), γ[1:p + 1]) + + +def pacf_to_ar(pacf): + """由偏自相关系数计算 AR 系数(杜宾-莱文森算法)。""" + a = np.zeros(0) + for φ_kk in pacf: + a = np.append(a - φ_kk * a[::-1], φ_kk) + return a + + +def ar_to_pacf(a): + a, pacf = np.array(a, dtype=float), [] + while len(a): + φ_kk = a[-1] + pacf.append(φ_kk) + a = (a[:-1] + φ_kk * a[:-1][::-1]) / (1 - φ_kk**2) + return np.array(pacf[::-1]) + + +def ar_projection(f, p, keep=None): + """最小化 f 对 AR 模型散度率的平稳 AR(p) 系数及新息方差, + 在 keep 指定的频率上计算。""" + keep = np.ones(n_grid, bool) if keep is None else keep + + def criterion(θ): + a2 = np.abs(ar_poly(pacf_to_ar(np.tanh(θ)))[keep])**2 + return np.log(np.mean(f[keep] * a2)) - np.mean(np.log(a2)) + + θ0 = np.arctanh(ar_to_pacf(yule_walker(autocov(f, p), p))) + θ = minimize(criterion, θ0, method="BFGS", options={"gtol": 1e-8}).x + a = pacf_to_ar(np.tanh(θ)) + σ2 = np.mean((f * np.abs(ar_poly(a))**2)[keep]) + return a, σ2 +``` + +### 季节性示例 + +设观测到的季度序列是一个非季节性分量与一个相互独立的季节性分量之和 $y_t = x_t + s_t$: + +$$ +x_t = 0.9 \, x_{t-1} + e_t , +\qquad +(1 + \varphi L + \varphi^2 L^2 + \varphi^3 L^3) \, s_t = v_t , +\qquad \varphi = 0.98 . +$$ + +季节性多项式的根恰好位于季节频率 $\pi/2$ 和 $\pi$ 外侧附近,因此 $s_t$ 的谱密度在这些频率处出现窄峰。 + +我们对 $v_t$ 做标度,使 $s_t$ 的方差为 $x_t$ 方差的四分之一。 + +某计量经济学家对 $y_t$ 拟合了一阶自回归。 + +```{code-cell} ipython3 +ρ_x, φ = 0.9, 0.98 +f_x = ar_spectrum(ρ_x) +f_s = ar_spectrum([-φ, -φ**2, -φ**3]) +f_s = f_s * 0.25 * np.mean(f_x) / np.mean(f_s) +f_y = f_x + f_s + +a_full, σ2_full = ar_projection(f_y, 1) +g_full = ar_spectrum(a_full, σ2_full) +γ_y = autocov(f_y, 1) +print(f"m-projection: ρ* = {a_full[0]:.4f}, γ_1/γ_0 = {γ_y[1] / γ_y[0]:.4f}") +print(f"divergence rate at the projection: {kl_rate(f_y, g_full):.4f}") +print(f"g/f at frequency zero: {g_full[0] / f_y[0]:.2f}") +``` + +该 m-投影的 $\rho^* = 0.62$,远低于非季节性分量的系数 $0.9$。 + +图的左侧面板绘制了 $y_t$、$x_t$ 以及该投影的谱密度的对数。 + +右侧面板绘制了每个频率处的 $\frac{1}{2}[f/g - 1 - \log(f/g)]$;它在各频率上的平均值即为该散度率。 + +在右侧面板中,竖线标出了季节频率 $\pi/2$ 和 $\pi$。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: AR(1) projection of a seasonal series + name: fig-ae-seasonal-ar1 +--- +half = ω <= np.pi +π_ticks = (np.arange(5) * np.pi / 4, + ["0", r"$\pi/4$", r"$\pi/2$", r"$3\pi/4$", r"$\pi$"]) + +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) +ax = axes[0] +ax.plot(ω[half], np.log(f_y[half]), lw=2, label="$y_t$") +ax.plot(ω[half], np.log(f_x[half]), "--", label="$x_t$") +ax.plot(ω[half], np.log(g_full[half]), lw=2, + label=rf"AR(1) projection, $\rho^*$ = {a_full[0]:.2f}") +ax.set_xticks(*π_ticks) +ax.set_xlabel(r"$\omega$") +ax.set_ylabel("log spectral density") +ax.legend(loc="lower center", bbox_to_anchor=(0.5, 1.0), ncol=2, fontsize=9, + frameon=False) + +ax = axes[1] +ratio = f_y / g_full +ax.semilogy(ω[half], 0.5 * (ratio - 1 - np.log(ratio))[half], lw=2) +ax.set_ylim(1e-3, 30) +ax.set_xticks(*π_ticks) +ax.set_xlabel(r"$\omega$") +ax.set_ylabel(r"KL divergence at frequency $\omega$") +for c in (np.pi / 2, np.pi): + ax.axvline(c, color="0.7", lw=0.8) +plt.tight_layout() +plt.show() +``` + +一阶自回归无法在 $\pi/2$ 处产生峰值,它只能在系数接近 $-1$ 时才能在 $\pi$ 处产生一个窄峰,而这会放弃频率零附近的功率。 + +因此散度在这两个频率处最大。 + +对于给定的 $\sigma^2$,降低 $\rho$ 会提高模型在高频处的谱密度,并降低其在频率零附近的谱密度。 + +第一个效应会减小 $\pi/2$ 和 $\pi$ 处的散度;第二个效应会增大频率零附近的散度,而 $x_t$ 的功率大多集中在该处。 + +记 $r = f/g$,被积函数 $\frac{1}{2}(r - 1 - \log r)$ 关于 $r$ 线性增长,而关于 $1/r$ 仅对数增长,所以低估季节峰值处的谱密度所付出的代价,大于在其他地方高估谱密度所付出的代价;{doc}`likelihood_var` 对冲击方差也做出了同样的观察。 + +在 $\rho^* = 0.62$ 处,该投影在频率零处的谱密度约为 $y_t$ 谱密度的 28%。 + +### 删除季节性频段 + +{cite:t}`HansenSargent1993` 描述了他们所称的理想季节调整。 + +设 $K$ 为位于季节频率周围频段之外的频率集合,设 $1_K(\omega)$ 在 $\omega \in K$ 时等于一,否则为零;汉森和萨金特用 $C(\omega)$ 表示这一指示函数。 + +他们用以下式子取代 {eq}`ae_hs_criterion`: + +$$ +A(\delta) = \frac{1}{2\pi} \int_{-\pi}^{\pi} 1_K(\omega) \left\{ \log \det G(\omega, \delta) + \operatorname{trace}\left[ G(\omega, \delta)^{-1} F(\omega) \right] \right\} d\omega ++ [\nu - \mu(\delta)]^\top G(0, \delta)^{-1} [\nu - \mu(\delta)] . +$$ (ae_hs_ideal) + +删除季节性频段之后,计量经济学家将落在频段外的过程部分,投影到模型落在频段外的部分上。 + +限制在 $K$ 上的散度率至多等于完整的散度率,因为信息不等式使得每一个被删除的项都非负;{ref}`ae_garbling_section` 将该不等式理解为数据处理不等式的一个实例。 + +如果对于某个 $\delta_0$,模型在季节频段之外与 $F$ 相匹配,并且均值也相匹配,即 $\mu(\delta_0) = \nu$,那么无论模型在频段内的表现如何,$\delta_0$ 都属于 {eq}`ae_hs_ideal` 的最小化点之一。 + +汉森和萨金特还补充说,省略某些频率可能会因引入额外的最小化点而妨碍可识别性;而且,当模型仍可识别时,除非季节性频率受到测量误差的污染,否则省略频率通常会增大估计量的渐近方差。 + +当模型在所有频率上都设定正确时,使用全部频率的估计量是有效的,根据豪斯曼引理,渐近方差的增加量等于两个估计量之差的方差。 + +{doc}`specification_tests` 把这个差异转化为一个检验。 + +在我们的例子中,没有任何一阶自回归能够在频段之外匹配 $y_t$ 的谱密度,因为季节性分量在每个频率上都有一定的功率。 + +但季节性分量方差中约 94% 落在围绕季节频率、宽度为 $\pi/8$ 的频段内。 + +```{code-cell} ipython3 +def seasonal_keep(Δ): + """在以 π/2、π 和 3π/2 为中心、宽度为 Δ 的频段之外为真。""" + def dist(c): + return np.minimum(np.abs(ω - c), 2 * np.pi - np.abs(ω - c)) + inside = ((dist(np.pi / 2) < Δ / 2) | (dist(np.pi) < Δ / 2) + | (dist(3 * np.pi / 2) < Δ / 2)) + return ~inside + + +keep_8 = seasonal_keep(np.pi / 8) +print(f"share of the seasonal variance in bands of width π/8: " + f"{1 - np.mean(f_s * keep_8) / np.mean(f_s):.2f}") +print(f"divergence rate of the AR(1) projection: all frequencies " + f"{kl_rate(f_y, g_full):.4f}, outside the bands " + f"{kl_rate(f_y, g_full, keep_8):.4f}") +for Δ in (np.pi / 16, np.pi / 8, np.pi / 4): + a_K, _ = ar_projection(f_y, 1, seasonal_keep(Δ)) + print(f"band width {Δ / np.pi:.4f}π: ρ* = {a_K[0]:.4f}") +``` + +删除宽度为 $\pi/8$ 的频段,使 $\rho^*$ 从 $0.62$ 升至 $0.87$。 + +$0.87$ 与 $0.9$ 之间残留的差距来自删除频段之外的季节性功率,随着频段加宽,该差距会缩小。 + +### 滤波 + +设 $c(L)$ 为一个滤波器,其频率响应 $c(e^{-i\omega})$ 从不等于零。 + +用 $c(L)$ 对数据滤波,会使 $f$ 乘以 $|c(e^{-i\omega})|^2$;用 $c(L)$ 对模型滤波,也会使 $g$ 乘以同一因子。 + +每个频率处的比值 $f/g$ 保持不变,因此用同一个可逆滤波器同时对数据和模型滤波,不会改变散度率 {eq}`ae_kl_rate` 和该投影。 + +另外两种操作则会改变该投影。 + +* **删除频率**,如 {eq}`ae_hs_ideal` 中所做的那样,是从准则中移除某些频段,而保持其他频率不变。在回归中,用一个在频段内为零、在其他地方为一的滤波器同时过滤两个变量,等价于删除这些频段。这种滤波器是不可逆的,因此前述的不变性论证不适用。 +* **仅对数据滤波而不对模型滤波**,会用 $|c(e^{-i\omega})|^2 f$ 取代 $f$,而让 $g$ 保持不变,因此计量经济学家实际上是将一个不同的过程投影到同一个模型上。 + +{ref}`ae_garbling_section` 表明,前述不变性和删除频率的效应分别对应数据处理不等式的等号情形和不等号情形,而该不等式对仅对数据滤波这一操作并无论述。 + +下面的代码验证了该不变性,并计算了仅用 $c(L) = 1 - 0.5L$ 对数据滤波所产生的效应。 + +```{code-cell} ipython3 +c2 = np.abs(1 - 0.5 * z)**2 +print(f"D(f || g) = {kl_rate(f_y, g_full):.6f}, " + f"D(|c|²f || |c|²g) = {kl_rate(c2 * f_y, c2 * g_full):.6f}") +a_c, _ = ar_projection(c2 * f_y, 1) +print(f"AR(1) projection of the data filtered by 1 - 0.5L: ρ* = {a_c[0]:.4f}") +print(f"share of the filtered variance from the seasonal component: " + f"{np.mean(c2 * f_s) / np.mean(c2 * f_y):.2f}") +``` + +该滤波器使 $f$ 乘以 $|1 - 0.5 e^{-i\omega}|^2 = 1.25 - \cos\omega$。 + +它把 $x_t$ 功率最集中的频率零处的谱密度削减到四分之一,而把季节峰值 $\pi$ 处的谱密度乘以 $2.25$。 + +一阶自相关为负的季节性分量,此时在滤波后序列的方差中占比超过一半,滤波后序列的 AR(1) 投影得到 $\rho^* = -0.08$。 + +(ae_lag_section)= +## 分布滞后 + +### 最小二乘作为加权投影 + +设 + +$$ +y_t = \sum_{s=-\infty}^{\infty} b_s x_{t-s} + u_t , +$$ (ae_lag) + +其中 $\{x_t\}$ 和 $\{u_t\}$ 为平稳过程,且对每个 $s$,$u_t$ 都与 $x_{t-s}$ 不相关。 + +记 $\tilde b(\omega) = \sum_s b_s e^{-i\omega s}$ 为滞后分布的傅里叶变换,$S_x$ 为 $x$ 的谱密度。 + +计量经济学家通过最小二乘法估计滞后分布,受限于诸如有限长度或参数化形式之类的约束条件。 + +在大样本下,受约束的估计量 $\hat b$ 收敛于使以下式子在满足约束的滞后分布中取最小值的滞后分布 $d$: + +$$ +E\left[ \left( y_t - \sum_s d_s x_{t-s} \right)^2 \right] += \frac{1}{2\pi} \int_{-\pi}^{\pi} S_x(\omega) \left| \tilde b(\omega) - \tilde d(\omega) \right|^2 d\omega + E[u_t^2] +$$ (ae_sims_criterion) + +最小二乘法是以下高斯模型的最大似然估计量:在给定 $x$ 的路径时,$y_t$ 的均值为 $\sum_s d_s x_{t-s}$,偏差是序列不相关的,方差为 $\sigma^2$。 + +在 $\sigma^2$ 上最小化真实条件分布相对于该模型的 KL 散度率,剩下的就是均方误差 {eq}`ae_sims_criterion` 对数的一半,再加上一个不依赖于滞后分布 $d$ 的项。 + +因此,受约束的最小二乘估计量收敛于真实条件分布在受约束模型上的 m-投影。 + +谱密度 $S_x$ 为该投影加权:$\tilde d$ 中的误差在 $x$ 功率最集中的频率处代价最大。 + +### 连续时间滞后的抽样 + +{cite:t}`Sims1971` 研究了一个在整数日期被观测到的连续时间分布滞后 $y(t) = \int b(s) x(t - s) \, ds + u(t)$。 + +他使用了傅里叶变换 $\tilde b(\omega) = \int e^{-i\omega t} b(t) \, dt$ 以及连续时间过程 $x$ 的谱密度 $S_x$,二者均定义在整个实数轴上。 + +在整数日期抽样,会使得频率 $\omega, \omega \pm 2\pi, \omega \pm 4\pi, \ldots$ 变得不可区分,这种现象称为混叠。 + +抽样得到的 $Y_t = y(t)$ 对抽样得到的 $X_t = x(t)$ 的当前、过去及未来值做最小二乘回归,得到离散时间滞后分布 $B$,其傅里叶变换为 + +$$ +\tilde B(\omega) = \frac{\sum_{k=-\infty}^{\infty} S_x(\omega + 2\pi k) \, \tilde b(\omega + 2\pi k)}{\sum_{k=-\infty}^{\infty} S_x(\omega + 2\pi k)} . +$$ (ae_folding) + +用西姆斯的话说,"$\tilde B(\omega)$ 是 $\tilde b(\omega + 2k\pi)$ 的加权平均"。 + +按照上一小节的论证,$B$ 是抽样得到的 $Y$ 的真实条件分布在离散时间分布滞后模型上的 m-投影,而 {eq}`ae_folding` 中的权重正是抽样过程折叠到频率 $\omega$ 处的 $S_x$ 值。 + +计量经济学家若估计出 $B$ 并将其解释为连续时间滞后分布 $b$,便会产生近似误差 $B - b$。 + +西姆斯的表 I 给出了当 $b(t) = e^{-0.5t}$($t \geq 0$)时的 $B$。 + +其第 (1) 列是 $b(t)$,而第 (2) 到 (5) 列对应于关于 $x$ 的四种假设,我们复现其中三种: + +* 第 (2) 列:$x$ 的自协方差函数在整数日期之间是线性的,这使得 $B(t) = \int b(s) \max(1 - |t - s|, 0) \, ds$; +* 第 (3) 列:$x$ 的自协方差函数为 $e^{-0.5|t|}$,谱密度为 $S_x(\omega) = 2 r / (r^2 + \omega^2)$,其中 $r = 0.5$; +* 第 (5) 列:$S_x$ 在 $(-\pi, \pi)$ 内为正,在其外为零,这使得在 $(-\pi, \pi)$ 内 $\tilde B(\omega) = \tilde b(\omega)$。 + +在第 (4) 列中,西姆斯在抽样前先对第 (3) 列所用的过程在每个单位区间上取平均。 + +```{code-cell} ipython3 +def sampled_lag(b_ft, S_x, t_vals, K=400, n=512): + """公式 (ae_folding) 的离散滞后 B(t),通过对各个混叠频率求和得到。""" + w = -np.pi + 2 * np.pi * (np.arange(n) + 0.5) / n + W = w[None, :] + 2 * np.pi * np.arange(-K, K + 1)[:, None] + B_ft = (S_x(W) * b_ft(W)).sum(axis=0) / S_x(W).sum(axis=0) + return np.array([np.mean(B_ft * np.exp(1j * w * t)).real for t in t_vals]) + + +def band_limited_lag(b_ft, t_vals, n=512): + w = -np.pi + 2 * np.pi * (np.arange(n) + 0.5) / n + return np.array([np.mean(b_ft(w) * np.exp(1j * w * t)).real + for t in t_vals]) + + +def triangle_lag(b, t_vals): + return np.array([integrate.quad(lambda s: b(s) * (1 - abs(t - s)), + max(t - 1, 0), max(t + 1, 0))[0] + for t in t_vals]) + + +def print_lag_table(t_vals, *columns): + print(" t b(t) (2) (3) (5)") + for t, *row in zip(t_vals, *columns): + print(f"{t:4d} " + " ".join(f"{np.round(v, 2) + 0.0:6.2f}" for v in row)) + + +t_vals = np.arange(-4, 9) +b_exp = lambda t: np.where(t >= 0, np.exp(-0.5 * np.maximum(t, 0)), 0.0) +b_exp_ft = lambda w: 1 / (0.5 + 1j * w) +S_ou = lambda w: 2 * 0.5 / (0.5**2 + w**2) + +col2 = triangle_lag(b_exp, t_vals) +col3 = sampled_lag(b_exp_ft, S_ou, t_vals) +col5 = band_limited_lag(b_exp_ft, t_vals) +print_lag_table(t_vals, b_exp(t_vals), col2, col3, col5) +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Continuous-time lag and its sampled projections + name: fig-ae-sampled-lag +--- +t_fine = np.linspace(-4, 8, 600) +fig, ax = plt.subplots() +ax.plot(t_fine, b_exp(t_fine), "k", lw=1.5, label="continuous-time $b(t)$") +ax.plot(t_vals, col3, "o-", label=r"$B(t)$, autocovariance $e^{-0.5|t|}$") +ax.plot(t_vals, col5, "s--", label=r"$B(t)$, $S_x$ zero outside $(-\pi, \pi)$") +ax.axhline(0, color="0.7", lw=0.8) +ax.set_xlabel("$t$") +ax.set_ylabel("lag coefficient") +ax.legend() +plt.show() +``` + +滞后零处的系数 $B(0)$ 介于 $0.42$ 与 $0.45$ 之间,而 $b(0) = 1$,这是因为抽样回归把 $b$ 在邻近日期上的平均值赋给了日期零。 + +当 $x$ 在频率 $\pi$ 以上没有功率时,这个单侧滞后 $b$ 会投影到一个两侧离散滞后上,其在负 $t$ 处的系数正负交替。 + +计量经济学家若检验离散时间滞后分布是否为单侧,或将 $B(0)$ 读作瞬时反应,就会从一个正确估计的 $B$ 中,对 $b$ 得出错误的结论。 + +{ref}`ae_ex_sampling` 推导了这一符号模式。 + +### 回归量中的季节性噪声 + +{cite:t}`Sims1974` 研究了当两个变量都含有季节性噪声时的回归 {eq}`ae_lag`。 + +他设 $y = x * b + u$ 和 $z = w * c + v$,其中 $*$ 表示卷积,$v$ 与 $w$ 不相关,季节性噪声 $z$ 和 $w$ 与 $x$ 和 $u$ 不相关,而计量经济学家观测到的是 $y' = y + z$ 和 $x' = x + w$。 + +$y'$ 对 $x'$ 所有超前和滞后项的最小二乘回归,得到无约束滞后分布 $b'$,满足 + +$$ +\tilde b' = \tilde b \, \frac{S_x}{S_x + S_w} + \tilde c \, \frac{S_w}{S_x + S_w} , +$$ (ae_sims_bias) + +这是 $\tilde b$ 与 $\tilde c$ 的加权平均,权重随频率而变化。 + +当 $y$ 中的噪声与 $x$ 中的噪声无关时(即 $c = 0$),$\tilde b'$ 在除季节频率外的地方都接近 $\tilde b$,而在季节频率处,由于 $S_w$ 较大,$\tilde b'$ 会趋近于零。 + +{cite:t}`Sims1974` 将大样本下受约束最小二乘法的行为表述为其方程 (2.7),并将功劳归于 {cite:t}`Sims1972JASA`:当我们"在先验约束条件下用最小二乘法"估计滞后分布时,"估计量 $\hat b$ 会在满足约束的条件下,使以下量最小化": + +$$ +\int_{-\pi}^{\pi} S_{x'}(\omega) \left| \tilde{\hat b}(\omega) - \tilde b'(\omega) \right|^2 d\omega , +$$ + +该式除了相差一个因子 $1/2\pi$ 和一个加性常数外,就是用 $S_{x'} = S_x + S_w$ 取代 $S_x$、用 $\tilde b'$ 取代 $\tilde b$、用 $\hat b$ 取代 $d$ 后的 {eq}`ae_sims_criterion`。 + +该准则在季节频率处赋予拟合 $\tilde b'$ 以很大的权重,而 $\tilde b'$ 在这些频率处的偏差又最大。 + +西姆斯由此推出结论: + +> 由于在准则函数 (2.7) 中,$|\tilde{\hat b} - \tilde b'|^2$ 在季节频率处被赋予了特别强的权重,因此阻止 $\tilde{\hat b}$ 在季节频率处出现*尖锐*峰值或凹陷的约束条件,只会导致估计量在季节频率处出现*宽阔*的峰值或凹陷,用非季节值处相对更大的误差,换取在季节频率附近非常接近的拟合优度。 + +西姆斯考虑了两种真实滞后分布:恒等滞后,其中 $b_0 = 1$,当 $s \neq 0$ 时 $b_s = 0$;以及柯伊克滞后 $b_s = 0.9^s$($s \geq 0$)。 + +他将 $x$ 的自协方差函数设为 $0.9^{|t|}$。 + +季节性噪声 $w$ 是白噪声的移动平均,其权重由西姆斯在脚注 6 中给出。 + +这些权重是两个滤波器的卷积:一个是对相隔四个季度的五个值取平均的滤波器,另一个是从每个值中减去周围十六个季度均值的滤波器。 + +西姆斯对 $w$ 做标度,使其方差为 $x$ 方差的四分之一。 + +该噪声在季节频率处有峰值,在频率零处没有功率。 + +```{code-cell} ipython3 +# moving average weights of w, lags -16, ..., 16 (Sims 1974, footnote 6) +h1 = np.zeros(17) +h1[8 + 4 * np.arange(-2, 3)] = 1 / 5 +h2 = -np.ones(17) / 16 +h2[8] = 1.0 +h_w = np.convolve(h1, h2) +h_w_ft = sum(h * np.exp(-1j * ω * k) for k, h in zip(range(-16, 17), h_w)) + +S_x74 = (1 - 0.9**2) * ar_spectrum(0.9) # unit variance +S_w74 = np.abs(h_w_ft)**2 +S_w74 = S_w74 * 0.25 / np.mean(S_w74) # one-fourth the variance of x +S_xp74 = S_x74 + S_w74 + + +def lag_from_ft(B_ft, t_vals): + return np.array([np.mean(B_ft * np.exp(1j * ω * t)).real for t in t_vals]) + + +t74 = np.arange(-8, 13) +b_identity_ft = np.ones(n_grid) +b_koyck_ft = 1 / (1 - 0.9 * z) +bp_identity = lag_from_ft(b_identity_ft * S_x74 / S_xp74, t74) +bp_koyck = lag_from_ft(b_koyck_ft * S_x74 / S_xp74, t74) +print(f"unconstrained coefficient at lag zero, identity lag: " + f"{bp_identity[t74 == 0][0]:.2f}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Seasonal noise and estimated lag distributions + name: fig-ae-sims-1974 +--- +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) +ax = axes[0] +ax.plot(ω[half], np.log(S_x74[half]), label="$S_x$") +ax.plot(ω[half], np.log(S_xp74[half]), label="$S_{x'} = S_x + S_w$") +ax.set_xticks(*π_ticks) +ax.set_xlabel(r"$\omega$") +ax.set_ylabel("log spectral density") +ax.legend() + +ax = axes[1] +ax.plot([0], [1.0], "kx", ms=8, label="true identity lag at $t = 0$") +ax.plot(t74, bp_identity, "o-", label="estimated, identity lag") +koyck_t = t74[t74 >= 0] +ax.plot(koyck_t, 0.9**koyck_t, "k+", ms=10, label="true Koyck lag $0.9^t$") +ax.plot(t74, bp_koyck, "s-", label="estimated, Koyck lag") +ax.set_xticks(np.arange(-8, 13, 4)) +ax.set_xlabel("$t$") +ax.set_ylabel("lag coefficient") +ax.legend(loc="lower center", bbox_to_anchor=(0.5, 1.0), ncol=2, fontsize=9, + frameon=False) +plt.tight_layout() +plt.show() +``` + +季节性噪声不会使系数之和产生偏误,因为该噪声在频率零处没有功率。 + +它使恒等滞后在滞后零处的系数降低到约 $0.63$,并给两个滞后分布都增添了季节性波纹,包括赋予了 $x'$ 未来值的系数。 + +{doc}`sargent_surico` 使用了同样的论证:一个在频率零处没有功率的分量,不会改变滞后系数之和 $h(0) = S_{yz}(0)/S_z(0)$。 + +下面的函数在频域中求解 $y'$ 对 $x'$ 一组滞后项回归的大样本正规方程。 + +其可选参数 `weight` 会把 $x'$ 的谱密度以及 $y'$ 与 $x'$ 的互谱乘以 $|\tilde k(\omega)|^2$,这正是对 $y'$ 和 $x'$ 同时用滤波器 $k$ 滤波所产生的效果;{ref}`ae_ex_filter` 用到了这个函数。 + +```{code-cell} ipython3 +def constrained_lag(b_ft, lags, weight=None): + """x'(t - j)(j 属于 lags)的大样本最小二乘系数,对应真实滞后分布的 + 傅里叶变换为 b_ft 且 c = 0。""" + wt = np.ones(n_grid) if weight is None else weight + M = np.array([[np.mean(wt * S_xp74 * np.cos(ω * (j - k))) for k in lags] + for j in lags]) + m = np.array([np.mean(wt * S_x74 * b_ft * np.exp(1j * ω * j)).real + for j in lags]) + return np.linalg.solve(M, m) + + +print("identity lag, x'(t) only: ", + np.round(constrained_lag(b_identity_ft, [0]), 3)) +print("identity lag, x'(t) and x'(t - 1):", + np.round(constrained_lag(b_identity_ft, [0, 1]), 3)) +``` + +仅以 $x'(t)$ 作为回归量时,系数趋于 $0.80$,即经典变量误差模型中的衰减因子 $1/(1 + 1/4)$。 + +该系数的偏误比滞后零处无约束系数 $0.63$ 的偏误要小,但无约束回归能够无偏地估计出来的系数之和,却从 $1$ 降到了 $0.80$。 + +加入 $x'(t-1)$ 后,系数趋于 $0.58$ 和 $0.34$,尽管真实滞后分布把全部权重都放在日期零上。 + +{cite:t}`Sims1974` 报告的数值是 $0.80$,以及 $0.58$ 和 $0.31$。 + +我们按照其脚注 6 和公式 (2.6) 所做的计算,对第二个系数得到了 $0.34$,而我们尝试过的其他变体给出的结果也都在 $0.33$ 到 $0.34$ 之间。 + +他写道: + +> 如果这些是比如说劳动力短期需求函数的估计结果,那么关于"短期规模报酬递增"的证据看起来会非常有力,而通过保持滞后分布较短,季节性偏误存在的证据便会被掩盖。 + +他的补救办法,是用同一个他写作 $a$ 的滤波器 $k$ 对两个变量同时滤波,该滤波器会去除季节频率附近的功率。 + +对两个变量同时滤波,不会改变无约束滞后分布 $b'$,但它会把受约束准则中的权重 $S_{x'}$ 替换为 $|\tilde k|^2 S_{x'}$。 + +此时,受约束最小二乘法会在非季节频率处拟合 $\tilde b'$,而在这些频率处 $\tilde b'$ 接近 $\tilde b$。 + +{doc}`sargent_surico` 描述了相反的滤波器选择。 + +卢卡斯以参数 $\beta$ 构造的双侧移动平均,会把权重 $|\tilde k|^2 S_x$ 集中在频率零附近。 + +一个变量的滤波后序列对另一个变量的滤波后序列的单系数回归,会收敛到以 $|\tilde k|^2 S_x$ 加权的 $\tilde b$ 的平均值,而随着 $\beta \to 1$,该平均值趋近于滞后系数之和 $\tilde b(0)$。 + +(ae_seasonal_section)= +## 动态模型中的季节调整 + +### 动态系统中的滤波 + +{cite:t}`Sims1993` 指出,完整的动态系统不具备 {ref}`ae_lag_section` 中那种回归所具有的不变性。 + +如果 $y(t) = A * \varepsilon(t)$ 是一个向量过程的移动平均表示,而计量经济学家使用滤波后的数据 $c * y$,那么移动平均算子就变为 $c * A$: + +> 因此,与回归情形中 $b$ 不受滤波影响的结果相反,对于一个完整的动态系统,基本估计参数 $A$ 会被滤波所改变。 + +在回归中,计量经济学家仅为 $y$ 关于 $x$ 的条件分布建模。 + +用同一个滤波器对 $y$ 和 $x$ 同时滤波,会使互谱和 $x$ 的谱都乘以 $|\tilde c|^2$,因此 $\tilde b = S_{yx}/S_x$ 不会改变。 + +而在一个动态系统中,计量经济学家要为所有变量的联合分布建模,其谱密度矩阵为 $\tilde A \tilde A^*$,滤波会将 $\tilde A$ 替换为 $\tilde c \tilde A$。 + +理性预期模型的跨方程约束,把主体决策规则的系数与主体所要预测的过程的参数绑定在一起,因此也把偏好和技术的参数与整个算子 $A$ 绑定在一起。 + +因此,用一个未经滤波的模型去拟合经过滤波的数据,会使这些参数的估计值发生偏移。 + +如 {ref}`ae_ex_invariance` 所示,当滤波器的频率响应只在孤立的频率处为零时,同时对模型滤波便可恢复 {ref}`ae_ar_section` 中所述的不变性。 + +但西姆斯笔下的计量经济学家,却把经过滤波的数据当作未经调整的数据来处理。 + +{cite:t}`HansenSargent1993` 用他们的准则 {eq}`ae_hs_criterion` 比较了 {ref}`ae_ar_section` 中的几种操作。 + +在他们归于西姆斯的表述中,计量经济学家对数据滤波而不对模型滤波,因此滤波后数据的谱密度 $F^a(\omega) = c(e^{-i\omega}) F(\omega) c(e^{i\omega})^\top$ 取代了 $F(\omega)$,而 $G(\omega, \delta)$ 则保持不变。 + +在理想季节调整 {eq}`ae_hs_ideal` 中,计量经济学家删除了季节性频段。 + +汉森和萨金特用 {eq}`ae_hs_criterion` 的第二项来陈述西姆斯关于调整数据的论证: + +> 其论证是:项 $A_2(\delta) = (1/2\pi)\int_{-\pi}^{\pi} \operatorname{trace}[G(\omega, \delta)^{-1} F^a(\omega)] \, d\omega$ 把最大的权重赋予了 $F^a(\omega)$(若使用未调整数据,则为 $F(\omega)$)较大的那些频率处的近似误差。由于 $F(\omega)$ 恰好在 $G(\omega, \delta)$ 设定误差最严重的那些频率处较大,用 $F^a(\omega)$ 而不是 $F(\omega)$ 加权,会使设定误差对偏好和技术参数估计值的影响减弱。 + +他们在一个脚注中补充道,季节调整存在效率代价:理性预期模型在各方程、各频率之间施加的过度识别约束,恰恰在调整所抑制的高功率季节频率处信息量最大。 + +{cite:t}`Sims1993` 描述了对经过滤波的数据拟合自回归时所得到的极限结果。 + +极限系数使模型的一步向前预测滤波器与滤波后数据的预测滤波器之间的加权二次距离最小化,权重为滤波后数据的谱密度。 + +假设该参数化方式能够在季节频段之外很好地匹配滤波后数据的预测滤波器,但无法在像这些频段那么短的区间内急剧变化,并且这些频段很窄。 + +那么,随着调整把滤波后数据在这些频段内的谱密度压低至接近零,拟合最优的滤波器会在频段之外拟合得很好,并在频段上进行插值。 + +西姆斯证明,用一个在这些频段内可以任意取值的滤波器去拟合在这些频段内功率接近零的数据,会使一步向前预测误差膨胀"一加上季节频段总长度与 $2\pi$ 之比"。 + +### 汉森和萨金特的实验 + +{cite:t}`HansenSargent1993` 研究了一个线性二次版本的随机增长模型,其中计划者选择消费、投资和资本。 + +在真实模型中,生产率参数 $\gamma_{s(t)}$ 随季度 $s(t)$ 周期性变化,取值分别为 $0.13$、$0.1$、$0.1$ 和 $0.08$;调整成本参数为 $\phi_1 = 0.3$;禀赋冲击 $d_t$ 遵循系数为 $0.4$ 的一阶自回归。 + +计量经济学家拟合的模型除了具有一个常数生产率参数 $\gamma$ 之外,在其他方面都是正确的。 + +计量经济学家对所有其他参数赋予真实值,并估计 $\gamma$、$\phi_1$ 以及禀赋冲击在滞后 $1$、$4$ 和 $5$ 期的自回归系数 $a_1$、$a_4$ 和 $a_5$。 + +汉森和萨金特将 {eq}`ae_hs_criterion` 应用于把每年四个观测值堆叠在一起的过程,因此均值 $\nu$ 包含了四个季节性均值。 + +一个具有常数 $\gamma$ 的模型,意味着每个季度的均值都相同。 + +他们的方程 (4.11) 把均值项写作频率 $0$、$\pi/2$、$\pi$ 和 $3\pi/2$ 上季节性均值误差的傅里叶分量之和,每一项都除以模型在该频率处对 $y_t$ 的谱密度。 + +汉森和萨金特比较了三种数据: + +* 未经调整的数据,其准则为 {eq}`ae_hs_criterion`; +* 计量经济学家通过对季节虚拟变量回归而去除季节性均值后的数据,其准则去掉了 {eq}`ae_hs_criterion` 中的均值项; +* 理想调整后的数据,其准则从前两项中删除了季节性频段,并去掉了均值项。 + +他们的表 1 报告了三种准则的最小化点: + +| 参数 | 季节未调整 | 已去除季节性均值 | 季节调整后 | 真实值 | +|---|---|---|---|---| +| $\gamma$ | 0.0996 | 0.1030 | 0.1025 | $\gamma_{s(t)}$ | +| $\phi_1$ | 0.4132 | 0.2854 | 0.3007 | 0.3000 | +| $a_1$ | 0.931 | 0.3250 | 0.3987 | 0.4000 | +| $a_4$ | 0.4383 | 0.1598 | −0.0003 | 0.000 | +| $a_5$ | −0.4298 | −0.1261 | −0.0005 | 0.000 | + +用未调整数据时,$a_1$、$a_4$ 和 $a_5$ 的估计值,把周期性生产率所带来的季节性混入了禀赋过程,而 $\phi_1$ 的估计值高估了调整成本。 + +用去除了季节性均值的数据时,$a_4$ 和 $a_5$ 的估计值仍然把一些季节性混入了禀赋过程,而 $\phi_1$ 和 $a_1$ 的估计值均低于真实值。 + +汉森和萨金特对去除了季节性均值的数据所得估计值做出解释,其中 $c_t$ 和 $i_t$ 分别为消费和投资: + +> 为了减小季节频段处的误差,估计值把一些季节性以该模型所允许的唯一方式——即通过禀赋过程——施加到 $\{c_t, i_t\}$ 中。这样做有助于模型在季节频率处达成"匹配",代价是在非季节频率处拟合更差。 + +汉森和萨金特将未调整数据相较于去除季节性均值的数据所产生的更大误差,归因于均值项。 + +该模型只能通过提高其在季节频率处的谱密度来缩小该项,而 $a_4$ 和 $a_5$ 更大的估计值正是如此。 + +用理想调整后的数据时,$\phi_1$ 和禀赋过程的估计值都接近真实值,而 $\gamma$ 的估计值 $0.1025$ 恰好等于季度生产率参数的平均值 $(0.13 + 0.1 + 0.1 + 0.08)/4$。 + +### 西姆斯的永久收入示例 + +{cite:t}`Sims1993` 利用永久收入模型给出了一个调整后数据降低误差的例子,以及一个调整后数据反而增大误差的例子。 + +一个具有二次效用函数和贴现因子 $\beta$ 的消费者面临总利率 $\beta^{-1}$,因此消费 $C_t$ 是一个鞅,且 + +$$ +\Delta C_t = (1 - \beta) \sum_{j=0}^{\infty} \beta^j (E_t - E_{t-1}) Y_{t+j} , +$$ + +其中 $Y_t$ 为收入。 + +收入是非季节性分量 + +$$ +Y^N_t = 1.8 \, Y^N_{t-1} - 0.81 \, Y^N_{t-2} + \varepsilon_t , +$$ + +(标准化为单位方差)与一个确定性季节性分量(重复 $\sqrt{2}, 0, -\sqrt{2}, 0$ 的模式)之和 $Y_t = Y^N_t + Y^S_t$。 + +该确定性季节性分量是完全可预测的,因此它永远不会修正预期收入,也不会影响 $\Delta C_t$。 + +若 $Y^N_t = \psi(L) \varepsilon_t$,则 $\Delta C_t = (1 - \beta)\psi(\beta) \varepsilon_t$,而收入新息 $\varepsilon_t$ 对 $\Delta C_t$ 回归的系数为 $1/[(1 - \beta)\psi(\beta)]$。 + +{doc}`lq_permanent_income` 把这一公式推导为 {eq}`eq:sprob13`,其中用 $d$ 取代 $\psi$。 + +西姆斯没有说明 $\beta$ 的取值;我们使用 $\beta = 0.95$,这正是他在下面第二个例子中的系数 $20$ 所蕴含的值。 + +当 $\psi(L) = (1 - 0.9L)^{-2}$ 时,该系数为 $(1 - 0.9\beta)^2 / (1 - \beta) = 0.4205$,即西姆斯所报告的值。 + +一个对收入拟合自回归 $a(L) Y_t = e_t$ 并相信永久收入模型的计量经济学家,会计算出系数 $a(\beta)/(1 - \beta)$。 + +西姆斯首先假设,计量经济学家对未调整数据(不含季节虚拟变量)拟合一个九阶自回归。 + +该大样本自回归,就是收入过程在九阶自回归上的 m-投影,因此它满足以自协方差 $R^N(s) + R^S(s)$ 为基础的尤尔-沃克方程,其中 $R^N$ 是 $Y^N$ 的自协方差函数,$R^S(s) = \cos(\pi s/2)$ 是该季节性模式的自协方差函数。 + +```{code-cell} ipython3 +β = 0.95 +fN_ar2 = ar_spectrum([1.8, -0.81]) +fN_ar2 = fN_ar2 / np.mean(fN_ar2) # unit variance + + +def seasonal_autocov(n_lags, gain2=1.0): + """R^S(s) = cos(π s / 2),乘以滤波器在 π/2 处的平方增益。""" + return gain2 * np.cos(np.pi * np.arange(n_lags + 1) / 2) + + +def implied_coefficient(a): + """由自回归 a(L) Y = e 蕴含的 ε 对 ΔC 的系数。""" + a_β = 1 - sum(a_j * β**(j + 1) for j, a_j in enumerate(a)) + return a_β / (1 - β) + + +a9 = yule_walker(autocov(fN_ar2, 9) + seasonal_autocov(9), 9) +print("AR(9) coefficients:", np.round(a9, 4)) +print(f"true coefficient {(1 - 0.9 * β)**2 / (1 - β):.4f}, " + f"implied by the AR(9): {implied_coefficient(a9):.4f}") +``` + +我们所得到的投影给出了西姆斯方程 (17) 的系数,唯独在 $Y_{t-8}$ 上的系数不同:我们得到的是 $-0.2084$,而西姆斯打印的是 $+0.2084$。 + +只有负号才能重现他所给出的蕴含系数 $0.4925$,偏误因子为 $1.17$。 + +该九阶自回归预测出了确定性季节性分量的大部分,但它把收入新息中的一部分归因于一个随机季节性分量,此时永久收入模型便会蕴含出消费对收入新息的反应,比实际情况要弱。 + +西姆斯指出,用该自回归的预测误差对数据中的 $\Delta C_t$ 做回归,仍然能恢复出 $0.4205$。 + +该自回归的预测误差,是真实新息加上一个与之正交的分量,而 $\Delta C_t$ 与真实新息成正比。 + +因此,使用该九阶自回归的计量经济学家会错误地得出结论:消费对收入的反应比理论所蕴含的更强。 + +西姆斯接下来对 $C$ 和 $Y$ 都减去由滤波器 $\kappa(L)\kappa(L^{-1})$ 提取出的季节性分量,其中 + +$$ +\kappa(L) = 0.25 \, \frac{1 - L^{16}}{1 - L^4} - 0.0625 \, \frac{1 - L^{16}}{1 - L} +$$ + +是他写作 $F(L)$ 的滤波器,他把调整后的序列当作未调整的数据来处理。 + +调整后的数据的谱密度,等于未调整数据谱密度乘以 $(1 - |\kappa(e^{-i\omega})|^2)^2$。 + +西姆斯报告称,对调整后的收入拟合二阶自回归只给出了 $1.0137$ 的偏误因子。 + +按照我们对该滤波器的理解,我们对该计算得到的偏误因子为 $0.893$,而我们尝试过的其他理解方式也都没能重现 $1.0137$;同样的理解方式对下面第二个例子给出的结果是 $17.08$,与他的 $17.06$ 相差在 $0.02$ 以内。 + +我们添加了一项西姆斯未报告的计算:从准则中删除季节性频段,并拟合二阶自回归,可以恢复出真实值,因为 $Y^N$ 本身就是一个二阶自回归,而确定性季节性分量的全部功率都集中在频率 $\pi/2$ 处。 + +```{code-cell} ipython3 +κ_ft = (0.25 * sum(z**(4 * k) for k in range(4)) + - 0.0625 * sum(z**k for k in range(16))) +adjust2 = (1 - np.abs(κ_ft)**2)**2 # squared gain of 1 - κκ* +z_q = np.exp(-1j * np.pi / 2) # the seasonal frequency π/2 +κ_q = (0.25 * sum(z_q**(4 * k) for k in range(4)) + - 0.0625 * sum(z_q**k for k in range(16))) +gain2_q = (1 - np.abs(κ_q)**2)**2 # zero: the seasonal is removed + +a2_adj = yule_walker(autocov(fN_ar2 * adjust2, 2) + + seasonal_autocov(2, gain2_q), 2) +print(f"AR(2), adjusted data: implied coefficient " + f"{implied_coefficient(a2_adj):.4f}, bias factor " + f"{implied_coefficient(a2_adj) / 0.4205:.3f}") + +keep_B = seasonal_keep(np.pi / 8) +a2_B, _ = ar_projection(fN_ar2, 2, keep_B) # the seasonal lies in a deleted band +print("AR(2), seasonal bands deleted:", np.round(a2_B, 4), + f" implied coefficient {implied_coefficient(a2_B):.4f}") +``` + +在西姆斯的第二个例子中,使用调整后数据的计量经济学家,其结果反而比使用未调整数据的计量经济学家更差。 + +西姆斯把 $Y^N$ 替换为单位方差白噪声,此时真实系数为 $1/(1 - \beta) = 20$,他报告称,对未调整数据拟合九阶自回归蕴含出的系数为 $20.62$,而调整后数据蕴含出的系数为 $17.06$。 + +西姆斯并未说明他在这个例子中对调整后数据所拟合的自回归阶数;我们像第一个例子那样拟合一个二阶自回归,同时也报告一个九阶自回归的结果。 + +```{code-cell} ipython3 +f_white = np.ones(n_grid) +a9_w = yule_walker(autocov(f_white, 9) + seasonal_autocov(9), 9) +a2_adj_w = yule_walker(autocov(f_white * adjust2, 2) + + seasonal_autocov(2, gain2_q), 2) +a9_adj_w = yule_walker(autocov(f_white * adjust2, 9) + + seasonal_autocov(9, gain2_q), 9) +a2_band_w, _ = ar_projection(f_white, 2, keep_B) +print(f"true coefficient: {1 / (1 - β):.2f}") +print(f"AR(9), unadjusted data: {implied_coefficient(a9_w):.2f}") +print(f"AR(2), data adjusted with κκ*: {implied_coefficient(a2_adj_w):.2f}") +print(f"AR(9), data adjusted with κκ*: {implied_coefficient(a9_adj_w):.2f}") +print(f"AR(2), seasonal bands deleted: {implied_coefficient(a2_band_w):.2f}") +γ_adj = autocov(f_white * adjust2, 4) +print("autocorrelations of adjusted white noise, lags 1 to 4:", + np.round(γ_adj[1:] / γ_adj[0], 3)) +print("AR(2) coefficients, adjusted data:", np.round(a2_adj_w, 3)) +``` + +我们的计算对未调整数据给出 $20.64$,接近西姆斯的 $20.62$。 + +西姆斯的调整滤波器虽然去除了季节性成分,但也降低了数据在季节频率附近邻域内的谱密度,因此计量经济学家实际上是在拟合二阶自回归到一个在谱密度上存在白噪声所没有的凹陷的过程。 + +调整后的白噪声具有正自相关,在滞后 1 至 3 期之间约为 $0.08$ 到 $0.10$,因此该二阶自回归的系数为正,分别为 $0.076$ 和 $0.082$,且 $a(\beta) = 0.854$。 + +计量经济学家会把本不存在的持续性归因于收入新息,并推断出消费对收入新息的反应,比实际情况更强。 + +从准则中删除季节性频段,不会改变其他频率,而在频段之外拟合的二阶自回归系数等于零,这蕴含出真实系数 $20$。 + +在 {ref}`ae_ex_invariance` 中,计量经济学家既对数据又对模型进行滤波。 + +西姆斯总结道: + +> 使用未调整数据配合正确设定的季节性变化模型,始终是最佳选择。但若把季节性当作模型中的一个"烦扰"成分而草率处理,则可能导致比使用调整后数据更糟的误差。 + +(ae_garbling_section)= +## 淆乱与数据处理不等式 + +{doc}`blackwell_kihlstrom` 把一个实验称为另一个实验的**淆乱(garbling)**,如果该实验的信号可以通过一个马尔可夫核从另一个实验的信号生成出来。 + +{ref}`数据处理不等式 ` 指出,对两个分布施加相同的马尔可夫核不会增大它们之间的任何 f-散度(包括 KL 散度),并且当该核是由两者的一个充分统计量所诱导时,该散度保持不变。 + +滤波、删除频段、去除季节性均值以及抽样都是淆乱,该不等式为本讲座关于它们的研究结果提供了整理框架。 + +### 滤波器、频段与数据处理不等式 + +当计量经济学家用 $c(L)$ 对数据滤波,并以同样方式对模型滤波时,在真实过程下与在模型下,滤波后的序列都是未滤波序列的同一个函数。 + +因此滤波相当于对两个过程施加同一个(确定性的)马尔可夫核,数据处理不等式表明,滤波不会增大它们之间的散度。 + +当频率响应 $c(e^{-i\omega})$ 至多在孤立的频率处为零时,滤波会使 $f$ 和 $g$ 都乘以 $|c(e^{-i\omega})|^2$,而在其他每个频率处,比值 $f/g$ 保持不变,因此散度率 {eq}`ae_kl_rate` 不发生变化。 + +*一个同时施加于数据和模型的滤波器,只要其频率响应至多在孤立的频率处为零,无论它在那些频率附近把谱密度压缩得多厉害,都不会改变散度率及 m-投影。* + +此外,如果数据的谱测度在这些频率处没有质量,那么滤波后的序列在均方意义下就决定了未滤波序列,于是该滤波器就是这对分布的一个充分统计量,{ref}`ae_ar_section` 中的不变性正是数据处理不等式的等号情形。 + +西姆斯的滤波器 $1 - \kappa(L)\kappa(L^{-1})$ 在 $\pm\pi/2$ 处、在 $\pi$ 处,以及在 $\pm 0.485\pi$ 附近的两个频率处为零。 + +它去除了确定性季节性分量(该分量的谱测度全部质量都集中在 $\pm\pi/2$ 处),而对于剩余部分,等号情形成立,正如 {ref}`ae_ex_invariance` 所示。 + +滤波器无法从似然函数中删除一个频段。 + +一个在某个频段上频率响应为零的滤波器,会使滤波后的过程变为线性确定性的,而公式 {eq}`ae_kl_rate`(它假设谱密度与零有一定的距离)便不再适用。 + +例如,如果真实过程和模型都是白噪声,方差分别为 $1$ 和 $2$,那么滤波后的模型就是滤波后真实过程的 $\sqrt{2}$ 倍,因此 $T$ 个滤波后观测值的两个分布之间的散度,在任意 $T$ 下都等于 $T$ 个未滤波观测值的两个分布之间的散度。 + +汉森和萨金特转而在频域中定义理想季节调整,其方法是从频域似然函数中省略季节频率。 + +在频率 $\omega_j = 2\pi j / T$($j = 0, \ldots, T - 1$)处的有限傅里叶变换 $w_j$,是样本的一种可逆线性变换,因此丢弃落在频段内的变换,在每个样本量下都是一种淆乱。 + +除以 $T$ 之后,剩余变换之间的散度,收敛于限制在频段之外的频率集合 $K$ 上的散度率: + +$$ +D_K(f \| g) = \frac{1}{4\pi} \int_K \left[ \frac{f(\omega)}{g(\omega)} - 1 - \log \frac{f(\omega)}{g(\omega)} \right] d\omega \leq D(f \| g) . +$$ (ae_dpi_bands) + +$D_K$ 的两倍就是 {eq}`ae_hs_ideal` 的第一项减去不依赖于 $\delta$ 的那些项,因此在 {eq}`ae_hs_ideal` 之后所说的受限散度率不超过完整散度率,正是数据处理不等式。 + +当 $f = g$ 在频段内几乎处处成立时,等号成立:此时,在大样本下,频段内的变换在两个过程下具有相同的分布,并且与其余变换相互独立,因此丢弃它们不会丢失任何能区分这两个过程的信息。 + +像西姆斯笔下的计量经济学家那样,仅对数据滤波而不对模型滤波,只对两个分布中的一个施加了该核,数据处理不等式对此没有给出任何结论。 + +西姆斯的两个永久收入例子走向相反的方向,尽管每一次比较也都同时改变了自回归的阶数。 + +在第一个例子中,调整后数据使偏误因子更接近于一:对未调整数据拟合九阶自回归,该因子为 $1.17$;对调整后数据拟合二阶自回归,按我们的计算为 $0.893$,按西姆斯的计算为 $1.0137$。 + +在第二个例子中,调整后数据使蕴含系数从 $20.64$(用二阶自回归)变为 $17.08$,或用九阶自回归变为 $16.82$,都离真实值 $20$ 更远。 + +### 一条布莱克韦尔链 + +汉森和萨金特的三种数据按淆乱关系排序。 + +去除季节性均值后的数据,是把未调整数据对季节虚拟变量回归后得到的残差,因此它们是未调整数据的一个函数。 + +理想调整后的数据,是去除季节性均值后数据的一个函数。 + +当 $T$ 是 $4$ 的倍数时,季节虚拟变量所张成的空间,与频率 $0$、$\pi/2$、$\pi$ 和 $3\pi/2$ 处的有限傅里叶向量所张成的空间相同,因此去除季节性均值会丢弃这四个频率处的变换,而理想调整还会额外丢弃 $\pi/2$、$\pi$ 和 $3\pi/2$ 周围频段内的变换。 + +这三种数据是嵌套的傅里叶变换集合,在每个样本量下,每一种都是前一种的淆乱。 + +对于每个 $\delta$,从这三种准则中各自减去不依赖于 $\delta$ 的项,剩下的就是在经过相应淆乱后,真实过程与模型在 $\delta$ 处的散度的两倍。 + +因此,在每个 $\delta$ 处,从第一种数据到第二种数据,再从第二种数据到第三种数据,散度都是弱递减的。 + +最小化后的散度也会递减:如果 $\delta^*$ 使更精细数据的散度最小,那么更粗糙数据的最小值至多等于粗糙散度在 $\delta^*$ 处的值,而后者又至多等于精细散度在 $\delta^*$ 处的值。 + +在汉森和萨金特的表 1 中,各估计值概率极限的误差在每一步也都在减小。 + +我们以季度生产率参数的平均值 $0.1025$ 为基准,来衡量 $\gamma$ 的误差。 + +```{code-cell} ipython3 +table_1 = {"γ": (0.0996, 0.1030, 0.1025), "φ_1": (0.4132, 0.2854, 0.3007), + "a_1": (0.931, 0.3250, 0.3987), "a_4": (0.4383, 0.1598, -0.0003), + "a_5": (-0.4298, -0.1261, -0.0005)} +true_values = {"γ": np.mean([0.13, 0.1, 0.1, 0.08]), "φ_1": 0.3, "a_1": 0.4, + "a_4": 0.0, "a_5": 0.0} +print("absolute errors unadjusted means removed ideally adjusted") +for name, estimates in table_1.items(): + errors = np.abs(np.array(estimates) - true_values[name]) + print(f"{name:>15}" + "".join(f"{e:15.4f}" for e in errors)) +``` + +布莱克韦尔定理表明,一个知道某个实验似然函数的决策者,在任何决策问题中,使用该实验所获得的结果都至少不劣于使用该实验的任何淆乱版本。 + +西姆斯的结论"使用未调整数据配合正确设定的季节性变化模型,始终是最佳选择",正是该定理在估计问题中的对应物:在模型设定正确的情况下,删除频率不可能降低最大似然估计量的渐近方差。 + +而汉森和萨金特的表 1 却颠倒了布莱克韦尔的排序。 + +他们笔下的计量经济学家用一个设定有误的模型的似然函数来评估这三种数据,因此布莱克韦尔定理并不适用,偏好、技术以及禀赋过程参数估计值的概率极限,在最粗糙的数据下反而最接近真实值。 + +汉森和萨金特在引言中描述了他们所要回应的论点: + +> 其他作者曾主张应使用季节未调整数据来估计理性预期模型,理由是模型所刻画的那些主体本身被假定是在使用季节未调整数据求解预测和信号提取问题,而其行为所蕴含的跨方程约束正是施加在季节未调整序列上的。西姆斯回应说,这一论证假设模型是正确设定的,而他主张,一旦承认近似误差存在的可能性,情况便会发生改变。 + +这里所说的其他作者是 {cite:t}`Sargent1978Seasonal` 和 {cite:t}`Singleton1988`。 + +模型内部的主体知道真实的似然函数,因此布莱克韦尔定理适用于他们,他们没有理由去淆乱自己的数据。 + +西姆斯的回应是,该定理并不适用于一个模型设定有误的计量经济学家。 + +{doc}`information_transfer` 描述了决策者可能偏好一个被淆乱的实验的另一种原因。 + +### 两对分布 + +数据处理不等式适用于任意两个分布。 + +将其应用于真实过程与 $\delta$ 处的模型,它表明淆乱不会增大设定误差;汉森和萨金特的理想调整(他们对西姆斯论证的版本)正是利用了这一面。 + +将其应用于模型在两个参数值 $\delta$ 和 $\delta'$ 处的情形,它表明淆乱不会使这两者变得更容易区分。 + +如果某种淆乱把它们映射到同一个分布,它们就变得在观测上等价,这正是汉森和萨金特所说的省略频率"可能通过引入额外的最小化点而妨碍可识别性"的含义。 + +对于相邻的参数值,该散度是费希尔信息矩阵中的一个二次型的一半,正如 {doc}`exponential_families` 中所述。 + +对于一个在频率集合 $K$ 上拟合、谱密度为 $g(\omega; \delta)$ 的标量模型,频域似然函数的费希尔信息矩阵为 + +$$ +\mathcal{I}_K(\delta) = \frac{1}{4\pi} \int_K \nabla_\delta \log g(\omega; \delta) \, \nabla_\delta \log g(\omega; \delta)^\top \, d\omega , +$$ (ae_info_K) + +因此删除频率会使它在矩阵序意义下减小:$\mathcal{I}_K(\delta) \preceq \mathcal{I}(\delta)$,其中 $\mathcal{I}$ 使用全部频率。 + +这正是 {doc}`blackwell_kihlstrom` 中数据处理不等式的费希尔信息形式。 + +求逆会颠倒矩阵序,因此在模型设定正确的情况下,$\sqrt{T}$ 乘以估计量误差的渐近协方差矩阵为 $\mathcal{I}_K(\delta)^{-1} \succeq \mathcal{I}(\delta)^{-1}$,这正是汉森和萨金特脚注 11 中所说的效率代价。 + +当在被删除的频率上几乎处处有 $\nabla_\delta \log g = 0$ 时,两个矩阵相等,此时这些频率不携带关于 $\delta$ 的任何信息。 + +在汉森和萨金特那些设定正确的例子中,尽管参数"对季节频率的影响最强",但在删除季节频率后,模型仍然可识别: + +> 它们以足以在删除季节频率后仍能保持可识别性的方式,影响着所有的频率。 + +在这种情况下,删除频段会降低关于参数的信息量,但不会使其他任何参数值在观测上与真实值等价。 + +汉森和萨金特在结论部分将不等式的两面相对比: + +> 第二,当估计一个设定正确的模型时,使用季节调整数据会带来相当大的效率损失,而这种损失会随着原始数据中季节性重要程度的提高而增大。在实践中,估计量的方差和偏误之间可能存在权衡,而本文并未探讨其具体维度。 + +他们的脚注 17 补充道:"基于导出 (4.2) 的逻辑,我们可以对设定有误模型估计量的渐近分布说出一些东西。我们计划在后续工作中探讨这一点。" + +当数据来自一个谱密度 $f$ 与 $g(\cdot\,; \delta^*_K)$(其中 $\delta^*_K$ 是在 $K$ 所含频率上的 m-投影)不同的高斯过程时,$\sqrt{T}(\hat \delta_K - \delta^*_K)$ 的渐近协方差矩阵为 $\mathcal{H}_K^{-1} \mathcal{J}_K \mathcal{H}_K^{-1}$,其中 + +$$ +\mathcal{H}_K = \frac{1}{4\pi} \int_K \left[ \nabla \log g \, \nabla \log g^\top \, \frac{f}{g} + \nabla^2 \log g \left( 1 - \frac{f}{g} \right) \right] d\omega , +\qquad +\mathcal{J}_K = \frac{1}{4\pi} \int_K \nabla \log g \, \nabla \log g^\top \left( \frac{f}{g} \right)^2 d\omega , +$$ (ae_sandwich) + +$g$ 及其导数均在 $\delta^*_K$ 处取值。 + +$\mathcal{H}_K$ 是限制在 $K$ 上的散度率的海森矩阵,而 $\mathcal{J}_K$ 是 {eq}`ae_whittle` 的得分除以 $\sqrt{T}$ 后的渐近方差。 + +因子 $(f/g)^2$ 来自周期图的方差,其值始终接近 $f^2$。 + +当 $f = g(\cdot\,; \delta^*_K)$ 时,两个矩阵都等于 $\mathcal{I}_K$,协方差矩阵就退化为 $\mathcal{I}_K^{-1}$。 + +下面的代码针对季节性示例,计算了删除不同宽度频段后的 AR(1) 投影、最小化后的散度,以及在两种情形下 $\hat\rho$ 的渐近方差:一种是数据只来自 $x_t$(此时 AR(1) 设定正确),另一种是数据来自 $y_t = x_t + s_t$。 + +```{code-cell} ipython3 +def ar1_derivatives(ρ, σ2): + """网格上的 ∇ log g 和 ∇² log g,对于 g = σ²/|1 - ρe^{-iω}|²,θ = (ρ, σ²)。""" + d1 = np.vstack([2 * np.real(z / (1 - ρ * z)), np.ones(n_grid) / σ2]) + d2 = np.zeros((2, 2, n_grid)) + d2[0, 0] = 2 * np.real(z**2 / (1 - ρ * z)**2) + d2[1, 1] = -1 / σ2**2 + return d1, d2 + + +def ar1_covariance(f, ρ, σ2, keep): + """√T(θ̂ - θ*) 的渐近协方差矩阵,公式 (ae_sandwich)。""" + d1, d2 = ar1_derivatives(ρ, σ2) + r = np.where(keep, f / ar_spectrum(ρ, σ2), 0.0) + H = 0.5 * ((d1 * r) @ d1.T + + (d2 * np.where(keep, 1 - r, 0.0)).sum(axis=2)) / n_grid + J = 0.5 * ((d1 * r**2) @ d1.T) / n_grid + H_inv = np.linalg.inv(H) + return H_inv @ J @ H_inv + + +print("band width ρ* divergence Var, x alone Var, y = x + s") +for Δ in (0, np.pi / 16, np.pi / 8, np.pi / 4, np.pi / 2): + keep = seasonal_keep(Δ) + a_K, σ2_K = ar_projection(f_y, 1, keep) + V_x = ar1_covariance(f_x, ρ_x, 1.0, keep)[0, 0] + V_y = ar1_covariance(f_y, a_K[0], σ2_K, keep)[0, 0] + print(f"{Δ / np.pi:9.4f}π {a_K[0]:7.4f} " + f"{kl_rate(f_y, ar_spectrum(a_K, σ2_K), keep):11.5f} " + f"{V_x:13.4f} {V_y:15.4f}") +``` + +当频段宽度为 $\pi/2$ 时,只剩下 $\pi/4$ 以下的频率。 + +当 AR(1) 设定正确时,删除宽度为 $\pi/8$ 的频段,会使 $\hat\rho$ 的渐近方差从 $0.190$ 升至 $0.194$,约增加 2%,这是因为关于 $\rho$ 的信息集中在低频处。 + +汉森和萨金特的脚注 11 对理性预期模型给出了不同的描述:其跨方程约束把大部分信息放在高功率的季节频率处,在那里删除频段的代价更大。 + +在季节性示例中,使用全部频率的估计量,其渐近方差为 $4.57$,是 AR(1) 设定正确时方差的 24 倍。 + +在 $f/g$ 较大的季节峰值处的周期图纵坐标,以权重 $(f/g)^2$ 进入 $\mathcal{J}_K$。 + +删除宽度为 $\pi/8$ 的频段会去掉这些纵坐标,将方差降至 $0.31$,所以在这里,删除频段既降低了偏误,也降低了方差。 + +*删除频率所带来的效率代价,只有在模型设定正确时才能得到保证。* + +{ref}`ae_ex_tradeoff` 在季节性分量较小时,寻找能够权衡偏误与方差的频段宽度。 + +{doc}`specification_tests` 构造了一个检验,比较删除频段后的估计量与全频段估计量,并利用 {eq}`ae_sandwich` 计算当模型设定有误时二者之差的方差。 + +### 散度,而非估计值 + +数据处理不等式给出的是散度的界限,它并不说明最小化点会移向何处。 + +删除低频频段而非季节性频段,同样也是一种淆乱。 + +```{code-cell} ipython3 +dist_0 = np.minimum(ω, 2 * np.pi - ω) +print(f"all frequencies: ρ* = {a_full[0]:.4f}, " + f"divergence {kl_rate(f_y, g_full):.4f}") +for Δ in (np.pi / 8, np.pi / 4): + keep_low = dist_0 >= Δ / 2 # delete a band of width Δ around zero + a_low, σ2_low = ar_projection(f_y, 1, keep_low) + print(f"low band of width {Δ / np.pi:.3f}π deleted: ρ* = {a_low[0]:.4f}, " + f"divergence {kl_rate(f_y, ar_spectrum(a_low, σ2_low), keep_low):.4f}") +``` + +最小化后的散度从 $0.429$ 降至 $0.366$ 和 $0.330$,这符合该不等式的要求,但 $\rho^*$ 却从 $0.62$ 降至 $0.25$ 和 $0.02$,离非季节性分量的系数 $0.9$ 更远。 + +这种淆乱删除的是季节性分量几乎没有功率、而关于 $\rho$ 的大部分信息所在的那些频率:宽度为 $\pi/8$、围绕零的频段,包含 $s_t$ 方差的 0.03%,以及当 AR(1) 设定正确时 $\mathcal{I}(\rho)$ 的 91%。 + +当某种淆乱恰好删除了模型出错的频率,并保留了携带关于计量经济学家所关心参数信息的频率时,它就能改善这些参数的估计。 + +汉森和萨金特在结论部分的第三个限定条件考虑到了这种情况:"诚然,某些设定有误模型估计的具体例子,可能会违背西姆斯的建议。" + +他们关于理想调整能够奏效的条件,描述的正是一种恰好删除了设定误差的淆乱。 + +如果对于某个 $\delta_0$,模型在季节频段之外与 $F$ 相匹配,并且均值也相匹配,那么这种淆乱会把真实过程和 $\delta_0$ 处的模型映射到同一个分布,因为两个均值和谱密度相同的高斯过程就是同一个过程。 + +此时,淆乱后的散度在 $\delta_0$ 处为零,这是它可能取到的最小值。 + +汉森和萨金特关于测量误差的脚注 12 也呼应了这一理解: + +> 严格地说,要运用"通过忽略季节频率可以保持一致性"这一论证,就必须假设测量误差是*纯粹*季节性的。这样的测量误差过程将是线性确定性的,也就是说,可以由其自身的过去值线性地完全预测出来。 + +要使删除频段能够完全消除测量误差,该误差的谱密度必须在频段之外为零。 + +该谱密度对数的积分此时为 $-\infty$,{ref}`ae_ar_section` 中的柯尔莫哥洛夫公式给出一步向前预测误差方差 $\sigma^2_\infty = 0$。 + +### 低频滤波器 + +汉森和萨金特在文章结尾把这一论证推广到其他滤波器: + +> 形式上,支持使用季节调整数据的那些论证,同样也适用于使用经过滤波以消除——比如说——低频成分的数据。例如,霍德里克和普雷斯科特(1980)构造了一个本质上属于高通滤波器的滤波器,用来消除时间序列中极低频率的成分,同时保留商业周期及更高频率的成分不变。普雷斯科特及许多其他研究者,都曾试图将经过霍德里克-普雷斯科特滤波器处理的数据,与他们明确为捕捉商业周期频率而设计、但不信任其低频性质的理论模型相匹配。这样一种实证策略,或许可以通过适当运用我们的近似准则 (4.2) 得到合理化。 + +{cite:t}`HodrickPrescott1997` 平滑参数为 $\lambda$ 的滤波器的周期分量,其频率响应为 + +$$ +h(\omega) = \frac{4 \lambda (1 - \cos \omega)^2}{1 + 4 \lambda (1 - \cos \omega)^2} , +$$ + +该函数只在 $\omega = 0$ 处为零。 + +由于 $h(0) = 0$,该滤波器去除了均值,{eq}`ae_kl_rate_vector` 中的均值项便随之消失;由于 $h$ 在其他任何频率处都不为零,同时对数据和模型滤波会使散度率的其余部分保持不变。 + +对于本讲座中的平稳过程,因此,对经过霍德里克-普雷斯科特滤波的数据拟合模型(模型的谱密度以同样方式滤波)所得到的高斯最大似然估计,会收敛到与去掉均值项后对未滤波数据估计相同的 m-投影。 + +在大样本下,滤波器可以通过三种方式改变计量经济学家所估计的内容: + +* 它可以只施加于数据而不施加于模型,正如西姆斯的表述那样; +* 它可以被从频域似然函数中删除一个低频频段所取代,这种淆乱在模型主要在低频处出错时能够改善估计结果,这正是汉森和萨金特所描述的情形; +* 它也可以与一个非似然性质的准则一起使用,例如滤波后数据与滤波后模型之间若干方差和协方差之间的距离,此时该滤波器的频率响应就是各频率的权重。 + +下面的代码使用了季度数据惯用的平滑参数 $\lambda = 1600$。 + +```{code-cell} ipython3 +λ = 1600 +h_hp = 4 * λ * (1 - np.cos(ω))**2 / (1 + 4 * λ * (1 - np.cos(ω))**2) +print(f"D(f || g) = {kl_rate(f_y, g_full):.6f}, " + f"D(h²f || h²g) = {kl_rate(h_hp**2 * f_y, h_hp**2 * g_full):.6f}") +a_hp, _ = ar_projection(h_hp**2 * f_y, 1) +print(f"AR(1) projection of filtered data, unfiltered model: ρ* = {a_hp[0]:.4f}") +``` + +在季节性示例中,对滤波后数据拟合未经滤波的 AR(1),得到 $\rho^* = 0.16$,这是因为该滤波器去除了把投影拉向 $0.9$ 的低频功率。 + +### 抽样 + +在整数日期对连续时间过程抽样,同样也是一种淆乱:无论在真实过程下还是在模型下,抽样得到的序列都是连续时间路径的一个函数。 + +西姆斯在其表 I 第 (4) 列中所使用的、在抽样前对单位区间取平均的做法,也是如此。 + +{eq}`ae_folding` 中的分母,即抽样回归量的谱密度,在频域中展现了这种淆乱:抽样把频率 $\omega + 2\pi k$ 的贡献叠加到频率 $\omega$ 上。 + +把数据处理不等式应用于两个连续时间模型,它表明抽样不会使它们变得更容易区分。 + +两个谱密度折叠后得到相同离散时间谱密度的连续时间过程,在抽样数据下是观测等价的,而在西姆斯的设定中,不同的连续时间滞后分布可以对应相同的离散时间滞后分布 $B$。 + +计量经济学家若把 $B$ 当作 $b$ 来解读,便会面临这种可识别性问题。 + +{cite:t}`HansenSargent1983` 对此做了描述: + +> 从连续时间协方差平稳随机过程的理论中可以得到一个众所周知的结果:一般而言,连续时间谱密度函数无法从等间隔的离散时间观测中推断出来。这一可识别性问题通常被称为混叠现象。 + +他们证明,把连续时间谱密度矩阵限制为有理函数,"在解决混叠问题方面所取得的进展,比此前所认识到的要大得多"。 + +在具有有理谱密度的模型类中,一般而言只有有限数量的连续时间模型是观测等价的;在参数空间的某些区域中"可能根本不存在可识别性问题";而对于一阶向量马尔可夫过程,"通常存在一个足够精细的离散抽样间隔,使得连续时间模型得以识别"。 + +抽样在所有连续时间过程构成的集合上不是一一对应的,但在一个受限的族上却可以是一一对应的。 + +汉森和萨金特补充道,经济理论所施加的约束,也可以用来帮助识别连续时间模型。 + +## 结语 + +设定有误的时间序列模型的最大似然估计量,收敛于真实过程在该模型上的 m-投影。 + +KL 散度率 {eq}`ae_kl_rate` 按数据谱密度与模型谱密度之比对每个频率进行加权;在分布滞后回归中,回归量的谱密度对滞后分布在每个频率处的误差进行加权,如 {eq}`ae_sims_criterion` 所示。 + +对一个非季节性分量系数为 $0.9`、季节性分量方差为非季节性分量方差四分之一的序列拟合一阶自回归,得到 $\rho^* = 0.62$;删除宽度为 $\pi/8$ 的季节性频段后,$\rho^*$ 升至 $0.87$。 + +用同一个可逆滤波器对数据和模型同时滤波,投影保持不变;删除频段,或仅对数据滤波,都会改变投影。 + +在 {cite:t}`Sims1971` 的例子中,对抽样数据做最小二乘回归,在滞后零处得到约 $0.43$ 的系数,而连续时间滞后分布在那里的值为 $1$。 + +在 {cite:t}`Sims1974` 的例子中,回归量中的季节性噪声,再加上一个使估计滞后分布保持较短的约束,会产生这样的系数:若将其解读为劳动力短期需求函数,会暗示存在短期规模报酬递增。 + +在 {cite:t}`Sims1993` 的第一个例子中,一个设定有误的未调整数据季节性模型,把消费对收入的反应低估了 $1.17$ 倍;在他的第二个例子中,调整后数据产生的误差大于未调整数据。 + +{doc}`phillips_misspecified` 描述了一种均衡,其中主体的信念就是 {eq}`ae_hs_criterion` 意义下、那些信念所生成过程的 m-投影;{cite:t}`EspondaPouzo2016` 把这类均衡称为伯克-纳什均衡。 + +{doc}`specification_tests` 描述了比较两个投影的检验方法。 + +滤波、删除频段、去除季节性均值以及抽样都是淆乱,数据处理不等式为它们所留下的散度排出了顺序;但它并不为估计值排序。 + +汉森和萨金特的三种数据构成一条淆乱链,而他们笔下设定有误的计量经济学家,从最粗糙的数据中获得了最好的估计,这颠倒了布莱克韦尔定理赋予一个知道真实似然函数的决策者的排序。 + +在模型设定正确的情况下,删除频率不可能降低估计量的渐近方差;而在设定有误的季节性示例中,删除季节性频段同时降低了偏误和方差。 + +## 练习 + +```{exercise} +:label: ae_ex_sampling + +{cite:t}`Sims1971` 的表 III 给出了钟形连续时间滞后分布 $b(t) = 4 t e^{-2t}$($t \geq 0$)对应的离散时间滞后分布 $B$。 + +1. 证明 $\tilde b(\omega) = 4/(2 + i\omega)^2$。 +2. 使用函数 `triangle_lag`、`sampled_lag` 和 `band_limited_lag`,对 $t = -4, \ldots, 8$ 计算该表的第 (2)、(3)、(5) 列,并比较 $B(0)$、$B(1)$ 与 $b(0)$、$b(1)$。 +3. 在第 (5) 列中,$B(t) = \int b(s) \frac{\sin \pi (t - s)}{\pi (t - s)} \, ds$。证明在整数 $t$ 处,$B(t) = (-1)^t \int b(s) \frac{\sin \pi s}{\pi (s - t)} \, ds$,并利用这一公式预测 $B(t)$ 在负 $t$ 处的符号。 +``` + +```{solution-start} ae_ex_sampling +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,$\tilde b(\omega) = 4 \int_0^\infty t e^{-(2 + i\omega) t} \, dt = 4 / (2 + i\omega)^2$。 + +```{code-cell} ipython3 +b_hump = lambda t: np.where(t >= 0, 4 * t * np.exp(-2 * t), 0.0) +b_hump_ft = lambda w: 4 / (2 + 1j * w)**2 + +print_lag_table(t_vals, b_hump(t_vals), triangle_lag(b_hump, t_vals), + sampled_lag(b_hump_ft, S_ou, t_vals), + band_limited_lag(b_hump_ft, t_vals)) +``` + +计算出的各列与西姆斯表 III 一致,该表标题中将滞后分布记为 $\exp(-2t)$,而其图形和第 (1) 列则对应于 $4t\exp(-2t)$。 + +该连续时间滞后在 $t = 0$ 处为零,在 $t = 0.5$(介于两个抽样日期之间)处达到峰值。 + +在第 (2) 和第 (3) 列中,尽管 $b(0) = 0$,但 $B(0) \approx 0.27$;而 $B(1) \approx 0.5$ 接近 $b(1) = 0.54$;在第 (5) 列中,$B(0) = 0.29$,$B(1) = 0.60$。 + +对抽样数据做最小二乘法,把发生在日期 $0$ 与 $1$ 之间的部分反应归到了日期 $0$ 上。 + +对于第 3 部分,在整数 $t$ 处,$\sin \pi (t - s) = (-1)^{t+1} \sin \pi s$,因此 $B(t) = (-1)^t \int b(s) \frac{\sin \pi s}{\pi (s - t)} \, ds$。 + +当 $t < 0$ 时,对于所有 $s \geq 0$,因子 $1/(s - t)$ 都是正的。 + +当 $|t|$ 较大时,该积分近似为 $\frac{1}{\pi |t|} \int b(s) \sin \pi s \, ds = \frac{\operatorname{Im} \tilde b(-\pi)}{\pi |t|}$,而 $\operatorname{Im} \tilde b(-\pi) = \operatorname{Im} \, 4/(2 - i\pi)^2 > 0$。 + +因此在负 $t$ 处,$B(t)$ 的符号与 $(-1)^t$ 相同:在 $t = -2$ 和 $-4$ 处为正,在 $t = -1$ 和 $-3$ 处为负,正如表中所示。 + +```{code-cell} ipython3 +print(f"Im b(-π) = {b_hump_ft(-np.pi).imag:.3f}") +exact = integrate.quad(lambda s: b_hump(s) * np.sin(np.pi * s) / (np.pi * (s + 1)), + 0, 40, limit=200)[0] +print(f"t = -1: integral {exact:.3f}, " + f"large-|t| approximation {b_hump_ft(-np.pi).imag / np.pi:.3f}") +``` + +该近似在 $t = -1$ 处较为粗略,但符号同样是对的。 + +```{solution-end} +``` + +```{exercise} +:label: ae_ex_filter + +回到西姆斯 1974 年例子中恒等滞后分布且 $c = 0$ 的情形。 + +假设计量经济学家用一个理想季节调整滤波器 $k$ 同时对 $y'$ 和 $x'$ 进行滤波,该滤波器的频率响应在围绕 $\pi/2$ 和 $\pi$(以及围绕 $-\pi/2$ 的对称频段)、宽度为 $\Delta$ 的频段内为零,在其他地方为一。设 $y'' = k * y'$、$x'' = k * x'$ 为滤波后的序列。 + +1. 解释为什么 $y''$ 对 $x''$ 滞后项回归的大样本最小二乘系数,满足 `constrained_lag` 在其参数 `weight` 为 $|\tilde k|^2$ 时所求解的正规方程。 +2. 对 $\Delta \in \{\pi/16, \pi/8, \pi/4\}$,分别计算仅以 $x''(t)$ 为回归量时的大样本系数,以及同时以 $x''(t)$ 和 $x''(t-1)$ 为回归量时的系数。将它们与未滤波数据下的系数 $0.80$ 及 $(0.58, 0.34)$,以及真实值 $1$ 和 $(1, 0)$ 进行比较。 +``` + +```{solution-start} ae_ex_filter +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,用 $k$ 同时对两个变量滤波,会使 $x'$ 的谱密度和 $y'$ 与 $x'$ 的互谱都乘以 $|\tilde k|^2$。 + +因此,$y''$ 对 $x''$ 滞后项回归的大样本矩矩阵,就是未滤波回归在两个谱都乘以 $|\tilde k|^2$ 权重后的矩矩阵。 + +等价地,受约束最小二乘法最小化的是 {eq}`ae_sims_criterion`,其中用 $\tilde b'$ 取代 $\tilde b$,用权重 $|\tilde k|^2 S_{x'}$ 取代 $S_x$。 + +```{code-cell} ipython3 +for Δ in (np.pi / 16, np.pi / 8, np.pi / 4): + k2 = seasonal_keep(Δ).astype(float) + one = constrained_lag(b_identity_ft, [0], k2) + two = constrained_lag(b_identity_ft, [0, 1], k2) + share_out = np.mean(S_w74 * seasonal_keep(Δ)) / np.mean(S_w74) + print(f"Δ = {Δ / np.pi:.4f}π: x''(t) alone {one.round(3)}, " + f"with x''(t-1) {two.round(3)}; share of Var(w) outside the bands " + f"{share_out:.2f}") +``` + +滤波使这些系数向真实值靠拢,而更宽的频段会使它们进一步靠拢。 + +当 $\Delta = \pi/8$(西姆斯为季度数据推荐的频段宽度)时,仅以 $x''(t)$ 为回归量的系数为 $0.95$,而两个系数的组合为 $(0.80, 0.18)$,相比之下未滤波数据下分别为 $0.80$ 和 $(0.58, 0.34)$。 + +该滤波器去除了季节性噪声 $w$ 功率最集中的那些频率,因此 $x''$ 中剩余的变动大多是 $x$ 本身的变动,变量误差偏误随之减小。 + +但偏误并未完全消失,因为西姆斯例子中的噪声 $w$ 在季节性频段之外也有功率:其方差约有 19% 位于宽度为 $\pi/8$ 的频段之外。 + +西姆斯脚注 6 把 $w$ 的季节性峰值宽度定为约 $\pi/5$,他建议采用比 $x'$ 谱密度中最宽季节峰值更宽的频段。 + +当 $\Delta = \pi/4$ 时,$w$ 方差中有 12% 位于频段之外。 + +```{solution-end} +``` + +```{exercise} +:label: ae_ex_invariance + +在上面计算的西姆斯第二个永久收入例子版本中,计量经济学家用 $1 - \kappa(L)\kappa(L^{-1})$ 对数据滤波,却像数据未经调整一样拟合二阶自回归。 + +1. 假设计量经济学家改为将同一滤波器也应用于模型,使得模型的谱密度为 $(1 - |\kappa|^2)^2 \sigma^2/|a(e^{-i\omega})|^2$。写出滤波后数据与滤波后模型之间的散度率,并解释为什么它在 $(a, \sigma^2)$ 上的最小化点,就是未滤波数据在去除季节性分量后的最小化点。 +2. 用数值方法确认该最小化点满足 $a = 0$,并蕴含系数 $20$。 +``` + +```{solution-start} ae_ex_invariance +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,该滤波器去除了确定性季节性分量,因此滤波后数据的谱密度为 $(1 - |\kappa|^2)^2 f$,其中 $f = 1$。 + +设 $g = \sigma^2/|a(e^{-i\omega})|^2$,则滤波后数据相对于滤波后模型的散度率为 + +$$ +\frac{1}{4\pi} \int_{-\pi}^{\pi} \left[ \frac{(1 - |\kappa|^2)^2 f}{(1 - |\kappa|^2)^2 g} - 1 - \log \frac{(1 - |\kappa|^2)^2 f}{(1 - |\kappa|^2)^2 g} \right] d\omega . +$$ + +在每一个满足 $1 - |\kappa|^2 \neq 0$ 的频率处,方括号内的比值都是 $f/g$,与 {ref}`ae_ar_section` 中的不变性论证相同。 + +平方增益 $(1 - |\kappa|^2)^2$ 只在有限多个频率处为零:季节频率 $\pm\pi/2$ 和 $\pi$,以及 $\pm 0.485\pi$ 附近 $|\kappa|$ 越过一的两个频率。 + +有限集的测度为零,因此该散度率等于白噪声 $f$ 相对于 $g$ 的 $D(f \| g)$,而这在 $a = 0$、$\sigma^2 = 1$ 处为零。 + +```{code-cell} ipython3 +def filtered_criterion(θ, f, gain2): + """滤波后数据相对于滤波后 AR(2) 模型的散度率。""" + a, σ2 = pacf_to_ar(np.tanh(θ[:2])), np.exp(θ[2]) + return kl_rate(gain2 * f, gain2 * ar_spectrum(a, σ2)) + + +res = minimize(filtered_criterion, [0.3, -0.2, 0.0], args=(f_white, adjust2), + method="Nelder-Mead", options={"xatol": 1e-10, "fatol": 1e-14}) +a_fm = pacf_to_ar(np.tanh(res.x[:2])) +print("AR(2) coefficients:", np.round(a_fm, 6) + 0.0, + f" implied coefficient {implied_coefficient(a_fm):.3f}") +``` + +对模型与数据同时滤波,消除了仅对数据滤波时所产生的偏误。 + +```{solution-end} +``` + +```{exercise} +:label: ae_ex_tradeoff + +汉森和萨金特在结论部分提到了"估计量的方差和偏误之间的权衡,而本文并未探讨其具体维度"。 + +在季节性示例中,设季节性分量 $s_t$ 的方差为 $x_t$ 方差的某个比例 $q$;本讲座中的例子取 $q = 1/4$。 + +某计量经济学家用频域最大似然法对 $T$ 个观测值拟合 AR(1),并删除宽度为 $\Delta$ 的季节性频段,希望估计非季节性分量的系数 $0.9$。 + +用渐近均方根误差 $\sqrt{(\rho^*_K - 0.9)^2 + V_K / T}$ 来度量该估计量的误差,其中 $\rho^*_K$ 是在频段之外的频率上的 AR(1) 投影,$V_K$ 是协方差矩阵 {eq}`ae_sandwich` 的 $(1, 1)$ 元素。 + +1. 对 $q \in \{0, 0.0005, 0.002, 0.005, 0.01, 0.25\}$ 和 $\Delta \in \{0, \pi/32, \pi/16, \pi/8, \pi/4, \pi/2\}$,在 $T = 400$ 下计算 $\rho^*_K - 0.9$、$V_K$ 以及渐近均方根误差,并找出使误差最小的频段宽度。在较窄的几个宽度之间做出选择有多重要? +2. 解释为什么当 $q = 0$ 时 $\Delta = 0$ 最优,以及为什么最优频段宽度会随 $q$ 增大。 +3. 求出 $T = 1600$ 时的最优频段宽度,并解释为什么它们至少不窄于 $T = 400$ 时的最优宽度。 +``` + +```{solution-start} ae_ex_tradeoff +:class: dropdown +``` + +下面给出一种解法。 + +```{code-cell} ipython3 +f_s_unit = f_s / np.mean(f_s) # seasonal shape, unit variance +widths = np.pi * np.array([0, 1 / 32, 1 / 16, 1 / 8, 1 / 4, 1 / 2]) +header = "".join(f"{Δ / np.pi:9.4f}π" for Δ in widths) + +bias_variance = {} +for q in (0, 0.0005, 0.002, 0.005, 0.01, 0.25): + f = f_x + q * np.mean(f_x) * f_s_unit + bias, V = [], [] + for Δ in widths: + keep = seasonal_keep(Δ) + a_K, σ2_K = ar_projection(f, 1, keep) + bias.append(a_K[0] - ρ_x) + V.append(ar1_covariance(f, a_K[0], σ2_K, keep)[0, 0]) + bias_variance[q] = np.array(bias), np.array(V) + +print(" q " + header) +for q, (bias, V) in bias_variance.items(): + print(f"{q:6.4f} ρ*-0.9" + "".join(f"{np.round(b, 4) + 0.0:10.4f}" for b in bias)) + print(f"{'':6s} V_K " + "".join(f"{v:10.4f}" for v in V)) + +for T in (400, 1600): + print(f"\nT = {T}: asymptotic root mean squared error") + print(" q" + header + " best") + for q, (bias, V) in bias_variance.items(): + rmse = np.sqrt(bias**2 + V / T) + print(f"{q:6.4f}" + "".join(f"{r:10.4f}" for r in rmse) + + f" {widths[rmse.argmin()] / np.pi:.4f}π") +``` + +当 $q = 0$ 时,AR(1) 是正确设定的,因此无论频段宽度为何,该投影都等于 $0.9$,而由费希尔信息形式的数据处理不等式可知,$V_K = \mathcal{I}_K^{-1}$ 会随 $\Delta$ 的增大而增大。 + +此时使用全部频率最优。 + +当 $q > 0$ 时,使用全部频率的估计量存在偏误,其方差包含了季节峰值处的周期图纵坐标,权重为 $(f/g)^2$。 + +删除一个窄频段会去掉这两者中的大部分。 + +进一步加宽频段会继续降低偏误;对于较小的 $q$,它会提高方差,因为新增的频率携带了关于 $\rho$ 的信息而设定误差很小。 + +对于 $T = 400$,最优频段宽度从 $q = 0.0005$ 时的 $\pi/32$,增长到 $q = 0.002$ 和 $0.005$ 时的 $\pi/16$,再到 $q = 0.01$ 时的 $\pi/8$,以及 $q = 1/4$ 时网格中最宽的宽度。 + +对于 $q \leq 0.005$,在各个较窄的频段宽度之间,均方根误差几乎持平:最优宽度相较于次优宽度的优势约为 0.2% 或更小。 + +删除某个频段比其宽度更重要:在 $q = 0.01$、$T = 400$ 时,使用全部频率的误差为 $0.0287$,而使用最优宽度的误差为 $0.0223$。 + +对于第 3 部分,平方偏误随频段加宽而减小,且不依赖于 $T$,而方差项 $V_K / T$ 则随 $T$ 增大而缩小。 + +更大的样本会相对更看重平方偏误,因此对 $T = 400$ 而言最优的较窄频段,在 $T = 1600$ 时不可能仍是最优的。 + +在 $q = 0.005$ 时,最优宽度从 $\pi/16$ 升至 $\pi/8$,提升幅度约为 0.1%;在其他 $q$ 值下则没有变化。 + +使用全部频率时,误差下降得比使用最优频段时更慢,因为其平方偏误不会缩小:在 $q = 0.01$ 时,$T = 1600$ 下该误差为 $0.0187$,而使用最优宽度时为 $0.0112$。 + +```{solution-end} +``` \ No newline at end of file From 54e992ef913aac17191dc0abb6c77ffb527df628 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:26 +1100 Subject: [PATCH 02/28] Update translation: .translate/state/approximation_errors.md.yml --- .translate/state/approximation_errors.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/approximation_errors.md.yml diff --git a/.translate/state/approximation_errors.md.yml b/.translate/state/approximation_errors.md.yml new file mode 100644 index 00000000..db572bf2 --- /dev/null +++ b/.translate/state/approximation_errors.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 8 +tool-version: 0.33.0 From 97487cb5a1f6a6be29287859efb217fafa4f8f1e Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:27 +1100 Subject: [PATCH 03/28] Update translation: lectures/exponential_families.md --- lectures/exponential_families.md | 1374 ++++++++++++++++++++++++++++++ 1 file changed, 1374 insertions(+) create mode 100644 lectures/exponential_families.md diff --git a/lectures/exponential_families.md b/lectures/exponential_families.md new file mode 100644 index 00000000..444e9eb6 --- /dev/null +++ b/lectures/exponential_families.md @@ -0,0 +1,1374 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.4 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 指数族与最大熵 + headings: + Overview: 概览 + Coordinates matter: 坐标很重要 + Maximum entropy: 最大熵 + Maximum entropy::A die: 一颗骰子 + Maximum entropy::The solution is an exponential family: 解是一个指数族 + Maximum entropy::The normal distribution: 正态分布 + Maximum entropy::Other moment conditions: 其他矩条件 + The exponential family: 指数族 + The exponential family::Definition: 定义 + The exponential family::The log-partition function generates moments: 对数配分函数生成矩 + Two coordinate systems: 两套坐标系统 + Two coordinate systems::Expectation parameters: 期望参数 + Two coordinate systems::Legendre duality: 勒让德对偶性 + Two coordinate systems::The conjugate is negative entropy: 共轭是负熵 + Two coordinate systems::Logit choice probabilities: 逻辑选择概率 + Bregman divergences and KL divergence: 布雷格曼散度与 KL 散度 + Bregman divergences and KL divergence::Bregman divergence: 布雷格曼散度 + Bregman divergences and KL divergence::KL divergence is a Bregman divergence: KL 散度是一种布雷格曼散度 + Bregman divergences and KL divergence::Fisher information is the curvature of KL divergence: 费希尔信息是 KL 散度的曲率 + Estimation: 估计 + Estimation::Maximum likelihood matches moments: 最大似然匹配矩 + Estimation::Finite-sample behavior of the two estimators: 两种估计量的有限样本性质 + Concluding remarks: 结束语 + Exercises: 练习 +--- + +(exponential_families)= +```{raw} jupyter + +``` + +# 指数族与最大熵 + +```{contents} Contents +:depth: 2 +``` + +## 概览 + +本讲座及其续篇 {doc}`information_projections` 介绍 **信息几何**(information geometry)的一些内容,这是一门用凸分析与微分几何的工具来研究概率分布族的学问。 + +我们用信息几何来描述概率分布的 **指数族**(exponential family)。 + +指数族包括伯努利分布、泊松分布、正态分布、伽马分布和贝塔分布。 + +一个凸函数,即 **对数配分函数**(log-partition function),生成了: + +* 该族成员的两套坐标系统,分别称为 **自然参数**(natural parameters)和 **期望参数**(expectation parameters); +* 该族充分统计量的均值与协方差; +* 费希尔信息矩阵(Fisher information matrix); +* 当该族的基测度为常数时,通过勒让德变换(Legendre transform)得到每个成员的熵;以及 +* 通过 **布雷格曼散度**(Bregman divergence),得到任意两个成员之间的 Kullback–Leibler(KL)散度。 + +指数族的成员回答了 {cite:t}`Jaynes1957` 提出的一个问题:在所有具有给定若干统计量均值的分布中,按香农熵(Shannon's entropy)衡量,哪个概率分布所表达的信息最少? + +有一个特殊情形刻画了正态分布:在实数轴上所有具有给定均值和方差的密度中,正态密度具有最大的熵。 + +经济学家其实已经以其他名称使用了这些工具中的若干种。 + +对数配分函数及其 **勒让德变换**(Legendre transform)之间的关系,正如利润函数与生产函数之间的关系一样。 + +对数配分函数导数的公式,是霍特林引理(Hotelling's lemma)的一个版本。 + +离散选择的多项逻辑模型(multinomial logit model)中的 **包容值**(inclusive value)就是一个对数配分函数。 + +在相差一个常数的意义下,它就是最优选项的期望效用。 + +它的勒让德变换是负熵。 + +续篇 {doc}`information_projections` 利用这些工具研究概率分布在分布族上的投影,并应用于最大似然、鲁棒控制、投入产出表的更新以及最优传输问题。 + +本讲座建立在 {doc}`divergence_measures` 的基础上,该讲座介绍了熵、交叉熵和 KL 散度;我们沿用其记号。 + +{doc}`mle` 和 {doc}`multivariate_normal` 提供了额外的背景知识。 + +{cite:t}`amari_nagaoka2000`、{cite:t}`Nielsen2020`,以及 {cite:t}`CoverThomas2006` 的第 2、8、11、12 章都论及本讲座及其续篇的内容。 + +我们使用以下导入。 + +```{code-cell} ipython3 +import numpy as np +import matplotlib.pyplot as plt +from scipy import integrate +from scipy.optimize import brentq +from scipy.special import logsumexp, digamma, polygamma, gammaln +from scipy.stats import norm, poisson, laplace, logistic, uniform, chi2 +from scipy.stats import gamma as gamma_dist +``` + +## 坐标很重要 + +我们通常用均值 $\mu$ 和标准差 $\sigma$ 来描述一个正态分布。 + +点对 $(\mu, \sigma)$ 是半平面上的一个点,但两个这样的点之间的普通距离,并不能说明从数据上区分这两个分布有多困难。 + +考虑四个正态分布: + +* $A = N(0, 0.2^2)$ 和 $B = N(1, 0.2^2)$,以及 +* $C = N(0, 2^2)$ 和 $D = N(1, 2^2)$。 + +在 $(\mu, \sigma)$ 半平面中,$A$ 与 $B$ 之间的距离,和 $C$ 与 $D$ 之间的距离一样远。 + +但 $A$ 和 $B$ 几乎没有重叠,而 $C$ 和 $D$ 却有大量重叠。 + +两个具有相同标准差 $\sigma$ 的正态分布之间的 KL 散度为 $(\mu_1 - \mu_2)^2 / (2 \sigma^2)$,对 $A$ 和 $B$ 而言是 $12.5$,对 $C$ 和 $D$ 而言是 $0.125$。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Equal parameter distances, unequal KL divergences + name: fig-ef-four-normals +--- +x = np.linspace(-6, 7, 1000) +fig, axes = plt.subplots(1, 2, figsize=(10, 3.5)) +for ax, σ, names in zip(axes, (0.2, 2.0), (("A", "B"), ("C", "D"))): + for μ, name in zip((0.0, 1.0), names): + ax.plot(x, norm.pdf(x, μ, σ), lw=2, label=f"{name}: N({μ:g}, {σ:g}²)") + ax.set_title(rf"$\sigma = {σ:g}$, KL = {1 / (2 * σ**2):.3g}") + ax.set_xlabel("$x$") + ax.legend() +plt.tight_layout() +plt.show() +``` + +一个关于概率分布的几何学,应当以分布之间可区分的程度来度量距离。 + +对于指数族来说,有一个凸函数就能生成这样一种几何结构。 + +## 最大熵 + +### 一颗骰子 + +埃德温·杰恩斯(Edwin Jaynes)提出了最大熵原理 {cite}`Jaynes1957`,并在其 1962 年的布兰迪斯讲座中用下面这个问题加以说明,这个问题现在被称为布兰迪斯骰子问题(Brandeis dice problem){cite}`Jaynes1963`。 + +一颗骰子有面 $x \in \{1, 2, \ldots, 6\}$。 + +我们只被告知,点数的平均值是 $4.5$,而不是公平骰子的 $3.5$。 + +我们应当给各个面赋予怎样的概率分布 $p = (p_1, \ldots, p_6)$? + +有许多分布的均值都是 $4.5$。 + +杰恩斯提议选择"在缺失信息方面最不作承诺"的那个分布 {cite}`Jaynes1957`,他认为这意味着应选择使香农熵 + +$$ +H(p) = - \sum_{x} p(x) \log p(x) +$$ + +最大化的那个分布,并满足约束 $\sum_x p(x) = 1$ 和 $\sum_x x \, p(x) = 4.5$。 + +### 解是一个指数族 + +让我们来求解这个问题的一个更一般的版本。 + +设 $t(x) = (t_1(x), \ldots, t_d(x))$ 为结果 $x$ 的一组函数构成的向量,其中 $x$ 取值于一个有限集合。 + +我们要寻找使 $H(p)$ 最大化的分布 $p$,约束条件为矩条件 + +$$ +\sum_x p(x) \, t(x) = c +$$ (ef_moments) + +其中 $c$ 为给定向量,并且 $\sum_x p(x) = 1$。 + +给 {eq}`ef_moments` 附加一个拉格朗日乘子向量 $\theta$。 + +对 $p(x)$ 求一阶条件得 $-\log p(x) - 1 + \theta \cdot t(x) - \nu = 0$,其中 $\nu$ 是 $\sum_x p(x) = 1$ 对应的乘子。 + +解具有以下形式 + +$$ +p(x; \theta) = \exp\left( \theta \cdot t(x) - F(\theta) \right), +\qquad +F(\theta) = \log \sum_x \exp\left( \theta \cdot t(x) \right) , +$$ (ef_maxent_solution) + +其中 $\theta$ 满足 {eq}`ef_moments`。 + +函数 $F$ 使得各个概率之和为一。 + +这样的 $\theta$ 存在,当且仅当 $c$ 位于点集 $t(x)$ 的凸包的相对内部,即位于包含它的最小仿射子空间中(作为该子空间的子集)的内部;对下文的骰子而言,这等价于 $1 < c < 6$。 + +当 $c$ 位于相对边界上时(比如骰子的均值为 $6$ 的情形),使熵最大化的分布依然存在。 + +此时它在某些结果上赋予零概率,而且它位于该族之外,是该族中某些 $\theta$ 发散的成员序列的极限。 + +形如 {eq}`ef_maxent_solution` 的一族分布称为 **指数族**(exponential family)。 + +拉格朗日乘子 $\theta$ 是其 **自然参数**(natural parameters),$t$ 是其 **充分统计量**(sufficient statistic)。 + +为了确认 {eq}`ef_maxent_solution` 确实是最大值,设 $p$ 是满足 {eq}`ef_moments` 的任意分布,设 $p^*$ 是满足该约束的指数族成员。 + +由于 $\log p^*(x) = \theta \cdot t(x) - F(\theta)$ 是 $t(x)$ 的仿射函数,且 $p$ 和 $p^*$ 对 $t$ 赋予相同的均值 $c$, + +$$ +\sum_x p(x) \log p^*(x) = \theta \cdot c - F(\theta) = \sum_x p^*(x) \log p^*(x) = - H(p^*) . +$$ + +我们把 $D_{KL}(p \| q) = \sum_x p(x) \log (p(x) / q(x))$ 读作"$p$ 相对于 $q$ 的 KL 散度"。 + +因此 + +$$ +H(p^*) - H(p) = \sum_x p(x) \log p(x) - \sum_x p(x) \log p^*(x) = D_{KL}(p \| p^*) \geq 0 , +$$ (ef_entropy_gap) + +等号仅当 $p = p^*$ 时成立。 + +在满足矩条件的所有分布中,指数族成员具有最大的熵,而任何其他分布的熵缺口恰好等于它相对于该成员的 KL 散度。 + +续篇 {doc}`information_projections` 表明 {eq}`ef_entropy_gap` 是一个毕达哥拉斯定理的实例。 + +对于杰恩斯的骰子问题,$t(x) = x$,$\theta$ 是标量。 + +下面的函数 `tilt` 计算 **基准分布**(base distribution)$q$ 的 **指数倾斜**(exponential tilt):即对某个统计量 $t$ 而言,正比于 $q(x) \exp(\theta \, t(x))$ 的分布。 + +对于最大熵问题而言,$q$ 是均匀分布,结果就是 {eq}`ef_maxent_solution`。 + +第二个函数用来求出能给出给定均值的 $\theta$。 + +```{code-cell} ipython3 +def tilt(q, t, θ): + """The distribution proportional to q(x) exp(θ t(x)).""" + log_w = np.log(q) + θ * t + return np.exp(log_w - logsumexp(log_w)) + + +def match_mean(q, t, c): + """Find θ such that the tilted distribution has mean c.""" + θ = brentq(lambda θ: tilt(q, t, θ) @ t - c, -50, 50) + return θ, tilt(q, t, θ) + + +def entropy(p): + return -p @ np.log(p) + + +def kl(p, q): + return p @ np.log(p / q) + + +faces = np.arange(1, 7) +uniform_die = np.full(6, 1 / 6) +θ_die, p_die = match_mean(uniform_die, faces, 4.5) +print(f"θ = {θ_die:.4f}") +print("maximum entropy distribution:", np.round(p_die, 4)) +print(f"entropy = {entropy(p_die):.4f}, compared with log 6 = {np.log(6):.4f}") +``` + +概率从一个面到下一个面按因子 $e^{\theta}$ 呈几何方式递增。 + +让我们通过构造其他均值为 $4.5$ 的分布,来验证 {eq}`ef_entropy_gap`。 + +我们通过沿着既保持总概率又保持均值的方向偏离 $p^*$ 来构造这些分布。 + +```{code-cell} ipython3 +rng = np.random.default_rng(0) + +# directions orthogonal to (1, ..., 1) and to (1, 2, ..., 6) +constraints = np.vstack([np.ones(6), faces]) +null_space = np.linalg.svd(constraints)[2][2:].T + +print(" H(p*) - H(p) KL(p || p*)") +for _ in range(5): + while True: + p = p_die + null_space @ rng.normal(scale=0.05, size=4) + if np.all(p > 0): + break + print(f"{entropy(p_die) - entropy(p):12.6f} {kl(p, p_die):14.6f}") +``` + +下图展示了几个不同均值下的最大熵分布。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Maximum entropy die distributions by mean + name: fig-ef-die +--- +fig, ax = plt.subplots() +for c in (2.5, 3.5, 4.5, 5.5): + θ, p = match_mean(uniform_die, faces, c) + ax.plot(faces, p, "o-", label=rf"mean {c}, $\theta$ = {θ:.2f}") +ax.set_xlabel("face") +ax.set_ylabel("probability") +ax.legend() +plt.show() +``` + +### 正态分布 + +现在设结果 $x$ 为一个实数,并约束其均值和二阶矩: + +$$ +E[X] = \mu, \qquad E[X^2] = \mu^2 + \sigma^2 . +$$ + +对实数轴上的密度 $p$,**微分熵**(differential entropy)定义为 $H(p) = -\int p(x) \log p(x) \, dx$。 + +导出 {eq}`ef_maxent_solution` 的论证现在表明,具有最大熵的密度具有如下形式 + +$$ +p(x; \theta) = \exp\left( \theta_1 x + \theta_2 x^2 - F(\theta) \right) , +$$ + +它仅当 $\theta_2 < 0$ 时才是可积的。 + +通过配方可知,这正是均值为 $\theta_1 = \mu / \sigma^2$、方差参数为 $\theta_2 = -1/(2\sigma^2)$ 的正态密度。 + +导出 {eq}`ef_entropy_gap` 的论证在把求和替换为积分后依然成立,因此每个具有均值 $\mu$ 和方差 $\sigma^2$ 的密度 $p$ 都满足 + +$$ +H(\varphi) - H(p) = D_{KL}(p \| \varphi) \geq 0 , +$$ (ef_normal_gap) + +其中 $\varphi$ 是 $N(\mu, \sigma^2)$ 密度。 + +*在实数轴上所有具有给定均值和方差的密度中,正态密度具有最大的熵。* + +它的熵为 $H(\varphi) = \frac{1}{2} \log(2 \pi e \sigma^2)$。 + +与离散分布的熵不同,微分熵可以为负,而且当我们改变度量 $x$ 的单位时它也会改变;而缺口 {eq}`ef_normal_gap` 是一个 KL 散度,二者皆不发生。 + +我们对均值为零、方差为一的若干密度检验 {eq}`ef_normal_gap`。 + +我们用 SciPy 的公式计算熵,并通过数值积分计算 KL 散度。 + +```{code-cell} ipython3 +φ = norm(0, 1) +alternatives = { + "uniform": uniform(-np.sqrt(3), 2 * np.sqrt(3)), + "Laplace": laplace(0, 1 / np.sqrt(2)), + "logistic": logistic(0, np.sqrt(3) / np.pi), +} + +print(f"entropy of N(0, 1): {φ.entropy():.4f}\n") +print(f"{'distribution':12} {'variance':>8} {'entropy':>8} " + f"{'H(φ) - H(p)':>12} {'KL(p || φ)':>11}") +for name, dist in alternatives.items(): + a, b = dist.support() + a, b = max(a, -30), min(b, 30) + kl_p_φ = integrate.quad( + lambda x: dist.pdf(x) * (dist.logpdf(x) - φ.logpdf(x)), a, b, + limit=200)[0] + print(f"{name:12} {dist.var():8.4f} {dist.entropy():8.4f} " + f"{φ.entropy() - dist.entropy():12.4f} {kl_p_φ:11.4f}") +``` + +我们还可以看到正态分布如何从一个离散的最大熵问题中涌现出来。 + +把结果放在一个精细的网格点上,并施加两个矩条件。 + +下面的函数通过牛顿法求出自然参数,用到了我们下面将证明的两个事实:$F$ 的梯度是 $t$ 的均值向量,$F$ 的海森矩阵是 $t$ 的协方差矩阵。 + +```{code-cell} ipython3 +def maxent(q, T, c, tol=1e-12, max_iter=100): + """ + Maximize entropy relative to q subject to E[T] = c. + + T is an m × d array whose rows are t(x). Returns θ and the + distribution proportional to q(x) exp(θ · t(x)). The iterations + converge only if c is in the interior of the convex hull of the + rows of T. + """ + def tilted(θ): + log_w = np.log(q) + T @ θ + return np.exp(log_w - logsumexp(log_w)) + + θ = np.zeros(T.shape[1]) + for _ in range(max_iter): + p = tilted(θ) + mean = p @ T + cov = (T - mean).T @ ((T - mean) * p[:, None]) + step = np.linalg.solve(cov, c - mean) + θ = θ + step + if np.max(np.abs(step)) < tol: + break + else: + raise RuntimeError("no convergence: is c inside the hull of t(x)?") + return θ, tilted(θ) + + +μ_grid, σ_grid = 1.0, 1.2 +grid = np.linspace(-6, 6, 241) +spacing = grid[1] - grid[0] +T_grid = np.column_stack([grid, grid**2]) +θ_grid, p_grid = maxent(np.full(grid.size, 1 / grid.size), T_grid, + c=np.array([μ_grid, μ_grid**2 + σ_grid**2])) +print(f"θ = {np.round(θ_grid, 4)}") +print(f"(μ/σ², -1/(2σ²)) = " + f"{np.round([μ_grid / σ_grid**2, -1 / (2 * σ_grid**2)], 4)}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Grid maximum entropy matches the normal + name: fig-ef-grid-normal +--- +fig, ax = plt.subplots() +ax.plot(grid, p_grid / spacing, lw=4, alpha=0.4, + label="maximum entropy on a grid") +ax.plot(grid, norm.pdf(grid, μ_grid, σ_grid), "k--", lw=1, + label=f"N({μ_grid:g}, {σ_grid:g}²)") +ax.set_xlabel("$x$") +ax.legend(loc="upper right") +plt.show() +``` + +### 其他矩条件 + +不同的矩条件会产生不同的族。 + +| 结果取值 | 被约束的均值 | 最大熵分布 | +|---|---|---| +| $\{1, \ldots, m\}$ | 无 | 均匀分布 | +| $\{0, 1, 2, \ldots\}$ | $E[X]$ | 几何分布 | +| $[a, b]$ | 无 | 均匀分布 | +| $[0, \infty)$ | $E[X]$ | 指数分布 | +| $(0, \infty)$ | $E[X]$,$E[\log X]$ | 伽马分布 | +| $(0, \infty)$ | $E[\log X]$,$E[(\log X)^2]$ | 对数正态分布 | +| $(0, 1)$ | $E[\log X]$,$E[\log(1 - X)]$ | 贝塔分布 | +| $\mathbb{R}$ | $E[\lvert X \rvert]$ | 拉普拉斯分布 | +| $\mathbb{R}$ | $E[X]$,$E[X^2]$ | 正态分布 | +| $\mathbb{R}^m$ | $E[X]$,$E[X X^\top]$ | 多元正态分布 | + +最后一行意味着,在 $\mathbb{R}^m$ 上所有具有给定均值向量和协方差矩阵 $\Sigma$ 的密度中,多元正态密度具有最大的熵 $\frac{1}{2} \log \det(2 \pi e \Sigma)$。 + +对数正态分布那一行,是把正态分布那一行应用于 $\log X$ 而得:在 $(0, \infty)$ 上正比于 $\exp(\theta_1 \log x + \theta_2 (\log x)^2)$ 的密度就是一个对数正态密度。 + +{ref}`ef_ex_gamma` 要求你推导出伽马分布的情形。 + +## 指数族 + +### 定义 + +若一族密度(或概率质量函数)可以写成以下形式,则称其为 **指数族**(exponential family): + +$$ +p(x; \theta) = h(x) \exp\left( \theta \cdot t(x) - F(\theta) \right), +\qquad +F(\theta) = \log \int h(x) \exp\left( \theta \cdot t(x) \right) dx , +$$ (ef_family) + +当 $x$ 为离散时,积分替换为求和,其中 + +* $t(x) \in \mathbb{R}^d$ 是 **充分统计量**(sufficient statistic), +* $\theta \in \mathbb{R}^d$ 是 **自然参数**(natural parameter), +* $h(x) \geq 0$ 是 **基测度**(base measure), +* $F(\theta)$ 是 **对数配分函数**(log-partition function),也称为累积量函数。 + +自然参数取值于使定义 $F$ 的积分有限的 $\theta$ 构成的集合 $\Theta$。 + +在上文的最大熵问题中,$h$ 为常数;在函数 `tilt` 中,基准分布 $q$ 就是基测度 $h$。 + +当我们相对于一个非均匀的基准分布求熵的最大化时,就会出现非常数的 $h$,这是 {doc}`information_projections` 要讨论的问题。 + +我们假设该表示是 **极小的**(minimal):在 $h(x) > 0$ 的集合上,不存在非平凡的线性组合 $a \cdot t(x)$ 为常数。 + +于是不同的 $\theta$ 给出不同的分布。 + +我们还假设 $\Theta$ 是一个开集,这在本讲座中的每个族都是如此。 + +下面是一些以这种方式写出的我们熟悉的族。 + +| 分布族 | $t(x)$ | $\theta$ | $F(\theta)$ | +|---|---|---|---| +| 伯努利($\pi$) | $x$ | $\log \frac{\pi}{1 - \pi}$ | $\log(1 + e^{\theta})$ | +| 泊松($\lambda$) | $x$ | $\log \lambda$ | $e^{\theta}$ | +| 指数($\lambda$) | $x$ | $-\lambda$ | $-\log(-\theta)$ | +| $N(\mu, \sigma^2)$ | $(x, x^2)$ | $\left(\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2}\right)$ | $-\frac{\theta_1^2}{4 \theta_2} + \frac{1}{2}\log\left(-\frac{\pi}{\theta_2}\right)$ | +| 贝塔($a$, $b$) | $(\log x, \log(1 - x))$ | $(a - 1, b - 1)$ | $\log B(\theta_1 + 1, \theta_2 + 1)$ | +| 类别分布($\pi$) | $(1_{x = 1}, \ldots, 1_{x = K - 1})$ | $\left(\log \frac{\pi_k}{\pi_K}\right)_{k < K}$ | $\log\left(1 + \sum_{k < K} e^{\theta_k}\right)$ | + +每一行中都有 $h(x) = 1$,泊松那一行除外,其中 $h(x) = 1/x!$。 + +在伯努利和类别分布那两行中,$\pi$ 是一个概率或概率向量;在正态分布那一行中,它是 $3.14159\ldots$。 + +在贝塔分布那一行中,$B$ 是贝塔函数。 + +在 $\{1, \ldots, K\}$ 上的类别分布只使用了 $K - 1$ 个指示函数,因为全部 $K$ 个指示函数之和为一;若使用全部 $K$ 个,表示就不是极小的了。 + +多元正态分布 $N(\mu, \Sigma)$ 是一个指数族,其中 $t(x) = (x, x x^\top)$,自然参数为 $(\Sigma^{-1}\mu, -\frac{1}{2}\Sigma^{-1})$,其中配对关系为 $\theta \cdot t(x) = \theta_1 \cdot x + x^\top \Theta_2 x$,$\Theta_2$ 为对称矩阵。 + +由于 $x_i x_j = x_j x_i$,极小表示只保留 $x x^\top$ 中在对角线上及对角线以上的元素。 + +形如 {eq}`ef_family` 的一个族,包含其任意两个成员的每一个归一化几何混合:正比于 $p(x; \theta_0)^{1 - a} p(x; \theta_1)^a$ 的分布,其自然参数为 $(1 - a)\theta_0 + a \theta_1$,对于每个 $a \in [0, 1]$ 以及任何使该参数落在 $\Theta$ 中的其他 $a$ 都成立。 + +续篇 {doc}`information_projections` 以此事实为基础建立了一种几何结构。 + +对数配分函数决定了其余的一切。 + +### 对数配分函数生成矩 + +对 $F(\theta) = \log \int h(x) \exp(\theta \cdot t(x)) \, dx$ 求导: + +$$ +\nabla F(\theta) = \frac{\int t(x) h(x) \exp(\theta \cdot t(x)) \, dx}{\int h(x) \exp(\theta \cdot t(x)) \, dx} = E_\theta [t(X)] . +$$ (ef_gradient) + +再求一次导得 + +$$ +\nabla^2 F(\theta) = E_\theta\left[ t(X) t(X)^\top \right] - E_\theta[t(X)] \, E_\theta[t(X)]^\top = \operatorname{Cov}_\theta [t(X)] . +$$ (ef_hessian) + +函数 $F$ 是凸的,因为协方差矩阵是半正定的;极小性使得 $\operatorname{Cov}_\theta[t(X)]$ 是正定的,因此 $F$ 是严格凸的。 + +更一般地,$\log E_\theta \exp(s \cdot t(X)) = F(\theta + s) - F(\theta)$,因此 $F$ 的各阶导数就是 $t(X)$ 的各阶累积量。 + +让我们对泊松族和正态族验证 {eq}`ef_gradient` 和 {eq}`ef_hessian`,将 $F$ 的有限差分导数与通过求和及积分计算出的矩进行比较。 + +```{code-cell} ipython3 +def F_poisson(θ): + return np.exp(θ) + + +def F_normal(θ): + θ1, θ2 = θ + return -θ1**2 / (4 * θ2) + 0.5 * np.log(-np.pi / θ2) + + +def normal_θ(μ, σ): + return np.array([μ / σ**2, -1 / (2 * σ**2)]) + + +def gradient(F, θ, h=1e-5): + θ = np.atleast_1d(np.asarray(θ, dtype=float)) + e = np.eye(θ.size) * h + return np.array([np.squeeze(F(θ + e[i]) - F(θ - e[i])) / (2 * h) + for i in range(θ.size)]) + + +def hessian(F, θ, h=1e-4): + θ = np.atleast_1d(np.asarray(θ, dtype=float)) + e = np.eye(θ.size) * h + return np.array([(gradient(F, θ + e[i]) - gradient(F, θ - e[i])) / (2 * h) + for i in range(θ.size)]) + + +λ = 3.0 +k = np.arange(100) +pk = poisson.pmf(k, λ) +print("Poisson: F'(θ), F''(θ) =", + np.round([gradient(F_poisson, np.log(λ))[0], + hessian(F_poisson, np.log(λ))[0, 0]], 6), + " mean, variance =", np.round([pk @ k, pk @ k**2 - (pk @ k)**2], 6)) + +μ, σ = 0.5, 1.2 +moments = [integrate.quad(lambda x: x**j * norm.pdf(x, μ, σ), -15, 15)[0] + for j in range(1, 5)] +mean_t = np.array(moments[:2]) +cov_t = np.array([[moments[1] - moments[0]**2, + moments[2] - moments[0] * moments[1]], + [moments[2] - moments[0] * moments[1], + moments[3] - moments[1]**2]]) +print("\nnormal: ∇F(θ) =", np.round(gradient(F_normal, normal_θ(μ, σ)), 6), + " E[t] =", np.round(mean_t, 6)) +print("∇²F(θ) =\n", np.round(hessian(F_normal, normal_θ(μ, σ)), 4)) +print("Cov[t] =\n", np.round(cov_t, 4)) +``` + +## 两套坐标系统 + +### 期望参数 + +由 {eq}`ef_gradient` 可知,映射 $\theta \mapsto \eta = \nabla F(\theta) = E_\theta[t(X)]$ 把每个自然参数送到充分统计量均值构成的向量。 + +这个映射是一一对应的,因为 $F$ 是严格凸的。 + +对本讲座中的各族而言,其值域是 $t(X)$ 可能取值的凸包的内部:伯努利分布的均值严格介于 $0$ 和 $1$ 之间,泊松分布的均值为正,依此类推。 + +我们可以用自然参数 $\theta$ 或 **期望参数**(expectation parameter)$\eta$ 来标注该族的每一个成员。 + +对正态族而言,$\eta = (\mu, \mu^2 + \sigma^2)$;对泊松族而言,$\eta = \lambda$;对伯努利族而言,$\eta = \pi$。 + +最大熵问题固定了期望参数 $\eta = c$;它的解给出自然参数 $\theta$。 + +### 勒让德对偶性 + +从 $\eta$ 返回到 $\theta$ 的映射是另一个凸函数的梯度。 + +$F$ 的 **凸共轭**(convex conjugate),即勒让德变换,为 + +$$ +F^*(\eta) = \sup_\theta \left\{ \theta \cdot \eta - F(\theta) \right\} . +$$ (ef_conjugate) + +对于 $\nabla F$ 值域中的 $\eta$,上确界在 $\eta = \nabla F(\theta)$ 处取得,因此 + +$$ +F(\theta) + F^*(\eta) = \theta \cdot \eta +\quad \text{当 } \eta = \nabla F(\theta) \text{ 时} , +$$ (ef_fenchel) + +并且,根据包络定理,$\nabla F^*(\eta) = \theta$。 + +两个梯度映射 $\nabla F$ 和 $\nabla F^*$ 互为反函数,它们的雅可比矩阵互为逆矩阵: + +$$ +\nabla^2 F^*(\eta) = \left[ \nabla^2 F(\theta) \right]^{-1} . +$$ + +由于 $F$ 是凸的,再施加一次变换就回到 $F$: + +$$ +F(\theta) = \max_\eta \left\{ \theta \cdot \eta - F^*(\eta) \right\} . +$$ + +经济学家在利润函数与生产函数之间使用同样的对偶性。 + +在 {doc}`houthakker_aggregation` 中,行业利润函数为 $\Pi(p) = \max_X \{ f(X) - p \cdot X \}$,其中 $X$ 是投入品向量,$p$ 是它们价格的向量,$f$ 是总生产函数(该讲座称之为 $F$)。 + +令 $\theta = -p$,可得 $\Pi(-\theta) = \max_X \{ \theta \cdot X - (-f(X)) \}$,其形式与上面最后一个式子相同。 + +对应关系为 + +* 对数配分函数 $F$ $\leftrightarrow$ 利润函数 $\Pi$, +* 自然参数 $\theta$ $\leftrightarrow$ 负投入品价格 $-p$, +* 期望参数 $\eta$ $\leftrightarrow$ 投入品数量 $X$, +* 共轭 $F^*$ $\leftrightarrow$ 负生产函数 $-f$。 + +霍特林引理 $\partial \Pi / \partial p_i = -X_i$,对应于 $\nabla F(\theta) = \eta$;从利润函数恢复生产函数,对应于从 $F$ 恢复 $F^*$。 + +### 共轭是负熵 + +在从 $p(\cdot; \theta)$ 中抽取的样本 $X$ 处计算 $\log p(x; \theta) = \log h(x) + \theta \cdot t(x) - F(\theta)$,然后取期望。 + +利用 {eq}`ef_fenchel`, + +$$ +E_\theta \log p(X; \theta) = E_\theta \log h(X) + \theta \cdot \eta - F(\theta) = E_\theta \log h(X) + F^*(\eta) . +$$ + +所以当 $h(x) = 1$(在 $p(x; \theta) > 0$ 之处)时, + +$$ +F^*(\eta) = - H(p(\cdot; \theta)) , +$$ (ef_negentropy) + +于是 *对数配分函数的共轭,是用期望参数表示的熵的相反数。* + +一般地,$H(p(\cdot; \theta)) = -F^*(\eta) - E_\theta \log h(X)$。 + +{ref}`ef_ex_poisson` 推导了泊松分布的情形,其中 $h(x) = 1/x!$。 + +对伯努利族而言,$h = 1$,$F(\theta) = \log(1 + e^\theta)$,$F^*(\eta) = \eta \log \eta + (1 - \eta) \log (1 - \eta)$。 + +在下图左侧面板中,斜率为 $\eta$ 的 $F$ 的切线与纵轴相交于 $-F^*(\eta)$。 + +在右侧面板中,$F^*$ 在 $\eta$ 处的切线斜率为 $\theta$。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Bernoulli log-partition function and its conjugate + name: fig-ef-legendre +--- +def F_bern(θ): + return np.log1p(np.exp(θ)) + + +def F_star_bern(η): + return η * np.log(η) + (1 - η) * np.log(1 - η) + + +θ0 = 2.0 +η0 = 1 / (1 + np.exp(-θ0)) + +θ_vals = np.linspace(-4, 4, 200) +η_vals = np.linspace(0.001, 0.999, 200) + +fig, axes = plt.subplots(1, 2, figsize=(10, 4)) +ax = axes[0] +ax.plot(θ_vals, F_bern(θ_vals), lw=2, label=r"$F(\theta)$") +ax.plot(θ_vals, -F_star_bern(η0) + η0 * θ_vals, "--", + label=rf"tangent line with slope $\eta$ = {η0:.2f}") +ax.plot([0], [-F_star_bern(η0)], "ko") +ax.annotate(r"$-F^*(\eta)$", (0, -F_star_bern(η0)), + xytext=(8, -14), textcoords="offset points") +ax.plot([θ0], [F_bern(θ0)], "o", color="C1") +ax.axvline(0, color="0.7", lw=0.8) +ax.set_xlabel(r"$\theta$") +ax.legend() + +ax = axes[1] +ax.plot(η_vals, F_star_bern(η_vals), lw=2, label=r"$F^*(\eta) = -H$") +ax.plot(η_vals, F_star_bern(η0) + θ0 * (η_vals - η0), "--", + label=rf"tangent line with slope $\theta$ = {θ0:.2f}") +ax.plot([η0], [F_star_bern(η0)], "o", color="C1") +ax.set_xlabel(r"$\eta$") +ax.legend() +plt.tight_layout() +plt.show() +``` + +*最大熵问题的拉格朗日乘子,就是矩约束的影子价格。* + +由 {eq}`ef_negentropy`,最大化的熵为 $H(p^*) = -F^*(c)$,因此根据包络定理 $\partial H(p^*) / \partial c = -\nabla F^*(c) = -\theta$。 + +乘子 $\theta_j$ 是约束均值 $c_j$ 上升时熵下降的速率。 + +对杰恩斯的骰子问题而言,在 $c = 4.5$ 处 $\theta > 0$,因为把均值进一步推离 $3.5$ 需要一个更不均匀的分布。 + +### 逻辑选择概率 + +对数配分函数与熵之间的对偶性,是使用离散选择多项逻辑模型的经济学家所熟悉的。 + +一个决策者在 $K$ 个备选项中选择一个,各备选项的效用为 $v_1, \ldots, v_K$,再加上独立的第一型极值(Gumbel)冲击,尺度参数为 $\tau$。 + +各选项的选择概率为 + +$$ +\pi_k = \frac{\exp(v_k / \tau)}{\sum_j \exp(v_j / \tau)} , +$$ + +期望最大化效用为 $\tau \log \sum_j \exp(v_j / \tau) + \tau \gamma$,其中 $\gamma \approx 0.5772$ 是欧拉常数。 + +去掉常数 $\tau \gamma$ 后,剩下的就是 **包容值**(inclusive value)$\tau \log \sum_j \exp(v_j / \tau)$。 + +包容值是 $\tau$ 乘以在 $\theta = v / \tau$ 处计算的 $\log \sum_j e^{\theta_j}$。 + +函数 $\theta \mapsto \log \sum_j e^{\theta_j}$ 是类别族的对数配分函数,其中以全部 $K$ 个指示函数 $1_{x = k}$ 作为充分统计量。 + +那种表示并不是极小的,因为这些指示函数之和为一。 + +把同一常数加到每个 $v_k$ 上不会改变选择概率。 + +方程 {eq}`ef_gradient` 依然成立,因此包容值相对于 $v$ 的梯度就是选择概率向量。 + +离散选择理论家把这一事实称为威廉斯-达利-扎卡里定理(Williams–Daly–Zachary theorem)。 + +它适用于任何加性随机效用模型;逻辑模型是具有 Gumbel 冲击的特例。 + +由于 $\theta \mapsto \log \sum_j e^{\theta_j}$ 的共轭,是概率单纯形上的负熵,因此 + +$$ +\tau \log \sum_j \exp(v_j / \tau) = \max_{\pi} \left\{ \sum_k \pi_k v_k + \tau H(\pi) \right\} , +$$ (ef_logit) + +其中最大化是在概率向量 $\pi$ 上进行的,并在逻辑概率处取得。 + +{cite:t}`AndersonDePalmaThisse1988` 将 {eq}`ef_logit` 解释为一个代表性消费者的间接效用,该消费者的消费份额就是逻辑概率。 + +更一般地,对任何满足 $q_k > 0$(对所有 $k$)的基准分布 $q$, + +$$ +\tau \log \sum_k q_k \exp(v_k / \tau) = \max_{\pi} \left\{ \sum_k \pi_k v_k - \tau D_{KL}(\pi \| q) \right\} , +$$ (ef_logit_base) + +最大值在 $\pi^*_k \propto q_k \exp(v_k / \tau)$ 处取得。 + +为验证 {eq}`ef_logit_base`,展开 $D_{KL}(\pi \| \pi^*)$,可发现对每一个概率向量 $\pi$,都有 + +$$ +\sum_k \pi_k v_k - \tau D_{KL}(\pi \| q) = \tau \log \sum_k q_k \exp(v_k / \tau) - \tau D_{KL}(\pi \| \pi^*) , +$$ + +最后一项仅当 $\pi = \pi^*$ 时为零。 + +当 $q$ 为均匀分布时,$D_{KL}(\pi \| q) = \log K - H(\pi)$,此时 {eq}`ef_logit_base` 就是 {eq}`ef_logit` 减去常数 $\tau \log K$。 + +{cite:t}`MattssonWeibull2002` 将 {eq}`ef_logit_base` 解释为一个决策者的问题:该决策者在备选项上选择一个概率分布 $\pi$,并为偏离默认分布 $q$ 而支付代价 $\tau D_{KL}(\pi \| q)$。 + +他们将这种代价称为努力的负效用。 + +最大化者 $\pi^*$ 是 $q$ 的一个指数倾斜。 + +续篇 {doc}`information_projections` 在鲁棒控制的最坏情形模型、更新投入产出表的 RAS 方法,以及 {cite:t}`ChooSiow2006` 婚姻市场模型背后的熵正则化最优传输问题中,发现了同样的倾斜。 + +让我们对 {eq}`ef_logit` 和 {eq}`ef_logit_base` 进行数值验证。 + +```{code-cell} ipython3 +v = np.array([1.0, 2.0, 0.5, 1.5]) +τ = 0.7 +inclusive_value = τ * logsumexp(v / τ) +π_logit = np.exp(v / τ - logsumexp(v / τ)) +print(f"{'inclusive value:':36} {inclusive_value:.6f}") +objective = π_logit @ v + τ * entropy(π_logit) +print(f"{'π·v + τ H(π) at logit π:':36} {objective:.6f}") + +# other probability vectors do worse +best_other = max(π @ v + τ * entropy(π) + for π in rng.dirichlet(np.ones(4), size=10_000)) +print(f"{'best of 10,000 random π:':36} {best_other:.6f}") + +# a nonuniform base distribution +q = np.array([0.1, 0.2, 0.3, 0.4]) +π_q = tilt(q, v / τ, 1.0) +print(f"\n{'τ log Σ q exp(v/τ):':36} {τ * logsumexp(v / τ, b=q):.6f}") +print(f"{'π·v - τ D(π || q) at π ∝ q e^(v/τ):':36} " + f"{π_q @ v - τ * kl(π_q, q):.6f}") +``` + +## 布雷格曼散度与 KL 散度 + +### 布雷格曼散度 + +一个凸函数位于其切线之上。 + +由严格凸函数 $F$ 生成的 **布雷格曼散度**(Bregman divergence)度量的就是其超出的程度: + +$$ +B_F(\theta_1, \theta_2) = F(\theta_1) - F(\theta_2) - \nabla F(\theta_2) \cdot (\theta_1 - \theta_2) \geq 0 . +$$ (ef_bregman) + +它是在 $\theta_1$ 处,$F$ 与在 $\theta_2$ 处的切线之间的竖直缺口,并且仅当 $\theta_1 = \theta_2$ 时才为零。 + +布雷格曼散度一般不是其两个自变量的对称函数。 + +当 $F(\theta) = \frac{1}{2} \lVert \theta \rVert^2$ 时,它就是欧几里得距离平方的一半。 + +### KL 散度是一种布雷格曼散度 + +取指数族的两个成员,其自然参数分别为 $\theta_1$ 和 $\theta_2$,期望参数分别为 $\eta_1$ 和 $\eta_2$。 + +由于 $\log p(x; \theta_1) - \log p(x; \theta_2) = (\theta_1 - \theta_2) \cdot t(x) - F(\theta_1) + F(\theta_2)$,在 $p(\cdot; \theta_1)$ 下取期望得 + +$$ +D_{KL}\left( p_{\theta_1} \| p_{\theta_2} \right) += F(\theta_2) - F(\theta_1) - \eta_1 \cdot (\theta_2 - \theta_1) += B_F(\theta_2, \theta_1) . +$$ (ef_kl_bregman) + +自变量的位置发生了交换:*$p_{\theta_1}$ 相对于 $p_{\theta_2}$ 的 KL 散度,就是 $\theta_2$ 相对于 $\theta_1$ 的布雷格曼散度。* + +利用 {eq}`ef_fenchel` 替换 $F(\theta_1)$,我们还可以写出 + +$$ +D_{KL}\left( p_{\theta_1} \| p_{\theta_2} \right) += F(\theta_2) + F^*(\eta_1) - \theta_2 \cdot \eta_1 += B_{F^*}(\eta_1, \eta_2) , +$$ (ef_kl_dual) + +其中自变量的顺序与 KL 散度中的顺序一致。 + +KL 散度在两种坐标系统中都是一种布雷格曼散度,在自然参数下由 $F$ 生成,在期望参数下由 $F^*$ 生成。 + +让我们对泊松分布和正态分布检验 {eq}`ef_kl_bregman` 和 {eq}`ef_kl_dual`,通过求和与积分直接计算 KL 散度。 + +```{code-cell} ipython3 +def bregman(F, θ1, θ2): + """B_F(θ1, θ2), using a numerical gradient of F at θ2.""" + θ1, θ2 = np.atleast_1d(θ1), np.atleast_1d(θ2) + return np.squeeze(F(θ1) - F(θ2)) - gradient(F, θ2) @ (θ1 - θ2) + + +def F_star_poisson(η): + return η * np.log(η) - η + + +# Poisson +λ1, λ2 = 3.0, 5.0 +k = np.arange(150) +kl_direct = poisson.pmf(k, λ1) @ (poisson.logpmf(k, λ1) - poisson.logpmf(k, λ2)) +print("Poisson") +print(f" direct KL(p1 || p2) = {kl_direct:.6f}") +print(f" B_F(θ2, θ1) = " + f"{bregman(F_poisson, np.log(λ2), np.log(λ1)):.6f}") +print(f" B_F*(η1, η2) = {bregman(F_star_poisson, λ1, λ2):.6f}") +print(f" B_F(θ1, θ2), reversed = " + f"{bregman(F_poisson, np.log(λ1), np.log(λ2)):.6f}") + +# normal +(μ1, σ1), (μ2, σ2) = (0.0, 1.0), (1.0, 2.0) +kl_direct = integrate.quad( + lambda x: norm.pdf(x, μ1, σ1) + * (norm.logpdf(x, μ1, σ1) - norm.logpdf(x, μ2, σ2)), -20, 20)[0] +print("\nnormal") +print(f" direct KL(p1 || p2) = {kl_direct:.6f}") +print(f" B_F(θ2, θ1) = " + f"{bregman(F_normal, normal_θ(μ2, σ2), normal_θ(μ1, σ1)):.6f}") +print(f" B_F(θ1, θ2), reversed = " + f"{bregman(F_normal, normal_θ(μ1, σ1), normal_θ(μ2, σ2)):.6f}") +``` + +对正态族而言,写出 $B_F(\theta_2, \theta_1)$ 的具体形式,可以恢复我们熟悉的公式 + +$$ +D_{KL}\left( N(\mu_1, \sigma_1^2) \| N(\mu_2, \sigma_2^2) \right) += \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} , +$$ (ef_kl_normal) + +当 $\sigma_1 = \sigma_2 = \sigma$ 时,它就化简为我们前面讨论四个正态分布时所用的表达式 $(\mu_1 - \mu_2)^2/(2\sigma^2)$。 + +这个公式的多元版本出现在 {doc}`advanced:entropy` 中。 + +{doc}`approximation_errors` 逐频率地应用 {eq}`ef_kl_normal`,计算两个平稳高斯过程之间的 KL 散度率。 + +### 费希尔信息是 KL 散度的曲率 + +当 $\theta_2$ 接近 $\theta_1$ 时,对 {eq}`ef_kl_bregman` 作二阶泰勒展开得 + +$$ +D_{KL}\left( p_{\theta} \| p_{\theta + \delta} \right) \approx \frac{1}{2} \, \delta^\top \nabla^2 F(\theta) \, \delta . +$$ + +对指数族而言,$\nabla^2 F(\theta)$ 就是 **费希尔信息矩阵**(Fisher information matrix)$I(\theta) = \operatorname{Cov}_\theta[\nabla_\theta \log p(X; \theta)]$,因为得分函数 $\nabla_\theta \log p(X; \theta) = t(X) - \nabla F(\theta)$ 的协方差矩阵为 $\operatorname{Cov}_\theta[t(X)] = \nabla^2 F(\theta)$。 + +*费希尔信息矩阵衡量相邻分布变得可区分的速度。* + +这解释了我们一开始提到的四个正态分布的现象。 + +在 $\sigma$ 固定的情形下,$\mu$ 的费希尔信息为 $1/\sigma^2$,因此 $\mu$ 变化一个单位使分布移动 $\frac{1}{2} \cdot 1^2 / \sigma^2$,当 $\sigma = 0.2$ 时为 $12.5$,当 $\sigma = 2$ 时为 $0.125$。 + +对于均值单独变化的情形,这个二次公式是精确的。 + +在期望参数下,费希尔信息矩阵为 $\nabla^2 F^*(\eta) = I(\theta)^{-1}$。 + +如果 $\theta$ 是另一个参数 $\xi$ 的函数,雅可比矩阵为 $J = \partial \theta / \partial \xi$,则 $\xi$ 的费希尔信息矩阵为 $J^\top I(\theta) J$;当 $\xi = \eta$ 时,$J = \nabla^2 F^*(\eta)$,于是 $J^\top I(\theta) J = I(\theta)^{-1}$。 + +两种坐标系统下的二次近似,在位移量较小时二阶一致,而在位移量较大时则有所不同。 + +{doc}`specification_tests` 表明,无关选项独立性检验的似然比统计量、拉格朗日乘子统计量和豪斯曼统计量都是 $2m$ 倍的一个 KL 散度,以及在三种坐标系中这类二次近似。 + +下图展示了泊松族的这一情形,将 $D_{KL}(p_{\lambda_0} \| p_\lambda)$ 与它在自然参数下的二次近似 $\frac{1}{2} \lambda_0 (\log \lambda - \log \lambda_0)^2$ 以及在期望参数下的二次近似 $\frac{1}{2} (\lambda - \lambda_0)^2 / \lambda_0$ 进行比较。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Poisson KL divergence and quadratic approximations + name: fig-ef-fisher +--- +λ0 = 4.0 +λ_vals = np.linspace(1, 10, 200) +kl_vals = λ0 * np.log(λ0 / λ_vals) + λ_vals - λ0 + +fig, ax = plt.subplots() +ax.plot(λ_vals, kl_vals, lw=3, label=r"$D_{KL}(p_{\lambda_0} \| p_\lambda)$") +ax.plot(λ_vals, 0.5 * λ0 * np.log(λ_vals / λ0)**2, "--", + label="quadratic in natural parameter") +ax.plot(λ_vals, 0.5 * (λ_vals - λ0)**2 / λ0, ":", + label="quadratic in expectation parameter") +ax.set_xlabel(r"$\lambda$") +ax.set_ylim(0, 2.5) +ax.legend(loc="upper center") +plt.show() +``` + +在 $\lambda_0$ 附近,三条曲线重合;离得越远,它们就越分离。 + +## 估计 + +### 最大似然匹配矩 + +设 $x_1, \ldots, x_n$ 是来自指数族某个成员的独立同分布样本。 + +平均对数似然为 + +$$ +\frac{1}{n} \sum_{i=1}^n \log p(x_i; \theta) = \theta \cdot \bar t - F(\theta) + \frac{1}{n} \sum_{i=1}^n \log h(x_i), +\qquad +\bar t = \frac{1}{n} \sum_{i=1}^n t(x_i) . +$$ + +统计量 $t$ 是充分的:除了不涉及 $\theta$ 的最后一项外,似然函数仅通过 $\bar t$ 依赖于数据。 + +平均对数似然是 $\theta$ 的一个凹函数,其一阶条件为 $\nabla F(\hat \theta) = \bar t$。 + +*期望参数的最大似然估计量,是充分统计量的样本平均*,即 $\hat \eta = \bar t$。 + +自然参数的最大似然估计量为 $\hat \theta = \nabla F^*(\bar t)$,前提是 $\bar t$ 位于 $\nabla F$ 的值域中。 + +当它不在值域中时,比如在一个没有成功事件的伯努利样本中,$\hat \theta$ 不存在(参见 {ref}`ef_ex_bernoulli`)。 + +由 {eq}`ef_fenchel`,最大化后的平均对数似然为 $F^*(\bar t)$ 加上 $\log h(x_i)$ 的平均值。 + +在期望参数下,最大似然估计是简单的;在自然参数下,则需要对 $\nabla F$ 求逆。 + +对伽马族和贝塔族而言,对 $\nabla F$ 求逆需要用数值方法,比如我们上面使用的牛顿迭代法。 + +### 两种估计量的有限样本性质 + +两种坐标系统下的最大似然估计量,在有限样本中的表现不同。 + +估计量 $\hat \eta = \bar t$ 是无偏的,因为它是一个样本平均;它的协方差矩阵为 $\operatorname{Cov}_\theta[t(X)]/n = \nabla^2 F(\theta)/n$。 + +$\eta$ 的费希尔信息矩阵为 $\nabla^2 F^*(\eta)$,因此 $\eta$ 的无偏估计量的克拉美-罗下界(Cramér–Rao lower bound)为 $\left[\nabla^2 F^*(\eta)\right]^{-1}/n = \nabla^2 F(\theta)/n$。 + +*在期望参数下,最大似然估计量是无偏的,并且在任何样本量下都恰好达到克拉美-罗下界。* + +自然参数的估计量 $\hat \theta = \nabla F^*(\bar t)$ 是 $\bar t$ 的一个非线性函数,在有限样本中是有偏的;对正态族而言,当 $n > 3$ 时 $E \hat \theta = n \theta / (n - 3)$。 + +克拉美-罗下界只适用于无偏估计量,因此对于有偏的 $\hat \theta$,我们把 $I(\theta)^{-1}/n$ 当作一个基准。 + +在指数族中,一个无偏估计量能够在有限样本中达到克拉美-罗下界,当且仅当它所估计的量是 $\eta$ 的仿射函数。 + +自然参数 $\theta = \nabla F^*(\eta)$ 仅当 $F$ 为二次函数时才是 $\eta$ 的仿射函数,例如方差已知的正态族。 + +对于均值与方差都未知的正态族,$\theta_1 = \eta_1 / (\eta_2 - \eta_1^2)$ 和 $\theta_2 = -1/(2(\eta_2 - \eta_1^2))$ 都不是 $\eta$ 的仿射函数,因此两者都没有无偏估计量能达到这一下界。 + +对正态族而言,当 $n \to \infty$ 时,$\hat \theta$ 的偏差消失,$n$ 倍其协方差矩阵收敛到 $I(\theta)^{-1}$。 + +一般而言,渐近理论描述的是 $\hat \theta$ 的分布,而其有限样本矩未必存在,正如 {ref}`ef_ex_bernoulli` 所示。 + +下面的模拟对均值 $\mu = 1$、$\sigma = 1.5$ 的正态族说明了这些事实,使用样本量 $n = 30$ 的样本。 + +椭圆圈出了以真实参数为中心的正态分布 95% 的概率,左图的协方差矩阵为 $\nabla^2 F(\theta)/n = I(\theta)/n$,右图为 $I(\theta)^{-1}/n$。 + +```{code-cell} ipython3 +def ellipse(center, cov, level=chi2.ppf(0.95, 2), n_points=200): + """Points on the ellipse (z - center)' cov^{-1} (z - center) = level.""" + angles = np.linspace(0, 2 * np.pi, n_points) + circle = np.vstack([np.cos(angles), np.sin(angles)]) + return center[:, None] + np.linalg.cholesky(level * cov) @ circle + + +μ, σ, n, R = 1.0, 1.5, 30, 20_000 +θ_true = normal_θ(μ, σ) +η_true = np.array([μ, μ**2 + σ**2]) +I_θ = hessian(F_normal, θ_true) # Fisher information for θ + +samples = rng.normal(μ, σ, size=(R, n)) +η_hat = np.column_stack([samples.mean(axis=1), (samples**2).mean(axis=1)]) +σ2_hat = η_hat[:, 1] - η_hat[:, 0]**2 +θ_hat = np.column_stack([η_hat[:, 0] / σ2_hat, -1 / (2 * σ2_hat)]) + +print("expectation parameters") +print(" bias:", np.round(η_hat.mean(axis=0) - η_true, 4)) +print(" n × sample covariance:\n", np.round(n * np.cov(η_hat.T), 3)) +print(" n × Cramér–Rao bound = ∇²F(θ):\n", np.round(I_θ, 3)) +print("natural parameters") +print(" bias:", np.round(θ_hat.mean(axis=0) - θ_true, 4)) +print(" n × sample covariance:\n", np.round(n * np.cov(θ_hat.T), 3)) +print(" n × benchmark = I(θ)^{-1}:\n", np.round(np.linalg.inv(I_θ), 3)) +print(f" E θ̂ = nθ/(n-3):", np.round(n * θ_true / (n - 3), 4), + " mean of θ̂:", np.round(θ_hat.mean(axis=0), 4)) +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Maximum likelihood estimates in both parameterizations + name: fig-ef-cramer-rao +--- +fig, axes = plt.subplots(1, 2, figsize=(10, 4.5)) +panels = ((axes[0], η_hat, η_true, I_θ / n, + (r"$\hat\eta_1$", r"$\hat\eta_2$"), "expectation parameters", + "Cramér–Rao ellipse", "lower right"), + (axes[1], θ_hat, θ_true, np.linalg.inv(I_θ) / n, + (r"$\hat\theta_1$", r"$\hat\theta_2$"), "natural parameters", + r"ellipse from $I(\theta)^{-1}/n$", "lower left")) +for ax, est, truth, cov, labels, title, ell_label, loc in panels: + ax.scatter(*est[:1000].T, s=3, alpha=0.3) + ax.plot(*ellipse(truth, cov), "k", lw=1.5, label=ell_label) + ax.plot(*truth, "r+", ms=14, mew=2, label="true value") + ax.plot(*est.mean(axis=0), "kx", ms=10, mew=2, label="mean of estimates") + ax.set_xlabel(labels[0]) + ax.set_ylabel(labels[1]) + ax.set_title(title) + ax.legend(loc=loc) +plt.tight_layout() +plt.show() +``` + +在期望参数下,估计值云团以真实值为中心,并且其协方差矩阵在模拟误差范围内等于克拉美-罗下界。 + +在自然参数下,估计值云团是偏斜的,其均值因偏差 $3\theta/(n - 3)$ 而偏离真实值,并且其协方差矩阵大于基准 $I(\theta)^{-1}/n$,只有当 $n$ 增大时才会逼近它。 + +## 结束语 + +对于指数族,一个凸函数 $F$ 提供了四个事实: + +* 它的梯度把自然参数 $\theta$ 映射到期望参数 $\eta$,它的共轭 $F^*$ 的梯度则把它们映射回来; +* 它的海森矩阵是充分统计量的协方差矩阵以及费希尔信息矩阵; +* 当基测度为常数时,它的共轭是熵的相反数; +* $F$ 和 $F^*$ 的布雷格曼散度就是 KL 散度。 + +指数族的成员解决了最大熵问题。 + +在具有给定均值和方差的所有密度中,正态密度使熵最大化。 + +最大熵问题的拉格朗日乘子,就是自然参数和影子价格。 + +逻辑模型的包容值是一个对数配分函数,它的共轭是负熵。 + +续篇 {doc}`information_projections` 利用这些事实来描述 KL 散度的几何结构。 + +## 练习 + +```{exercise} +:label: ef_ex_gamma + +考虑 $(0, \infty)$ 上的密度。 + +1. 证明在给定 $E[X]$ 和 $E[\log X]$ 的值的约束下,使熵最大化的密度是伽马密度,并把伽马族写成 {eq}`ef_family` 的形式。 +2. 计算对数配分函数 $F$,并用 {eq}`ef_gradient` 把 $E[X]$ 和 $E[\log X]$ 用形状参数和速率参数表示出来。 +3. 从形状参数为 $2.5$、速率参数为 $1.5$ 的伽马分布中抽取 500 个观测值,并通过匹配 $X$ 和 $\log X$ 的样本均值来计算最大似然估计量,使用牛顿法及海森矩阵 {eq}`ef_hessian`。将你的估计结果与 `scipy.stats.gamma.fit`(位置参数固定为零)的结果进行比较。 +``` + +```{solution-start} ef_ex_gamma +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,导出 {eq}`ef_maxent_solution` 的论证给出了一个正比于 $\exp(\theta_1 x + \theta_2 \log x) = x^{\theta_2} e^{\theta_1 x}$ 的密度,当 $\theta_1 < 0$ 且 $\theta_2 > -1$ 时它在 $(0, \infty)$ 上可积。 + +这正是形状参数为 $a = \theta_2 + 1$、速率参数为 $b = -\theta_1$ 的伽马密度: + +$$ +p(x; a, b) = \frac{b^a}{\Gamma(a)} x^{a - 1} e^{-b x} . +$$ + +所以 $t(x) = (x, \log x)$,$\theta = (-b, a - 1)$,$h(x) = 1$。 + +对于第 2 部分, + +$$ +F(\theta) = \log \int_0^\infty x^{\theta_2} e^{\theta_1 x} dx = \log \Gamma(\theta_2 + 1) - (\theta_2 + 1) \log(-\theta_1) . +$$ + +求导得 + +$$ +E[X] = \frac{\partial F}{\partial \theta_1} = \frac{\theta_2 + 1}{-\theta_1} = \frac{a}{b}, +\qquad +E[\log X] = \frac{\partial F}{\partial \theta_2} = \psi(a) - \log b , +$$ + +其中 $\psi$ 是 digamma 函数。 + +海森矩阵为 + +$$ +\nabla^2 F(\theta) = \begin{bmatrix} a/b^2 & 1/b \\ 1/b & \psi'(a) \end{bmatrix} . +$$ + +对于第 3 部分,我们对 $\nabla F(\theta) = \bar t$ 应用牛顿法。 + +我们从矩方法估计值出发,并在某次牛顿步会越出 $\Theta$($a > 0$ 且 $b > 0$)时缩短该步长。 + +```{code-cell} ipython3 +def gamma_mle(x, tol=1e-10, max_iter=100): + """Match the sample means of x and log x by Newton's method in θ.""" + t_bar = np.array([x.mean(), np.log(x).mean()]) + a = x.mean()**2 / x.var() # method-of-moments starting values + b = a / x.mean() + for _ in range(max_iter): + grad_F = np.array([a / b, digamma(a) - np.log(b)]) + hess_F = np.array([[a / b**2, 1 / b], + [1 / b, polygamma(1, a)]]) + step = np.linalg.solve(hess_F, t_bar - grad_F) # step in (-b, a - 1) + s = 1.0 + while b - s * step[0] <= 0 or a + s * step[1] <= 0: + s /= 2 # stay inside Θ + b, a = b - s * step[0], a + s * step[1] + if max(abs(s * step[0]) / b, abs(s * step[1]) / a) < tol: + break + else: + raise RuntimeError("no convergence") + return a, b + + +rng_gamma = np.random.default_rng(6) +x = rng_gamma.gamma(shape=2.5, scale=1 / 1.5, size=500) +a_hat, b_hat = gamma_mle(x) +a_sp, _, scale_sp = gamma_dist.fit(x, floc=0) +print(f"moment matching: shape = {a_hat:.5f}, rate = {b_hat:.5f}") +print(f"scipy fit: shape = {a_sp:.5f}, rate = {1 / scale_sp:.5f}") +``` + +两组估计结果一致。 + +```{solution-end} +``` + +```{exercise} +:label: ef_ex_poisson + +泊松族具有非常数的基测度 $h(x) = 1/x!$。 + +1. 用 {eq}`ef_conjugate` 证明 $F^*(\eta) = \eta \log \eta - \eta$,并检验 $\nabla F^*$ 是 $\nabla F$ 的反函数。 +2. 证明泊松($\lambda$)分布的熵为 $H = \lambda - \lambda \log \lambda + E[\log X!]$,从而 $H = -F^*(\lambda) - E \log h(X)$,且 $F^* \neq -H$。对 $\lambda \in \{0.5, 3, 20\}$ 通过直接计算 $-\sum_x p(x) \log p(x)$ 在数值上检验该公式。 +3. 用 {eq}`ef_kl_dual` 推导 $D_{KL}(\text{泊松}(\lambda_1) \| \text{泊松}(\lambda_2))$ 的闭式解,并与直接求和的结果进行比较。 +``` + +```{solution-start} ef_ex_poisson +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,$F(\theta) = e^\theta$,因此 $\sup_\theta \{\theta \eta - e^\theta\}$ 的一阶条件为 $\eta = e^\theta$,即 $\theta = \log \eta$。 + +代入得 $F^*(\eta) = \eta \log \eta - \eta$。 + +于是 $\nabla F^*(\eta) = \log \eta$,这正好是 $\nabla F(\theta) = e^\theta$ 的反函数。 + +对于第 2 部分,$\log p(x) = \theta x - e^\theta - \log x!$,其中 $\theta = \log \lambda$,因此 + +$$ +H = -E \log p(X) = -\lambda \log \lambda + \lambda + E[\log X!] = -F^*(\lambda) - E \log h(X) . +$$ + +由于只要 $\lambda > 0$ 就有 $E[\log X!] > 0$,所以 $-F^*(\lambda)$ 比 $H$ 小,如下表最后一列所示。 + +```{code-cell} ipython3 +k = np.arange(300) +print(f"{'λ':>5} {'direct H':>10} {'formula':>10} {'-F*(λ)':>10}") +for λ in (0.5, 3.0, 20.0): + p = poisson.pmf(k, λ) + H_direct = -p @ poisson.logpmf(k, λ) + H_formula = λ - λ * np.log(λ) + p @ gammaln(k + 1) + print(f"{λ:5.1f} {H_direct:10.6f} {H_formula:10.6f} " + f"{-F_star_poisson(λ):10.6f}") +``` + +对于第 3 部分,{eq}`ef_kl_dual` 给出 + +$$ +D_{KL}(p_{\lambda_1} \| p_{\lambda_2}) += F^*(\lambda_1) - F^*(\lambda_2) - \log \lambda_2 \, (\lambda_1 - \lambda_2) += \lambda_1 \log \frac{\lambda_1}{\lambda_2} - \lambda_1 + \lambda_2 , +$$ + +这正是我们用来绘制 {numref}`fig-ef-fisher` 的公式。 + +```{code-cell} ipython3 +λ1, λ2 = 3.0, 5.0 +direct = poisson.pmf(k, λ1) @ (poisson.logpmf(k, λ1) - poisson.logpmf(k, λ2)) +print(f"direct sum: {direct:.8f}") +print(f"closed form: {λ1 * np.log(λ1 / λ2) - λ1 + λ2:.8f}") +``` + +```{solution-end} +``` + +```{exercise} +:label: ef_ex_bernoulli + +对伯努利族重复两种坐标系统的比较。 + +1. 取 $\pi = 0.2$、$n = 25$,模拟大量样本并计算 $\hat \eta = \bar x$ 和 $\hat \theta = \log(\hat \eta / (1 - \hat \eta))$。 +2. 验证 $\hat \eta$ 是无偏的,且其方差等于克拉美-罗下界 $\pi(1 - \pi)/n$。 +3. 有多大比例的样本会产生无穷大的 $\hat \theta$?在 $\hat \theta$ 有限的样本中,比较 $\hat \theta$ 的均值和方差与 $\theta$ 以及基准 $1/(n \pi (1 - \pi))$ 之间的差异。当 $n = 400$ 时,这些比较结果会如何变化? +``` + +```{solution-start} ef_ex_bernoulli +:class: dropdown +``` + +下面给出一种解法。 + +```{code-cell} ipython3 +def bernoulli_experiment(π, n, rng, R=100_000): + η_hat = rng.binomial(n, π, size=R) / n + θ = np.log(π / (1 - π)) + finite = (η_hat > 0) & (η_hat < 1) + θ_hat = np.log(η_hat[finite] / (1 - η_hat[finite])) + print(f"n = {n}") + print(f" η̂: mean {η_hat.mean():.4f} (π = {π}), " + f"variance {η_hat.var():.6f} (bound {π * (1 - π) / n:.6f})") + print(f" fraction with infinite θ̂: {1 - finite.mean():.4f}") + print(f" finite θ̂: mean {θ_hat.mean():.4f} (θ = {θ:.4f}), " + f"variance {θ_hat.var():.4f} " + f"(benchmark {1 / (n * π * (1 - π)):.4f})") + + +rng_bern = np.random.default_rng(2) +bernoulli_experiment(0.2, 25, rng_bern) +bernoulli_experiment(0.2, 400, rng_bern) +``` + +当 $n = 25$ 时,大约 $0.4\%$ 的样本不含任何成功事件。 + +在那些样本中,$\bar x = 0$ 位于 $\nabla F$ 值域(区间 $(0, 1)$)的边界上,因此 $\theta$ 的最大似然估计量不存在;该公式给出 $\hat \theta = -\infty$。 + +在其余样本中,$\hat \theta$ 向下偏,其方差比基准 $1/(n \pi (1 - \pi))$ 高出 20% 以上。 + +当 $n = 400$ 时,无穷大的估计值基本上不再出现,偏差以及方差与基准之间的差距都很小,这与渐近理论的预测一致。 + +与此同时,$\hat \eta$ 在两种样本量下都是无偏的,并且都达到克拉美-罗下界。 + +```{solution-end} +``` + +```{exercise} +:label: ef_ex_conjugate + +贝叶斯法则在自然参数下具有简单的形式。 + +1. 设 $x_1, \ldots, x_n$ 为独立同分布的伯努利($\pi$)抽样,设 $\pi$ 的先验分布为贝塔($a$, $b$)分布。利用上面贝塔分布那一行,把先验写成贝塔族的成员,其自然参数为 $(a - 1, b - 1)$,并证明后验分布也是同一个族的成员,其自然参数为先验的自然参数加上 $\left(\sum_i x_i, \, n - \sum_i x_i\right)$。 +2. 更一般地说,如果对数似然在某些关于参数的函数上是线性的,而先验是以这些函数作为充分统计量的指数族成员,请解释为什么后验也在同一个族中,且贝叶斯法则会把各项加到其自然参数上。 +3. 从 Beta(1, 1) 先验出发,用 $\pi = 0.3$ 的抽样,画出 $\pi$ 的后验均值随 $n$ 变化的图像,并附带两倍后验标准差的区间。在抽取 $n = 200$ 个样本之后,用 {eq}`ef_gradient` 和 {eq}`ef_hessian` 计算 $\log \pi$ 的后验均值和方差,并通过蒙特卡洛方法加以检验。 + +贝塔-伯努利模型出现在 {doc}`exchangeable`、{doc}`likelihood_bayes` 和 {doc}`merging_of_opinions` 中。 +``` + +```{solution-start} ef_ex_conjugate +:class: dropdown +``` + +下面给出一种解法。 + +对于第 1 部分,先验密度正比于 $\pi^{a - 1}(1 - \pi)^{b - 1} = \exp\left( (a - 1) \log \pi + (b - 1) \log(1 - \pi) \right)$。 + +$n$ 次抽样中有 $s = \sum_i x_i$ 次成功,其似然为 $\pi^s (1 - \pi)^{n - s} = \exp\left( s \log \pi + (n - s) \log (1 - \pi) \right)$。 + +相乘后,后验正比于 $\exp\left( (a - 1 + s) \log \pi + (b - 1 + n - s) \log(1 - \pi) \right)$,这是一个 Beta($a + s$, $b + n - s$) 密度。 + +其自然参数为 $(a - 1 + s, b - 1 + n - s)$。 + +对于第 2 部分,贝叶斯法则表明,对数后验等于对数先验加上对数似然,相差一个常数。 + +如果对数似然在参数的某些函数上是线性的(这里就是 $(\log \pi, \log(1 - \pi))$),而对数先验也是这些函数的线性函数,那么对数后验也是这样,其系数会相加。 + +以这些参数函数作为充分统计量的先验族,称为 **共轭**(conjugate)族。 + +这里"共轭"一词的用法,与凸共轭 $F^*$ 无关。 + +对于第 3 部分,$\pi$ 的后验均值为 $(a + s)/(a + b + n)$,后验方差为 $(a + s)(b + n - s) / \left((a + b + n)^2 (a + b + n + 1)\right)$。 + +```{code-cell} ipython3 +rng_bayes = np.random.default_rng(3) +π_true, a0, b0 = 0.3, 1.0, 1.0 +x = rng_bayes.binomial(1, π_true, size=500) +s = np.cumsum(x) +n_vals = np.arange(1, x.size + 1) +a_post, b_post = a0 + s, b0 + n_vals - s + +post_mean = a_post / (a_post + b_post) +post_sd = np.sqrt(a_post * b_post + / ((a_post + b_post)**2 * (a_post + b_post + 1))) +fig, ax = plt.subplots() +ax.plot(n_vals, post_mean, label="posterior mean") +ax.fill_between(n_vals, post_mean - 2 * post_sd, post_mean + 2 * post_sd, + alpha=0.3, label="± 2 posterior standard deviations") +ax.axhline(π_true, color="k", ls="--", lw=1, label=r"true $\pi$") +ax.set_xlabel("$n$") +ax.set_ylim(0, 1) +ax.legend() +plt.show() +``` + +在抽取 $n = 200$ 个样本之后,后验分布为 Beta($a$, $b$),其中 $(a, b) = (a_0 + s, b_0 + 200 - s)$。 + +将 {eq}`ef_gradient` 应用于 $F(\theta) = \log B(\theta_1 + 1, \theta_2 + 1)$ 得 $E[\log \pi] = \psi(a) - \psi(a + b)$,{eq}`ef_hessian` 得 $\operatorname{Var}[\log \pi] = \psi'(a) - \psi'(a + b)$。 + +```{code-cell} ipython3 +a, b = a_post[199], b_post[199] +draws = rng_bayes.beta(a, b, size=200_000) +print(f"E[log π]: formula {digamma(a) - digamma(a + b):.5f}, " + f"Monte Carlo {np.log(draws).mean():.5f}") +print(f"Var[log π]: formula {polygamma(1, a) - polygamma(1, a + b):.5f}, " + f"Monte Carlo {np.log(draws).var():.5f}") +``` + +```{solution-end} +``` \ No newline at end of file From 66cb0e9a4f8560cb14627002db2e3b24426d2355 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:28 +1100 Subject: [PATCH 04/28] Update translation: .translate/state/exponential_families.md.yml --- .translate/state/exponential_families.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/exponential_families.md.yml diff --git a/.translate/state/exponential_families.md.yml b/.translate/state/exponential_families.md.yml new file mode 100644 index 00000000..3990d9c5 --- /dev/null +++ b/.translate/state/exponential_families.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 9 +tool-version: 0.33.0 From 77ec3a88cf26ebc4a29f845deb43057cc859fc6c Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:29 +1100 Subject: [PATCH 05/28] Update translation: lectures/gallant_tauchen.md --- lectures/gallant_tauchen.md | 10 ++++++++-- 1 file changed, 8 insertions(+), 2 deletions(-) diff --git a/lectures/gallant_tauchen.md b/lectures/gallant_tauchen.md index b22c8e78..79b433a7 100644 --- a/lectures/gallant_tauchen.md +++ b/lectures/gallant_tauchen.md @@ -260,7 +260,7 @@ GMM 通常需要结构参数的初步估计来构建有效的权重矩阵,而 (gt_why_score)= ## 为什么得分是正确的匹配对象 -{doc}`divergence_measures` 表明,最大似然法最小化了数据的经验分布到参数化模型的 KL 散度。 +{doc}`divergence_measures` 表明,最大似然法最小化了参数化模型相对于数据的经验分布的交叉熵,即数据生成分布到模型的 KL 散度的样本类似量。 第一步通过最小化 KL 散度将数据投影到辅助族上。 @@ -277,6 +277,8 @@ $$ 函数 $\theta^0(\cdot)$ 将结构参数映射为辅助参数。 +用 {doc}`information_projections` 中的语言来说,$\theta^0(\rho)$ 是结构模型分布到辅助族上的 m-投影。 + 随着 $n$ 增大,$\tilde\theta_n$ 收敛到 $\theta^0 = \theta^0(\rho^0)$。 现在对该散度关于 $\theta$ 求导: @@ -373,6 +375,8 @@ Gallant 和 Tauchen 将此解读为关于如何选择辅助模型的指示:让 {cite:t}`GourierouxMonfortRenault1993` 称 $\theta^0(\rho)$ 为**约束函数**。 +{doc}`turbulence_inference` 针对一个经过校准的搜寻模型计算了约束函数,并以收入的高斯随机效应模型作为辅助模型。 + 他们的估计量是 $$ @@ -894,6 +898,8 @@ Gallant 和 Tauchen 强调这套方法的第二种用途。 一个能很好地逼近数据的辅助模型,使检验对结构模型误差具有更强的检验力,而各个得分分量能说明一个被拒绝的模型未能匹配数据的*哪些*特征。 +{doc}`specification_tests` 描述了比较两种投影的其他检验方法。 + Gallant 和 Tauchen 的**拟 t 比率**将 $\sqrt{n}\, m(\hat\rho_n, \tilde\theta_n)$ 的每个分量除以其标准误。 $\sqrt{n}\, m(\hat\rho_n, \tilde\theta_n)$ 的渐近方差为 @@ -1410,4 +1416,4 @@ Gallant 和 Tauchen 的建议解决了问题的根源:选择一个拟合良好 {ref}`gt_choosing` 一节解释了原因:在级数展开中增加项数会使其得分趋向鞅差分,这样外积就是有效的。 ```{solution-end} -``` \ No newline at end of file +``` From a62ddf8a47e0c394671c50170b5f201efe10e867 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:30 +1100 Subject: [PATCH 06/28] Update translation: .translate/state/gallant_tauchen.md.yml --- .translate/state/gallant_tauchen.md.yml | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/.translate/state/gallant_tauchen.md.yml b/.translate/state/gallant_tauchen.md.yml index 6912f82a..93f5a36b 100644 --- a/.translate/state/gallant_tauchen.md.yml +++ b/.translate/state/gallant_tauchen.md.yml @@ -1,6 +1,6 @@ -source-sha: 648d138bb6db2f07f242197a5efe95556fb30ab6 -synced-at: "2026-10-21" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 -mode: NEW +mode: UPDATE section-count: 15 -tool-version: 0.29.6 +tool-version: 0.33.0 From 05727d26373ee479ab00c069d109f1c33d5120e0 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:31 +1100 Subject: [PATCH 07/28] Update translation: lectures/hansen_singleton_1983.md --- lectures/hansen_singleton_1983.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/lectures/hansen_singleton_1983.md b/lectures/hansen_singleton_1983.md index d31f57e3..05554c9a 100644 --- a/lectures/hansen_singleton_1983.md +++ b/lectures/hansen_singleton_1983.md @@ -1079,6 +1079,8 @@ LR = 2(\ell_u - \ell_r) \Rightarrow \chi^2_d, 其中 $\ell_u$ 和 $\ell_r$ 是无限制和受限模型的最大化对数似然,$d$ 是自由参数数量的差值。 +当无限制模型是通过最小二乘法估计的高斯向量自回归时,$LR$ 等于无限制拟合与受限拟合所蕴含的单步条件分布之间 KL 散度在各日期上求和的两倍;{doc}`specification_tests` 将此类检验描述为对两种投影的比较。 + 两个似然必须在相同的有效样本上求值,LR 分布才有效。 {cite:t}`hansen1983stochastic` 报告称,对于价值加权的总股票回报,$\chi^2$ 检验统计量几乎没有提供反对模型的证据。 From 7bed44c2b698f8c6247187ff8650a2a9cb7cf08f Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:33 +1100 Subject: [PATCH 08/28] Update translation: .translate/state/hansen_singleton_1983.md.yml --- .translate/state/hansen_singleton_1983.md.yml | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/.translate/state/hansen_singleton_1983.md.yml b/.translate/state/hansen_singleton_1983.md.yml index 7fb36e9d..6c705628 100644 --- a/.translate/state/hansen_singleton_1983.md.yml +++ b/.translate/state/hansen_singleton_1983.md.yml @@ -1,6 +1,6 @@ -source-sha: a501f03230eed210adb9a8984842695dddd82018 -synced-at: "2026-08-13" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 mode: UPDATE section-count: 12 -tool-version: 0.25.0 +tool-version: 0.33.0 From 2d229d7cf2669dc089b625c2b664269993ea59c2 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:33 +1100 Subject: [PATCH 09/28] Update translation: lectures/information_projections.md --- lectures/information_projections.md | 1642 +++++++++++++++++++++++++++ 1 file changed, 1642 insertions(+) create mode 100644 lectures/information_projections.md diff --git a/lectures/information_projections.md b/lectures/information_projections.md new file mode 100644 index 00000000..9ca57438 --- /dev/null +++ b/lectures/information_projections.md @@ -0,0 +1,1642 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.4 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 信息投影 + headings: + Overview: 概述 + A three-point identity: 三点恒等式 + Two kinds of straight lines: 两种直线 + Two projections and two Pythagorean theorems: 两种投影和两个毕达哥拉斯定理 + Two projections and two Pythagorean theorems::The e-projection onto a linear family: 线性族上的 e-投影 + Two projections and two Pythagorean theorems::The m-projection onto an exponential family: 指数族上的 m-投影 + Maximum likelihood is an m-projection: 最大似然估计是一种 m-投影 + Maximum likelihood is an m-projection::Correct specification: 正确设定 + Maximum likelihood is an m-projection::Misspecification: 误设定 + Independence and mutual information: 独立性和互信息 + Maximum entropy and large deviations: 最大熵和大偏差 + Worst-case models in robust control: 鲁棒控制中的最坏情形模型 + 'Matrix balancing: RAS and Sinkhorn': 矩阵平衡:RAS 和辛克霍恩 + 'Matrix balancing: RAS and Sinkhorn::Updating an input–output table': 更新投入产出表 + 'Matrix balancing: RAS and Sinkhorn::Entropy-regularized optimal transport': 熵正则化最优传输 + Chernoff information: 切尔诺夫信息 + Concluding remarks: 结语 + Exercises: 练习 +--- + +(information_projections)= +```{raw} jupyter + +``` + +# 信息投影 + +```{contents} Contents +:depth: 2 +``` + +## 概述 + +在欧几里得几何中,一个点在一个集合上的投影是该集合中离这个点最近的点。 + +当该集合是一条直线或一个平面时,投影是唯一的,连接该点与其投影的线段与该集合成直角相交,并且毕达哥拉斯定理成立。 + +本讲座描述了概率分布的类似结果,用库尔贝克-莱布勒(KL)散度代替平方距离。 + +一个分布在分布集合 $\mathcal{S}$ 上有两种投影,因为 KL 散度不是对称的: + +* $q$ 到 $\mathcal{S}$ 的 **e-投影** 是使 $D_{KL}(p \| q)$ 最小化的 $p \in \mathcal{S}$,因此被投影的分布是第二个参数;并且 +* $p$ 到 $\mathcal{S}$ 的 **m-投影** 是使 $D_{KL}(p \| q)$ 最小化的 $q \in \mathcal{S}$,因此被投影的分布是第一个参数。 + +两种"平坦"的分布集合充当了直线和平面的角色: + +* **线性族**,例如对某个统计量给定规定均值的分布集合;一个线性族包含其任意两个成员的每个混合 $(1 - a) p_0 + a p_1$,对于每个使该混合为概率分布的实数 $a$ 都成立;以及 +* **指数族**,在 {doc}`exponential_families` 中描述;一个指数族包含其任意两个成员的每个归一化几何混合,对于每个使该几何混合能够归一化的实数 $a$ 都成立。 + +在线性族上的 e-投影和在指数族上的 m-投影都是唯一的,并且各自满足一个毕达哥拉斯定理。 + +这两种投影有简单的形式: + +* $q$ 到由矩条件定义的线性族的 e-投影是 $q$ 的一个**指数倾斜**,即一个正比于 $q(x) e^{\theta \cdot t(x)}$ 的分布,其中向量 $\theta$ 满足矩条件;并且 +* $p$ 到指数族的 m-投影是**匹配矩**的:它是该族中使充分统计量具有与 $p$ 相同均值的成员。 + +这两个事实把经济学家使用的若干思想组织了起来: + +* 正确设定和误设定下的最大似然估计(m-投影); +* 衡量随机变量之间依赖性的互信息(一个 m-投影); +* 最大熵、Sanov 定理和大偏差(e-投影); +* 鲁棒控制的最坏情形模型(e-投影); +* 用于更新投入产出表的 RAS 方法,以及用于熵正则化最优传输的辛克霍恩算法(重复的 e-投影);以及 +* 支配基于似然比检验误差率的切尔诺夫信息(同时对两个分布的 e-投影)。 + +鲁棒控制的最坏情形模型以及 RAS 和辛克霍恩问题的解都是达到 {doc}`exponential_families` 中逻辑斯蒂公式 {eq}`ef_logit_base` 的那类指数倾斜。 + +本讲座建立在 {doc}`exponential_families` 和 {doc}`divergence_measures` 的基础之上。 + +{cite:t}`Csiszar1975` 发展了 e-投影的理论,他称之为 I-投影。 + +{cite:t}`CsiszarShields2004` 综述了该理论及其统计应用。 + +{cite:t}`Nielsen2018` 是关于信息投影的简短介绍,而 {cite:t}`amari_nagaoka2000` 将其作为信息几何的一部分来处理。 + +我们使用以下的导入。 + +```{code-cell} ipython3 +import numpy as np +import matplotlib.pyplot as plt +from scipy import integrate +from scipy.optimize import brentq, linprog, minimize, minimize_scalar +from scipy.special import logsumexp, betaln, digamma +from scipy.stats import norm, poisson, chi2 +import warnings +``` + +我们用 $D(p \| q)$ 表示 KL 散度 $D_{KL}(p \| q)$,并且和 {doc}`exponential_families` 中一样,将其读作"$p$ 相对于 $q$ 的散度"。 + +我们用 $q_\theta$ 表示指数族的成员,因为它们通常出现在 $D$ 的第二个参数位置。 + +我们的大多数例子都使用有限集合上的分布。 + +下面的函数计算 KL 散度,构造按比例 $e^{\theta \cdot t(x)}$ 提升每个结果 $x$ 概率的指数倾斜,并找到使标量统计量具有规定均值的倾斜。 + +这些函数推广了 {doc}`exponential_families` 中同名的函数:`tilt` 还接受向量值统计量,`match_mean` 接受其求根器的区间。 + +```{code-cell} ipython3 +def kl(p, q): + """KL divergence of distributions (or arrays) p and q of equal shape.""" + p, q = np.ravel(p), np.ravel(q) + if np.any(p < 0) or np.any(q < 0): + raise ValueError("probabilities must be nonnegative") + mask = p > 0 # use the convention 0 log 0 = 0 + return np.sum(p[mask] * np.log(p[mask] / q[mask])) + + +def tilt(q, t, θ): + """The distribution proportional to q(x) exp(θ · t(x)). + + t is either a vector of values t(x) or an array whose rows are t(x). + """ + T = np.reshape(t, (len(q), -1)) + log_w = np.log(q) + T @ np.atleast_1d(θ) + return np.exp(log_w - logsumexp(log_w)) + + +def match_mean(q, t, c, bracket=(-50, 50)): + """Find θ such that the tilt of q has E[t(X)] = c, for scalar t.""" + θ = brentq(lambda θ: tilt(q, t, θ) @ t - c, *bracket) + return θ, tilt(q, t, θ) + + +rng = np.random.default_rng(1234) +``` + +## 三点恒等式 + +设 $p$、$q$ 和 $r$ 是有限集合上的三个概率分布,其中 $q$ 和 $r$ 对每个结果都赋予正概率。 + +展开 KL 散度的定义给出恒等式 + +$$ +D(p \| r) = D(p \| q) + D(q \| r) + \sum_x \left( p(x) - q(x) \right) \left( \log q(x) - \log r(x) \right) . +$$ (ip_three_point) + +其欧几里得类比是 + +$$ +\lVert p - r \rVert^2 = \lVert p - q \rVert^2 + \lVert q - r \rVert^2 + 2 (p - q) \cdot (q - r) . +$$ + +欧几里得交叉项是两个位移的内积,当从 $q$ 到 $p$ 和从 $q$ 到 $r$ 的线段垂直时它消失。 + +在 {eq}`ip_three_point` 中,交叉项是用不同坐标度量的两个位移的内积:$p - q$ 是概率的位移,而 $\log q - \log r$ 是对数概率的位移。 + +用 {doc}`exponential_families` 的语言来说,在有限集合 $\{x_0, x_1, \ldots\}$ 上具有完全支持的分布形成一个指数族,其期望参数是概率 $p(x)$,其自然参数是对数比值 $\log(p(x)/p(x_0))$,对于 $x \neq x_0$。 + +概率是期望参数;对数概率在归一化之后就是自然参数。 + +当交叉项消失时,KL 散度满足一个**毕达哥拉斯定理**, + +$$ +D(p \| r) = D(p \| q) + D(q \| r) . +$$ + +我们用随机抽取的分布来验证 {eq}`ip_three_point`。 + +```{code-cell} ipython3 +p, q, r = rng.dirichlet(np.ones(5), size=3) +lhs = kl(p, r) +rhs = kl(p, q) + kl(q, r) + (p - q) @ (np.log(q) - np.log(r)) +print(f"D(p || r) = {lhs:.10f}") +print(f"right side = {rhs:.10f}") +``` + +本讲座剩余的部分讨论交叉项消失的分布集合。 + +我们针对有限集合上的分布陈述和证明下面的定理。 + +恒等式 {eq}`ip_three_point`,以及我们从它推导出的所有内容,对密度同样成立,只需用积分代替求和,只要散度是有限的。 + +## 两种直线 + +从分布 $p_0$ 到分布 $p_1$ 有两条自然的路径。 + +**混合路径**沿着概率上的直线移动: + +$$ +p_a = (1 - a) \, p_0 + a \, p_1 . +$$ + +**指数路径**沿着对数概率上的直线移动,然后归一化: + +$$ +\log p_a = (1 - a) \log p_0 + a \log p_1 - F(a), +$$ + +其中 $F(a) = \log \sum_x p_0(x)^{1 - a} p_1(x)^a$。 + +$[0, 1]$ 中的 $a$ 值描绘出从 $p_0$ 到 $p_1$ 的路径;其他 $a$ 值将路径延伸到其端点之外,指数路径对每个实数 $a$ 都成立,而混合路径只要 $p_a$ 保持非负就成立。 + +指数路径是一个一参数指数族,其充分统计量为 $\log(p_1 / p_0)$,自然参数为 $a$。 + +**测地线**是几何学中直线的类比。 + +信息几何学家称这些路径为 **m-测地线**(表示混合,mixture)和 **e-测地线**(表示指数,exponential)。 + +在 {eq}`ip_three_point` 之后描述的坐标中,m-测地线是期望参数中的直线,e-测地线是自然参数中的直线。 + +如果一个分布集合包含 $p_0$ 和 $p_1$ 时,它也包含混合路径上对每个使 $p_a$ 为概率分布的实数 $a$(不仅是 $a \in [0, 1]$)的 $p_a$,则称该集合是 **m-平坦的**;如果对指数路径也有同样的性质,则称之为 **e-平坦的**。 + +一个包含 $a \in [0, 1]$ 时混合线段,但不一定包含通过其成员的整条直线的集合,仅仅是普通意义下的凸集。 + +在闭凸集上的 e-投影仍然是唯一的,但下面的毕达哥拉斯恒等式 {eq}`ip_pythagoras_e` 弱化为不等式 $D(p \| q) \geq D(p \| p^*) + D(p^* \| q)$ {cite}`Csiszar1975`。 + +两类集合是主要的例子。 + +* 一个**线性族** $\mathcal{L} = \{ p : E_p[t(X)] = c \}$,即对统计量 $t$ 给定规定均值的分布集合,是 m-平坦的,因为如果 $p_0$ 和 $p_1$ 满足 $E[t(X)] = c$,那么对每个实数 $a$,$(1 - a) p_0 + a p_1$ 也满足该条件。 +* 一个**指数族** $\mathcal{E} = \{ q_\theta : q_\theta(x) \propto h(x) \exp(\theta \cdot t(x)) \}$ 是 e-平坦的,因为 $q_{\theta_0}$ 和 $q_{\theta_1}$ 的归一化几何混合的对数是 $\log h + ((1 - a) \theta_0 + a \theta_1) \cdot t$ 加上一个常数,对每个使归一化几何混合存在的实数 $a$ 都成立。 + +线性族在期望参数(即概率)中是一条直线或一个平面。 + +当 $h > 0$ 处处成立时,指数族在自然参数中是一条直线或一个平面,因为 $\log(q_\theta(x) / q_\theta(x_0)) = \log(h(x)/h(x_0)) + \theta \cdot (t(x) - t(x_0))$ 是 $\theta$ 的仿射函数。 + +三个结果上的分布存在于一个三角形中,即概率单纯形,我们可以在其中画出这两类集合。 + +下面的函数将三个结果上的分布映射到一个等边三角形中的一个点,该三角形的角代表三个结果。 + +每个角是将概率 1 赋予某个结果的分布,中心是均匀分布,点 $p$ 赋予结果 $x$ 的概率正比于 $p$ 到对角 $x$ 对边的距离。 + +```{code-cell} ipython3 +corners = np.array([[0.0, 0.0], [1.0, 0.0], [0.5, np.sqrt(3) / 2]]) + + +def to_triangle(p): + """Map distributions on three outcomes (rows of p) to the plane.""" + return np.atleast_2d(p) @ corners + + +def draw_simplex(ax, labels=("$x = 0$", "$x = 1$", "$x = 2$")): + ax.plot(*np.vstack([corners, corners[0]]).T, color="0.6", lw=1) + offsets = [(-0.07, -0.05), (0.02, -0.05), (-0.03, 0.03)] + for corner, label, (dx, dy) in zip(corners, labels, offsets): + ax.text(corner[0] + dx, corner[1] + dy, label) + ax.set_aspect("equal") + ax.axis("off") + + +def mixture_path(p0, p1, a): + return (1 - a)[:, None] * p0 + a[:, None] * p1 + + +def exponential_path(p0, p1, a): + log_w = (1 - a)[:, None] * np.log(p0) + a[:, None] * np.log(p1) + return np.exp(log_w - logsumexp(log_w, axis=1, keepdims=True)) +``` + +下图画出了两个分布之间的这两条路径。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Mixture and exponential paths + name: fig-ip-paths +--- +p0 = np.array([0.80, 0.15, 0.05]) +p1 = np.array([0.05, 0.15, 0.80]) +a = np.linspace(0, 1, 200) + +fig, ax = plt.subplots(figsize=(6, 5.5)) +draw_simplex(ax) +ax.plot(*to_triangle(mixture_path(p0, p1, a)).T, lw=2, label="mixture path") +ax.plot(*to_triangle(exponential_path(p0, p1, a)).T, lw=2, + label="exponential path") +ax.plot(*to_triangle(np.vstack([p0, p1])).T, "ko") +ax.text(*to_triangle(p0)[0] + [0.02, 0.0], "$p_0$") +ax.text(*to_triangle(p1)[0] + [0.02, 0.0], "$p_1$") +ax.legend(loc="upper right") +plt.show() +``` + +我们在概率坐标中画出单纯形,因此混合路径是直的。 + +指数路径向中间结果弯曲。 + +两个概率的几何平均数在其中任何一个很小时都很小,这惩罚了结果 $0$ 和 $2$,它们在两个分布中有一个都是不太可能发生的。 + +## 两种投影和两个毕达哥拉斯定理 + +### 线性族上的 e-投影 + +设 $q$ 是一个具有完全支持的分布,并设 $\mathcal{L} = \{ p : E_p[t(X)] = c \}$ 是一个包含具有完全支持的分布的线性族。 + +当 $c$ 恰好位于点 $t(x)$ 凸包的**相对内部**(即它作为包含它的最小仿射子空间的子集的内部)时,这一点成立。 + +同样的条件保证了下面定理中的倾斜的存在性。 + +```{prf:theorem} e-projection +:label: ip_thm_e_projection + +在 $p \in \mathcal{L}$ 上使 $D(p \| q)$ 最小化的分布 $p^* \in \mathcal{L}$ 是指数倾斜 + +$$ +p^*(x) = q(x) \exp\left( \theta \cdot t(x) - F(\theta) \right), +\qquad +F(\theta) = \log \sum_x q(x) \exp(\theta \cdot t(x)) , +$$ + +其中选取 $\theta$ 使得 $E_{p^*}[t(X)] = c$。 + +此外,对每个 $p \in \mathcal{L}$, + +$$ +D(p \| q) = D(p \| p^*) + D(p^* \| q) . +$$ (ip_pythagoras_e) +``` + +```{prf:proof} +对 {eq}`ip_three_point` 应用 $(p, p^*, q)$ 代替 $(p, q, r)$。 + +交叉项是 + +$$ +\sum_x \left( p(x) - p^*(x) \right) \left( \theta \cdot t(x) - F(\theta) \right) = \theta \cdot (c - c) - F(\theta) (1 - 1) = 0 , +$$ + +这证明了 {eq}`ip_pythagoras_e`。 + +因为除非 $p = p^*$,否则 $D(p \| p^*) > 0$,所以倾斜 $p^*$ 是唯一的最小化者。 +``` + +当 $\mathcal{L}$ 的每个成员对某些结果赋予零概率时,例如骰子均值为 $6$ 的情况,e-投影仍然存在并且唯一。 + +它位于倾斜族之外,作为 $\theta$ 发散的倾斜序列的极限存在。 + +$q$ 的 e-投影位于由 $q$ 和统计量 $t$ 生成的指数族上,位于该族与 $\mathcal{L}$ 相交的点。 + +在证明中,交叉项将沿着 $\mathcal{L}$ 方向的概率位移 $p - p^*$,与沿着从 $q$ 到 $p^*$ 的 e-测地线方向的对数概率位移 $\log p^* - \log q$ 配对。 + +这种配对恰恰是由 $p^*$ 处的费舍尔信息所定义的内积。 + +对于用概率表示的 $p^*$ 处的切向量 $u$ 和 $v$,该内积是 $\sum_x u(x) v(x) / p^*(x)$。 + +取 $u = p - p^*$,即从 $\mathcal{L}$ 指向 $p$ 的方向,并取 $v$ 为 e-测地线 $p_s \propto q^{1 - s} (p^*)^s$ 在 $p^*$ 处的切向量。 + +那么 $v(x)/p^*(x) = \log p^*(x) - \log q(x) - D(p^* \| q)$,常数 $D(p^* \| q)$ 从内积中消去,因为 $\sum_x u(x) = 0$。 + +交叉项消失恰恰精确地表达了从 $q$ 出发的 e-测地线与 $\mathcal{L}$ 成直角相交。 + +我们称 $p^*$ 为 e-投影,因为 $q$ 沿着一条 e-测地线到达 $\mathcal{L}$。 + +当 $q$ 是 $m$ 个结果上的均匀分布时,$D(p \| q) = \log m - H(p)$。 + +均匀分布的 e-投影就是 {doc}`exponential_families` 中的最大熵分布,而 {eq}`ip_pythagoras_e` 就变成了那里证明的熵缺口公式。 + +对于一般的 $q$,e-投影最大化相对于 $q$ 的熵:它使 $D(p \| q)$ 最小化,即 $p$ 相对于 $q$ 的**相对熵**。 + +### 指数族上的 m-投影 + +现在设 $\mathcal{E} = \{ q_\theta \}$ 是一个具有充分统计量 $t$ 和基准测度 $h$ 的指数族,并设 $p$ 是在 $h$ 为零的地方也赋予零概率的任意分布。 + +若无此条件,对每个 $\theta$,$D(p \| q_\theta)$ 都将是无穷大。 + +```{prf:theorem} m-projection +:label: ip_thm_m_projection + +如果 $q_{\theta^*} \in \mathcal{E}$ 匹配充分统计量的均值, + +$$ +E_{q_{\theta^*}}[t(X)] = E_p[t(X)] , +$$ + +那么 $q_{\theta^*}$ 是在 $\theta$ 上使 $D(p \| q_\theta)$ 最小化的唯一最小化者,并且对每个 $\theta$, + +$$ +D(p \| q_\theta) = D(p \| q_{\theta^*}) + D(q_{\theta^*} \| q_\theta) . +$$ (ip_pythagoras_m) +``` + +```{prf:proof} +对 {eq}`ip_three_point` 应用 $(p, q_{\theta^*}, q_\theta)$ 代替 $(p, q, r)$。 + +因为 $\log q_{\theta^*}(x) - \log q_\theta(x) = (\theta^* - \theta) \cdot t(x) - F(\theta^*) + F(\theta)$,交叉项是 + +$$ +(\theta^* - \theta) \cdot \left( E_p[t(X)] - E_{q_{\theta^*}}[t(X)] \right) = 0 , +$$ + +这证明了 {eq}`ip_pythagoras_m`。 + +因为除非 $\theta = \theta^*$,否则 $D(q_{\theta^*} \| q_\theta) > 0$,所以 $q_{\theta^*}$ 是唯一的最小化者。 +``` + +反过来,每个最小化者都匹配矩。 + +展开定义给出 $D(p \| q_\theta) = F(\theta) - \theta \cdot E_p[t(X)]$ 加上不依赖于 $\theta$ 的项,因此最小值的一阶条件是 $\nabla F(\theta) = E_p[t(X)]$。 + +当且仅当 $E_p[t(X)]$ 位于 $\nabla F$ 的值域内时,m-投影才存在。 + +例如,将所有概率赋给 $1$ 的分布到伯努利族上的 m-投影是不存在的。 + +同样的道理,没有失败的伯努利样本没有自然参数的最大似然估计。 + +$p$ 的 m-投影位于与 $p$ 的 $t$ 均值相同的分布的线性族上,位于该族与 $\mathcal{E}$ 相交的点。 + +这里的角色反转了:交叉项将沿着从 $p$ 到 $q_{\theta^*}$ 的 m-测地线方向的概率位移(它保持在该线性族内)与沿着 $\mathcal{E}$ 方向的自然参数位移配对。 + +从 $p$ 出发的 m-测地线与 $\mathcal{E}$ 成直角相交。 + +我们称 $q_{\theta^*}$ 为 m-投影,因为 $p$ 沿着一条 m-测地线到达 $\mathcal{E}$。 + +在这两个定理中,投影都是直角处的顶点,是出现在右边两项中的那个点。 + +```{note} +文献中的约定各不相同。 + +检查一个来源是对 KL 散度的哪个参数进行最小化,以及它将哪个正交条件附加到哪个毕达哥拉斯恒等式上。 + +设 $p$、$q$ 和 $r$ 是一个指数族的成员,其对数配分函数为 $F$,布雷格曼散度为 $B_F$,如 {doc}`exponential_families` 所述,自然参数为 $\theta_p$、$\theta_q$、$\theta_r$,期望参数为 $\eta_p$、$\eta_q$、$\eta_r$。 + +那么 + +$$ +B_F(\theta_p, \theta_r) = B_F(\theta_p, \theta_q) + B_F(\theta_q, \theta_r) +\iff (\theta_p - \theta_q) \cdot (\eta_q - \eta_r) = 0 +$$ + +以及 + +$$ +D(p \| r) = D(p \| q) + D(q \| r) +\iff (\eta_p - \eta_q) \cdot (\theta_q - \theta_r) = 0 . +$$ + +这两个恒等式是交换了 $p$ 和 $r$ 后的同一个陈述:由 {doc}`exponential_families` 中的 {eq}`ef_kl_bregman`,第一个说的是 $D(r \| p) = D(r \| q) + D(q \| p)$。 + +在两种符号中以相同顺序书写字母就附加了不同的正交条件。 + +{cite:t}`Nielsen2018`(在第 322-323 页的正文中以及图 2 中打印的公式中)和 {cite:t}`Nielsen2020`(在图 6 的面板标签中)都将每个恒等式与另一个的条件配对;他们对 e-投影和 m-投影的定义,以及 {cite:t}`Nielsen2020` 的定理 6,都是正确的。 +``` + +让我们为三个结果上的分布计算这两种投影,其中 $t(x) = x$。 + +对于 e-投影,我们取 $q = (0.6, 0.3, 0.1)$ 以及均值为 $1.2$ 的分布的线性族。 + +对于 m-投影,我们取 $p = (0.5, 0.1, 0.4)$ 以及由 $h = (0.2, 0.5, 0.3)$ 和 $t$ 生成的指数族。 + +```{code-cell} ipython3 +outcomes = np.arange(3.0) + +# e-projection of q onto {p : E_p[X] = 1.2} +q_e = np.array([0.6, 0.3, 0.1]) +θ_e, p_star = match_mean(q_e, outcomes, 1.2) + +# members of the linear family: p_star plus multiples of (1, -2, 1), +# small enough to keep every probability positive +s_lo, s_hi = -min(p_star[0], p_star[2]), p_star[1] / 2 +print("e-projection: D(p || q) and D(p || p*) + D(p* || q)") +for s in np.linspace(0.9 * s_lo, 0.9 * s_hi, 4): + p = p_star + s * np.array([1.0, -2.0, 1.0]) + print(f" {kl(p, q_e):.8f} {kl(p, p_star) + kl(p_star, q_e):.8f}") + +# m-projection of p onto the exponential family generated by h +h = np.array([0.2, 0.5, 0.3]) +p_m = np.array([0.5, 0.1, 0.4]) +θ_m, q_star = match_mean(h, outcomes, p_m @ outcomes) +print("\nm-projection: D(p || q_θ) and D(p || q*) + D(q* || q_θ)") +for θ in (-1.0, 0.0, 0.5, 2.0): + q_θ = tilt(h, outcomes, θ) + print(f" {kl(p_m, q_θ):.8f} {kl(p_m, q_star) + kl(q_star, q_θ):.8f}") +``` + +下图展示了这两种投影。 + +在左图中,直线是线性族,通过 $q$ 的曲线是由 $q$ 生成的指数族;e-投影 $p^*$ 是它们相交的位置。 + +细曲线是作为 $p$ 函数的 $D(p \| q)$ 的等高线;线性族与通过 $p^*$ 的等高线相切。 + +在右图中,曲线是由 $h$ 生成的指数族,通过 $p$ 的直线是与 $p$ 具有相同均值的分布的线性族;m-投影 $q^*$ 是它们相交的位置。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: The e-projection and the m-projection + name: fig-ip-projections +--- +θ_grid = np.linspace(-6, 6, 400) + + +def family_curve(base, t, θ_grid): + """Members of the exponential family generated by base and t.""" + return np.vstack([tilt(base, t, θ) for θ in θ_grid]) + + +def linear_family(c, n=400): + """Distributions on {0, 1, 2} with mean c.""" + lo, hi = max(0, c - 1), min(1, c / 2) # range of p(2) + p2 = np.linspace(lo, hi, n) + p1 = c - 2 * p2 + return np.column_stack([1 - p1 - p2, p1, p2]) + + +fig, axes = plt.subplots(1, 2, figsize=(11, 5)) + +ax = axes[0] +draw_simplex(ax) +# a barycentric grid of distributions with full support +k = 300 +i, j = np.meshgrid(np.arange(1, k), np.arange(1, k)) +inside = i + j < k +grid = np.column_stack([i[inside], j[inside], k - i[inside] - j[inside]]) / k +xy = to_triangle(grid) +ax.tricontour(xy[:, 0], xy[:, 1], + np.sum(grid * np.log(grid / q_e), axis=1), + levels=kl(p_star, q_e) * np.array([0.25, 0.5, 1.0, 1.5, 2.0]), + colors="0.75", linewidths=0.8) +ax.plot(*to_triangle(linear_family(1.2)).T, lw=2, + label=r"linear family $E[X] = 1.2$") +ax.plot(*to_triangle(family_curve(q_e, outcomes, θ_grid)).T, lw=2, + label="exponential family through $q$") +for point, name in ((q_e, "$q$"), (p_star, "$p^*$")): + ax.plot(*to_triangle(point)[0], "ko") + ax.text(*to_triangle(point)[0] + [0.02, 0.01], name) +ax.set_title("e-projection", pad=18) +ax.legend(loc="upper left", fontsize=9, frameon=False) + +ax = axes[1] +draw_simplex(ax) +ax.plot(*to_triangle(family_curve(h, outcomes, θ_grid)).T, lw=2, color="C1", + label="exponential family through $h$") +ax.plot(*to_triangle(linear_family(p_m @ outcomes)).T, lw=2, color="C0", + label=rf"linear family $E[X] = {p_m @ outcomes:.1f}$") +for point, name in ((p_m, "$p$"), (q_star, "$q^*$"), (h, "$h$")): + ax.plot(*to_triangle(point)[0], "ko") + ax.text(*to_triangle(point)[0] + [0.02, 0.01], name) +ax.set_title("m-projection", pad=18) +ax.legend(loc="upper left", fontsize=9, frameon=False) +plt.tight_layout() +plt.show() +``` + +## 最大似然估计是一种 m-投影 + +### 正确设定 + +设 $x_1, \ldots, x_n$ 是独立同分布的抽样,并假设我们通过最大似然法拟合一个指数族 $\{ q_\theta \}$。 + +{doc}`exponential_families` 表明最大似然估计量 $\hat \theta$ 匹配充分统计量的样本均值。 + +当结果是离散的时,设 $\hat p$ 为样本的经验分布。 + +那么平均对数似然是 $\sum_x \hat p(x) \log q_\theta(x) = -H(\hat p) - D(\hat p \| q_\theta)$。 + +因此最大化似然就是使 $D(\hat p \| q_\theta)$ 最小化,因为 $H(\hat p)$ 不依赖于 $\theta$。 + +根据 {prf:ref}`ip_thm_m_projection`,*最大似然估计是经验分布到该模型上的 m-投影*。 + +将毕达哥拉斯定理 {eq}`ip_pythagoras_m` 应用于以 $\hat p$ 代替 $p$ 的情形,得到 $D(\hat p \| q_\theta) - D(\hat p \| q_{\hat \theta}) = D(q_{\hat\theta} \| q_\theta)$,因此对每个 $\theta$, + +$$ +\frac{1}{n} \left[ \ell_n(\hat \theta) - \ell_n(\theta) \right] = D(q_{\hat\theta} \| q_\theta) , +$$ (ip_lr_kl) + +其中 $\ell_n$ 是对数似然。 + +恒等式 {eq}`ip_lr_kl` 对连续结果也成立:由 {doc}`exponential_families` 中的公式,左边等于 $(\hat\theta - \theta) \cdot \bar t - F(\hat\theta) + F(\theta)$,而由于 $\bar t = \nabla F(\hat \theta)$,这就是布雷格曼散度 $B_F(\theta, \hat\theta) = D(q_{\hat\theta} \| q_\theta)$。 + +对于一个指数族,只要最大似然估计存在,*似然比统计量 $2[\ell_n(\hat\theta) - \ell_n(\theta_0)]$ 恰好等于 $2 n D(q_{\hat\theta} \| q_{\theta_0})$*。 + +根据威尔克斯定理,当 $\theta_0$ 是真实参数时,这个统计量近似服从自由度等于参数个数的 $\chi^2$ 分布。 + +我们用泊松数据来验证这一点,对其而言 $\hat \lambda = \bar x$,且 $D(q_{\hat\lambda} \| q_{\lambda_0}) = \hat\lambda \log(\hat\lambda/\lambda_0) - \hat\lambda + \lambda_0$。 + +```{code-cell} ipython3 +λ0, n, R = 3.0, 50, 20_000 +x = rng.poisson(λ0, size=(R, n)) +λ_hat = x.mean(axis=1) + +lr = 2 * (poisson.logpmf(x, λ_hat[:, None]).sum(axis=1) + - poisson.logpmf(x, λ0).sum(axis=1)) +two_n_kl = 2 * n * (λ_hat * np.log(λ_hat / λ0) - λ_hat + λ0) +print(f"max |LR - 2n KL| = {np.max(np.abs(lr - two_n_kl)):.2e}") +print(f"P(LR > 3.84) = {np.mean(lr > chi2.ppf(0.95, 1)):.4f} (χ²_1: 0.05)") +``` + +讲座 {doc}`likelihood_ratio_process` 比较了两个固定模型;由 {eq}`ip_lr_kl`,在一个指数族内部,最佳拟合模型与任何其他模型之间的 KL 散度支配着它们之间的似然比。 + +### 误设定 + +现在假设数据来自模型之外的一个分布 $p_0$。 + +正如 {doc}`divergence_measures` 所解释的,在正则条件下,最大似然估计量此时收敛到使 $D(p_0 \| q_\theta)$ 最小化的**伪真**参数 $\theta^*$ {cite}`White1982`。 + +{prf:ref}`ip_thm_m_projection` 确定了它:对一个指数族而言,伪真参数匹配充分统计量的总体均值。 + +例如,当我们对从正态分布混合中抽取的数据拟合一个正态分布时,伪真正态分布具有该混合的均值和方差。 + +让我们通过数值积分验证这一点以及毕达哥拉斯定理 {eq}`ip_pythagoras_m`。 + +```{code-cell} ipython3 +w, (μa, σa), (μb, σb) = 0.3, (-2.0, 0.7), (1.0, 1.0) + + +def log_mixture_pdf(x): + return np.logaddexp(np.log(w) + norm.logpdf(x, μa, σa), + np.log(1 - w) + norm.logpdf(x, μb, σb)) + + +def mixture_pdf(x): + return np.exp(log_mixture_pdf(x)) + + +def kl_mixture_normal(μ, σ): + def integrand(x): + log_p = log_mixture_pdf(x) + return np.exp(log_p) * (log_p - norm.logpdf(x, μ, σ)) + return integrate.quad(integrand, -np.inf, np.inf, limit=200)[0] + + +def kl_normal(μ1, σ1, μ2, σ2): + return np.log(σ2 / σ1) + (σ1**2 + (μ1 - μ2)**2) / (2 * σ2**2) - 0.5 + + +μ_star = w * μa + (1 - w) * μb +σ_star = np.sqrt(w * (σa**2 + μa**2) + (1 - w) * (σb**2 + μb**2) - μ_star**2) +print(f"moment-matched normal: μ* = {μ_star:.4f}, σ* = {σ_star:.4f}") + +print("\n μ σ D(p0 || N) D(p0 || N*) + D(N* || N)") +for μ, σ in ((0.0, 1.5), (μ_star, 1.0), (1.0, 2.0), (μ_star, σ_star)): + lhs = kl_mixture_normal(μ, σ) + rhs = kl_mixture_normal(μ_star, σ_star) + kl_normal(μ_star, σ_star, μ, σ) + print(f"{μ:6.2f} {σ:5.2f} {lhs:12.6f} {rhs:16.6f}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Moment-matched normal for a bimodal mixture + name: fig-ip-mixture +--- +x_vals = np.linspace(-5, 5, 400) +fig, ax = plt.subplots() +ax.plot(x_vals, mixture_pdf(x_vals), lw=2, label="mixture $p_0$") +ax.plot(x_vals, norm.pdf(x_vals, μ_star, σ_star), lw=2, ls="--", + label=rf"m-projection $N(\mu^*, \sigma^{{*2}})$") +ax.set_xlabel("$x$") +ax.legend() +plt.show() +``` + +在 $D(p_0 \| q)$ 的意义下,矩匹配的正态分布是最佳的正态近似,即使它在两个峰之间(混合分布在那里赋予很小的概率)赋予了相当大的概率。 + +讲座 {doc}`mix_model` 研究了使用错误模型的贝叶斯学习者如何行事。 + +{doc}`加朗和陶臣的有效矩方法 ` 构建了一个估计量,它建立在辅助模型的期望得分在伪真值处消失这一事实之上。 + +## 独立性和互信息 + +设 $p(x, y)$ 是两个取有限多个值的随机变量的联合分布,其边缘分布为 $p_X$ 和 $p_Y$。 + +$X$ 和 $Y$ 独立的联合分布集合, + +$$ +\mathcal{E}_{\text{ind}} = \{ q_1(x) q_2(y) \} , +$$ + +是一个指数族:其充分统计量分别是 $x$ 和 $y$ 取各个值的指示函数,这些统计量的均值就是这两个边缘分布。 + +由 {prf:ref}`ip_thm_m_projection`,$p$ 到 $\mathcal{E}_{\text{ind}}$ 的 m-投影是边缘分布的乘积 $p_X p_Y$。 + +最小化的散度是**互信息** + +$$ +I(X; Y) = D(p \| p_X p_Y) = \min_{q_1, q_2} D(p \| q_1 q_2) , +$$ + +即 $p$ 到最近的使 $X$ 和 $Y$ 独立的联合分布的 KL 散度。 + +对任意边缘分布 $q_1$ 和 $q_2$,毕达哥拉斯定理 {eq}`ip_pythagoras_m` 给出 + +$$ +D(p \| q_1 q_2) = D(p \| p_X p_Y) + D(p_X p_Y \| q_1 q_2) , +$$ + +并且因为乘积的对数是求和,最后一项分解为 $D(p_X \| q_1) + D(p_Y \| q_2)$。 + +所以 + +$$ +D(p \| q_1 q_2) = I(X; Y) + D(p_X \| q_1) + D(p_Y \| q_2) , +$$ + +这将 $p$ 到一个独立模型的散度拆分为依赖性所导致的部分和边缘分布所导致的部分。 + +```{code-cell} ipython3 +p_xy = np.array([[0.20, 0.05, 0.05], + [0.05, 0.25, 0.05], + [0.02, 0.08, 0.25]]) +p_x, p_y = p_xy.sum(axis=1), p_xy.sum(axis=0) +mutual_info = kl(p_xy, np.outer(p_x, p_y)) +print(f"I(X; Y) = {mutual_info:.6f}") + +for _ in range(3): + q1, q2 = rng.dirichlet(np.ones(3), size=2) + lhs = kl(p_xy, np.outer(q1, q2)) + rhs = mutual_info + kl(p_x, q1) + kl(p_y, q2) + print(f"D(p || q1 q2) = {lhs:.6f}, decomposition = {rhs:.6f}") +``` + +互信息是 {cite:t}`Sims2003` 创立的理性无视理论中信息流的度量。 + +{ref}`ip_ex_interactions` 将这一分解推广到三个随机变量。 + +## 最大熵和大偏差 + +均值为 $4.5$ 的骰子的最大熵分布 $p^*$ 是均匀分布 $q$ 到线性族 $\{ p : E_p[X] = 4.5 \}$ 上的 e-投影。 + +我们重新计算它,因为下面需要用到。 + +```{code-cell} ipython3 +faces = np.arange(1.0, 7.0) +q_die = np.full(6, 1 / 6) +θ_die, p_die = match_mean(q_die, faces, 4.5) +print("e-projection of the uniform distribution:", np.round(p_die, 4)) +print(f"D(p* || q) = {kl(p_die, q_die):.4f}") +``` + +大偏差理论解释了为什么 e-投影能回答杰恩斯的问题。 + +**Sanov 定理**涉及从 $q$ 中独立同分布抽取的 $n$ 个样本的经验分布 $\hat p_n$。 + +它说,对满足温和正则条件的分布集合 $\mathcal{S}$(例如,$\mathcal{S}$ 是其内部的闭包), + +$$ +\lim_{n \to \infty} -\frac{1}{n} \log P\left( \hat p_n \in \mathcal{S} \right) = \min_{p \in \mathcal{S}} D(p \| q) = D(p_{\mathcal{S}} \| q) , +$$ + +其中 $p_{\mathcal{S}}$ 是 $q$ 到 $\mathcal{S}$ 的 e-投影。 + +经验分布落入 $\mathcal{S}$ 的概率以速率 $D(p_{\mathcal{S}} \| q)$ 呈指数衰减。 + +当我们掷一个公平的骰子 $n$ 次时,平均值至少为 $4.5$ 的事件就是 $\hat p_n$ 位于半空间 $\mathcal{S} = \{ p : E_p[X] \geq 4.5 \}$ 中的事件。 + +因为 $q$ 的均值是 $3.5$,所以 $q$ 到这个半空间的 e-投影位于其边界,即线性族 $\{ p : E_p[X] = 4.5 \}$ 上。 + +沿着从任何均值更大的 $p$ 到 $q$ 的直线,$D(\cdot \| q)$ 在下降,因为它是凸的且在 $q$ 处为零;该直线经过一个均值为 $4.5$ 的点。 + +因此 e-投影就是 $p^*$,并且 + +$$ +\lim_{n \to \infty} -\frac{1}{n} \log P\left( \frac{1}{n} \sum_{i=1}^n X_i \geq 4.5 \right) = D(p^* \| q) . +$$ + +同样的计算说明了这个罕见事件最可能发生的方式:在 $n$ 次公平掷骰子产生平均值 $4.5$ 的所有方式中,压倒性最可能的是各面出现的频率类似于 $p^*$。 + +**条件极限定理**使这一点精确化。 + +假设我们掷一个公平骰子 $n$ 次,只知道出现的点数平均恰好是 $4.5$,这要求 $n$ 为偶数。 + +给定这个信息,第一次掷骰子出现点数的分布随着 $n \to \infty$ 收敛到 e-投影 $p^*$ {cite}`VanCampenhoutCover1981,Csiszar1984`。 + +{cite:t}`CoverThomas2006` 第 11 章证明了这两个定理。 + +我们可以精确地验证它们。 + +$n$ 次掷骰点数之和 $S_n$ 的分布是一个 $n$ 重卷积,而且 + +$$ +P(X_1 = k \mid S_n = s) = \frac{P(X_1 = k) \, P(S_{n - 1} = s - k)}{P(S_n = s)} , +$$ + +这是 {cite:t}`VanCampenhoutCover1981` 证明所依据的公式。 + +```{code-cell} ipython3 +def sum_distribution(pmf, n): + """Distribution of the sum of n IID draws from pmf on {1, ..., m}. + + Entry j of the result is the probability that the sum equals j + n. + """ + dist = np.array([1.0]) + for _ in range(n): + dist = np.convolve(dist, pmf) + return dist + + +print(" n P(X_1 = k | average = 4.5), k = 1, ..., 6 " + "-log P(average ≥ 4.5)/n") +n_vals = [10, 20, 40, 80, 160, 320, 640] +rates = [] +for n in n_vals: + s = int(4.5 * n) + dist_n1 = sum_distribution(q_die, n - 1) + dist_n = np.convolve(dist_n1, q_die) + cond = np.array([q_die[k - 1] * dist_n1[s - k - (n - 1)] + for k in range(1, 7)]) / dist_n[s - n] + rates.append(-np.log(dist_n[s - n:].sum()) / n) + print(f"{n:5d} {np.round(cond, 4)} {rates[-1]:.4f}") +print(f" p* = {np.round(p_die, 4)} D(p* || q) = {kl(p_die, q_die):.4f}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Decay rate converges to $D(p^* \| q)$ + name: fig-ip-sanov +--- +fig, ax = plt.subplots() +ax.plot(n_vals, rates, "o-", label=r"$-\frac{1}{n}\log P(\bar X_n \geq 4.5)$") +ax.axhline(kl(p_die, q_die), color="k", ls="--", lw=1, + label=r"$D(p^* \| q)$") +ax.set_xscale("log") +ax.set_xlabel("number of rolls $n$") +ax.legend() +plt.show() +``` + +条件分布很快收敛到 $p^*$;衰减速率收敛得更慢,因为概率中还包含了关于 $n$ 的多项式因子。 + +{doc}`likelihood_ratio_process` 和 {doc}`关于意见融合的讲座 ` 中的大偏差结果都建立在相同的数学基础之上。 + +## 鲁棒控制中的最坏情形模型 + +设 $\pi$ 是状态 $x$ 上的基准概率分布,设 $u(x)$ 是决策者的效用。 + +一个担心 $\pi$ 被误设定的决策者可以通过在备选分布 $q$ 上取最坏期望效用来评估前景,并以备选分布相对于 $\pi$ 的 KL 散度来惩罚它们: + +$$ +\min_q \left\{ E_q[u(X)] + \lambda \, D(q \| \pi) \right\} , +$$ (ip_multiplier) + +其中 $\lambda > 0$ 衡量决策者对 $\pi$ 的信心。 + +这些是 {cite:t}`HansenSargent2001` 的乘数偏好。 + +为求解 {eq}`ip_multiplier`,定义指数倾斜 + +$$ +q^*_\lambda(x) = \frac{\pi(x) \exp(-u(x)/\lambda)}{E_\pi \exp(-u(X)/\lambda)} . +$$ + +因为 $\log q^*_\lambda(x) = \log \pi(x) - u(x)/\lambda - \log E_\pi \exp(-u(X)/\lambda)$,我们有 + +$$ +\lambda \, D(q \| q^*_\lambda) = \lambda \, D(q \| \pi) + E_q[u(X)] + \lambda \log E_\pi \exp\left( -u(X)/\lambda \right) , +$$ + +或者,对每个 $q$, + +$$ +E_q[u(X)] + \lambda \, D(q \| \pi) = \lambda \, D(q \| q^*_\lambda) - \lambda \log E_\pi \exp\left( -u(X)/\lambda \right) , +$$ + +因此最坏情形分布是 $q^*_\lambda$,而 {eq}`ip_multiplier` 的值是 $-\lambda \log E_\pi \exp(-u(X)/\lambda)$。 + +每个最坏情形模型 $q^*_\lambda$ 同时也是 $\pi$ 到线性族 $\{ q : E_q[u(X)] = E_{q^*_\lambda}[u(X)] \}$ 的 e-投影:在所有能够传递该期望效用的分布中,它离 $\pi$ 最近。 + +值 $-\lambda \log E_\pi \exp(-u(X)/\lambda)$ 是 {cite:t}`Whittle_1990` 和 {cite:t}`HansenSargent2008` 的风险敏感价值函数。 + +它也是 {doc}`exponential_families` 中逻辑斯蒂公式 {eq}`ef_logit_base` 的一个实例,其中 $v = -u$,$\tau = \lambda$。 + +字母的角色互换了:这里的基准 $\pi$ 是那里的基准分布 $q$,而这里选取的分布 $q$ 是那里的向量 $\pi$。 + +最小化 $E_q[u] + \lambda D(q \| \pi)$ 就是最大化 $E_q[-u] - \lambda D(q \| \pi)$,因此 {eq}`ip_multiplier` 的值是 {eq}`ef_logit_base` 左边的相反数。 + +最坏情形模型构成一个通过 $\pi$ 的一参数指数族,其充分统计量为 $u$,自然参数为 $-1/\lambda$。 + +随着 $\lambda$ 下降,决策者对 $\pi$ 的信任度降低,最坏情形沿着这个族移动,将更多的概率赋予效用低的状态。 + +下面的例子对消费具有对数效用,$u(x) = \log x$,在 $\pi$ 下消费的对数服从 $N(0, 0.2^2)$ 分布。 + +记 $z = \log x$;用 $\exp(-z/\lambda)$ 倾斜 $z$ 的 $N(0, 0.2^2)$ 密度给出 $N(-0.2^2/\lambda, 0.2^2)$ 密度,因此每个最坏情形仍然是对数正态的。 + +那么 $E_{q^*_\lambda}[u] = -0.2^2/\lambda$,且 $D(q^*_\lambda \| \pi) = 0.2^2/(2 \lambda^2)$。 + +我们将对数消费离散化在一个足够宽的网格上,以包含我们考虑的最坏情形,并将结果与这些公式进行比较。 + +```{code-cell} ipython3 +σ_c = 0.2 +log_c = np.linspace(-2.8, 0.8, 91) +π_base = norm.pdf(log_c, 0, σ_c) +π_base /= π_base.sum() +u_c = log_c # u(c) = log c + + +def worst_case(λ): + return tilt(π_base, u_c, -1 / λ) + + +def multiplier_value(λ): + return -λ * logsumexp(-u_c / λ, b=π_base) + + +λ_shown = (0.2, 0.05, 0.02) +print(" λ E_q[u] exact D(q || π) exact E_q[u] + λ D " + "-λ log E exp(-u/λ)") +for λ in λ_shown: + q = worst_case(λ) + print(f"{λ:5.2f} {q @ u_c:8.4f} {-σ_c**2 / λ:6.2f} {kl(q, π_base):10.4f} " + f"{σ_c**2 / (2 * λ**2):7.2f} {q @ u_c + λ * kl(q, π_base):12.4f} " + f"{multiplier_value(λ):16.4f}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Worst-case distributions under multiplier preferences + name: fig-ip-worst-case +--- +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) +ax = axes[0] +ax.plot(log_c, π_base, "k", lw=2, label=r"baseline $\pi$") +for λ in λ_shown: + ax.plot(log_c, worst_case(λ), label=rf"worst case, $\lambda$ = {λ}") +ax.set_xlabel("log consumption") +ax.set_ylabel("probability") +ax.legend() + +ax = axes[1] +λ_vals = np.geomspace(0.02, 2, 100) +rel_entropies = [kl(worst_case(λ), π_base) for λ in λ_vals] +utilities = [worst_case(λ) @ u_c for λ in λ_vals] +ax.plot(rel_entropies, utilities, lw=3, alpha=0.5, label="on the grid") +D_vals = np.linspace(0, max(rel_entropies), 200) +ax.plot(D_vals, -σ_c * np.sqrt(2 * D_vals), "k--", lw=1, + label=r"exact, $-0.2\sqrt{2D}$") +ax.set_xlabel(r"$D(q^*_\lambda \| \pi)$") +ax.set_ylabel(r"$E_{q^*_\lambda}[u(X)]$") +ax.set_title("worst-case expected utility and relative entropy") +ax.legend() +plt.tight_layout() +plt.show() +``` + +右图描绘了最坏情形期望效用与最坏情形相对熵之间的关系;从上述两个公式中消去 $\lambda$ 给出 $E_{q^*_\lambda}[u] = -0.2 \sqrt{2 D(q^*_\lambda \| \pi)}$。 + +这条曲线上的每一个点也解决了在约束 $D(q \| \pi) \leq \kappa$ 下最小化期望效用的问题,其中 $\kappa$ 等于该点的横坐标;{ref}`ip_ex_constraint` 要求你验证这一点。 + +这些就是在讲座 {doc}`advanced:five_preferences` 中研究的约束偏好,该讲座用 $\theta$ 表示我们的 $\lambda$,用 $\eta$ 表示我们的 $\kappa$。 + +{doc}`另一个高级讲座 ` 使用这种最坏情形模型来探讨资产价格是反映了风险厌恶还是错误的信念。 + +指数倾斜还出现在 {doc}`imp_sample` 中,它在那里产生了高效的重要性采样器。 + +## 矩阵平衡:RAS 和辛克霍恩 + +### 更新投入产出表 + +投入产出分析师经常需要更新一张表。 + +{doc}`intro:input_output` 描述了这样的表。 + +某个基准年份产业间商品流动的表 $Q$ 是可得的。 + +对于一个更晚的年份,分析师只知道行总计 $r$(每个产业对其他产业的销售额)和列总计 $c$(每个产业对其他产业的购买额)。 + +在本节中,$r$ 和 $c$ 表示总计的向量。 + +**矩阵平衡**找到一张具有给定总计且与基准表保持接近的表。 + +新表的一个自然估计是具有这些总计并使 $D(P \| Q)$ 最小化的矩阵 $P^*$。 + +因为 $P$ 和 $Q$ 不需要具有相同的总和,我们对非负数组使用**广义 KL 散度**, + +$$ +D(P \| Q) = \sum_{i, j} \left[ P_{ij} \log \frac{P_{ij}}{Q_{ij}} - P_{ij} + Q_{ij} \right] , +$$ + +它是非负的,且仅在 $P = Q$ 时为零,并且三点恒等式 {eq}`ip_three_point` 仍然成立。 + +具有行总计 $r$ 的矩阵集合是一个线性族,具有列总计 $c$ 的矩阵集合也是如此。 + +矩阵 $P^*$ 是 $Q$ 到它们交集的 e-投影。 + +证明 {prf:ref}`ip_thm_e_projection` 的论证,以行和列的指示函数作为统计量 $t$,在这里同样适用。 + +它表明,如果**双比例**形式的矩阵 + +$$ +P_{ij} = a_i \, Q_{ij} \, b_j , +$$ + +(其中 $a$ 和 $b$ 是正向量)具有所要求的总计,那么它就是 $P^*$,因为 {eq}`ip_three_point` 中的交叉项变为 $\sum_i \log a_i \, (r_i - r_i) + \sum_j \log b_j \, (c_j - c_j) = 0$。 + +当 $Q$ 的每个元都是正的,$r$ 和 $c$ 都是正的,且 $\sum_i r_i = \sum_j c_j$ 时,这样的矩阵存在 {cite}`Bacharach1970`。 + +**RAS 方法**通过交替重新缩放当前表的行以匹配 $r$,再重新缩放其列以匹配 $c$ 来求出 $a$ 和 $b$;每次重新缩放都是将当前表 e-投影到这两个线性族之一上。 + +{cite:t}`DemingStephan1940` 提出了这个算法,统计学家称之为**迭代比例拟合**,用于将普查表调整为已知的边际总计。 + +{cite:t}`StoneBrown1962` 用它来更新投入产出表。 + +{cite:t}`IrelandKullback1968` 确定了其极限就是使与基准表的 KL 散度最小化的表,但他们对收敛性的证明并不完整。 + +{cite:t}`Bacharach1970` 研究了它在投入产出分析中的性质。 + +{cite:t}`Csiszar1975` 给出了它收敛的完整证明。 + +毕达哥拉斯定理解释了该算法为何收敛。 + +设 $P$ 是任意一个具有这两种总计、且在 $Q$ 为零处也为零的矩阵,使得 $D(P \| Q) < \infty$。 + +因为每次重新缩放都是到包含 $P$ 的线性族上的 e-投影,{eq}`ip_pythagoras_e` 给出 + +$$ +D(P \| P^{(k)}) = D(P \| P^{(k + 1)}) + D(P^{(k + 1)} \| P^{(k)}) , +$$ + +其中 $P^{(k)}$ 是 $k$ 次重新缩放之后的表,把一次行重新缩放和一次列重新缩放算作两步。 + +特别地,$P^*$ 到迭代序列的散度在每一步都在下降。 + +求和得到 $D(P \| Q) = D(P \| P^{(k)}) + \sum_{j < k} D(P^{(j + 1)} \| P^{(j)})$,其中求和项不依赖于 $P$。 + +取 $P = P^*$ 表明 $\sum_k D(P^{(k + 1)} \| P^{(k)}) \leq D(P^* \| Q)$,因此连续的迭代彼此任意接近,并且迭代序列的每个极限点 $\bar P$ 都具有这两种总计。 + +沿着收敛于 $\bar P$ 的子序列令 $k \to \infty$,取 $P = \bar P$,得到 $D(\bar P \| Q) = \sum_k D(P^{(k + 1)} \| P^{(k)})$,由同样的恒等式,这对任何可行的 $P$ 都至多等于 $D(P \| Q)$。 + +因此每个极限点都是最小化者 $P^*$,迭代序列收敛于它 {cite}`Csiszar1975`。 + +该论证不需要双比例形式;当 $Q$ 存在零元时,双比例解可能不存在。 + +例如,设 $Q$ 的行为 $(1, 1)$ 和 $(0, 1)$,并设所有总计都等于 $1$。 + +唯一可行的表是单位矩阵。 + +它不具有 $a_i Q_{ij} b_j$(其中 $a$ 和 $b$ 为正)的形式,但 RAS 仍然收敛于它。 + +```{code-cell} ipython3 +def gen_kl(P, Q): + """Generalized KL divergence of nonnegative arrays.""" + mask = P > 0 + return np.sum(P[mask] * np.log(P[mask] / Q[mask])) - P.sum() + Q.sum() + + +def ras(Q, r, c, tol=1e-12, max_iter=10_000): + """Rescale rows and columns of Q to match totals r and c.""" + if not np.isclose(r.sum(), c.sum()): + raise ValueError("row and column totals must have the same sum") + P = Q.copy() + history = [P.copy()] + for _ in range(max_iter): + P = P * (r / P.sum(axis=1))[:, None] + history.append(P.copy()) + P = P * (c / P.sum(axis=0))[None, :] + history.append(P.copy()) + if np.max(np.abs(P.sum(axis=1) - r)) < tol * r.sum(): + break + else: + warnings.warn("RAS did not converge") + return P, history + + +Q_io = np.array([[20.0, 10.0, 5.0], + [8.0, 30.0, 12.0], + [6.0, 9.0, 25.0]]) +r_new = np.array([40.0, 55.0, 45.0]) +c_new = np.array([38.0, 52.0, 50.0]) + +P_io, history = ras(Q_io, r_new, c_new) +print("base table:\n", Q_io) +print("updated table:\n", np.round(P_io, 3)) +print("row totals:", np.round(P_io.sum(axis=1), 6), + " column totals:", np.round(P_io.sum(axis=0), 6)) +``` + +比值 $P^*_{ij} / Q_{ij} = a_i b_j$ 分解为一个行效应乘以一个列效应。 + +RAS 这个名字就描述了这一点:更新后的表是 $R A S$,其中 $A$ 是基准表,$R$ 和 $S$ 是行乘数和列乘数(我们的 $a$ 和 $b$)构成的对角矩阵。 + +如果比值 $R_{ij} = P^*_{ij}/Q_{ij}$ 分解为 $a_i b_j$,那么 $R_{ij} = R_{i1} R_{1j} / R_{11}$,因此用 $R_{i1} R_{1j} / R_{11}$ 去除 $R_{ij}$ 就剩下一个全为 $1$ 的矩阵。 + +```{code-cell} ipython3 +ratio = P_io / Q_io +print("P*/Q divided by its first column and first row:") +print(np.round(ratio / np.outer(ratio[:, 0], ratio[0, :] / ratio[0, 0]), 10)) +``` + +$P^*$ 到迭代序列的散度单调下降,直到达到舍入误差的水平;下图省略了低于该水平的值。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Convergence of the RAS algorithm + name: fig-ip-ras +--- +divergences = np.array([gen_kl(P_io, P) for P in history]) +steps = np.arange(len(divergences)) +keep = divergences > 1e-12 +fig, ax = plt.subplots() +ax.semilogy(steps[keep], divergences[keep], "o-") +ax.set_xlabel("rescaling step $k$") +ax.set_ylabel(r"$D(P^* \| P^{(k)})$") +plt.show() +``` + +我们对具有相同总计的其他表验证毕达哥拉斯定理 {eq}`ip_pythagoras_e`。 + +```{code-cell} ipython3 +# add multiples of a pattern with zero row and column sums +pattern = np.array([[1.0, -1.0, 0.0], [-1.0, 1.0, 0.0], [0.0, 0.0, 0.0]]) +for s in (-3.0, 2.0, 5.0): + P_other = P_io + s * pattern + print(f"D(P || Q) = {gen_kl(P_other, Q_io):.6f}, " + f"D(P || P*) + D(P* || Q) = " + f"{gen_kl(P_other, P_io) + gen_kl(P_io, Q_io):.6f}") +``` + +### 熵正则化最优传输 + +{doc}`opt_transport` 研究了选择一个具有行总计 $p$ 和列总计 $q$(该讲座的记号)的传输方案 $P$ 以最小化总成本 $\sum_{i, j} C_{ij} P_{ij}$ 的问题。 + +给该方案的负熵加上 $\varepsilon$ 倍后得到**熵正则化**问题 + +$$ +\min_{P} \sum_{i, j} C_{ij} P_{ij} + \varepsilon \sum_{i, j} P_{ij} \left( \log P_{ij} - 1 \right) . +$$ + +用 $K_{ij} = \exp(-C_{ij}/\varepsilon)$,目标函数等于 $\varepsilon \, D(P \| K) - \varepsilon \sum_{ij} K_{ij}$。 + +因此正则化问题就是求矩阵 $K$ 到具有所要求总计的方案集合的 e-投影。 + +该方案具有双比例形式 $P_{ij} = a_i K_{ij} b_j = a_i \exp(-C_{ij}/\varepsilon) b_j$,这与 {doc}`exponential_families` 中求解 {eq}`ef_logit_base` 的指数倾斜相同。 + +RAS 的重新缩放算法求解了它;在这种情形下,该算法被称为**辛克霍恩算法** {cite}`Sinkhorn1964`。 + +{cite:t}`Cuturi2013` 表明,辛克霍恩算法使大型最优传输问题变得可解。 + +{cite:t}`Galichon_2016` 和 {cite:t}`GalichonSalanie2022` 解释了 {cite:t}`ChooSiow2006` 的匹配模型(在该模型中,参与者对伙伴具有逻辑斯蒂偏好)如何导致了这类问题。 + +当每个参与者都被匹配时,Choo-Siow 模型恰好是一个具有固定总计的熵正则化传输问题。 + +当 $\varepsilon$ 很小时,$K$ 的元就非常小,因此我们在对数中进行重新缩放。 + +我们使用 {doc}`opt_transport` 中的例子,用 `linprog` 求解线性规划,并将其解与递减 $\varepsilon$ 时正则化问题的解进行比较。 + +```{code-cell} ipython3 +def sinkhorn(C, p, q, ε, tol=1e-10, max_iter=100_000): + """Entropy-regularized optimal transport by rescaling in logs.""" + log_K = -C / ε + log_a, log_b = np.zeros(len(p)), np.zeros(len(q)) + for _ in range(max_iter): + log_a = np.log(p) - logsumexp(log_K + log_b[None, :], axis=1) + log_b = np.log(q) - logsumexp(log_K + log_a[:, None], axis=0) + P = np.exp(log_a[:, None] + log_K + log_b[None, :]) + if np.max(np.abs(P.sum(axis=1) - p)) < tol * p.sum(): + break + else: + warnings.warn("Sinkhorn's algorithm did not converge") + return P + + +p_ot = np.array([50.0, 100.0, 150.0]) +q_ot = np.array([25.0, 115.0, 60.0, 30.0, 70.0]) +C_ot = np.array([[10.0, 15.0, 20.0, 20.0, 40.0], + [20.0, 40.0, 15.0, 30.0, 30.0], + [30.0, 35.0, 40.0, 55.0, 25.0]]) +m, n = C_ot.shape + +# the linear program of the optimal transport lecture +A_eq = np.vstack([np.kron(np.ones((1, n)), np.identity(m)), + np.kron(np.identity(n), np.ones((1, m)))]) +res_lp = linprog(C_ot.reshape(-1, order="F"), A_eq=A_eq[:-1], + b_eq=np.hstack([p_ot, q_ot])[:-1]) +P_lp = res_lp.x.reshape((m, n), order="F") + +print(f"linear program: cost = {res_lp.fun:.3f}") +for ε in (10.0, 3.0, 1.0, 0.1): + P_ε = sinkhorn(C_ot, p_ot, q_ot, ε) + print(f"ε = {ε:5.1f}: cost = {np.sum(C_ot * P_ε):9.3f}") +``` + +随着 $\varepsilon \to 0$,正则化解的成本收敛到最小成本。 + +正则化方案不一定收敛于 `linprog` 报告的方案。 + +```{code-cell} ipython3 +P_small = sinkhorn(C_ot, p_ot, q_ot, 0.05) +print("linprog plan:\n", np.round(P_lp, 2)) +print("limit of regularized plans:\n", np.round(P_small, 2)) + + +def plan_entropy(P): + """Entropy of the plan, normalized to be a probability distribution.""" + P = P[P > 1e-12] / P.sum() + return -np.sum(P * np.log(P)) + + +print(f"costs: {np.sum(C_ot * P_lp):.3f} and {np.sum(C_ot * P_small):.3f}") +print(f"entropies: {plan_entropy(P_lp):.4f} and {plan_entropy(P_small):.4f}") +``` + +这个问题有许多最优方案。 + +`linprog` 通常返回最优方案集合的一个顶点。 + +正则化方案收敛于熵最大的最优方案 {cite}`CominettiSanMartin1994`。 + +那个极限本身就是一个 e-投影。 + +由互补松弛性,最优方案恰好就是具有所要求总计且仅使用某个最优方案所使用的单元格的方案。 + +熵最大的最优方案是对那些单元格为 1 而其余为 0 的矩阵应用 RAS 方法的结果。 + +```{code-cell} ipython3 +support = (P_small > 1e-6 * p_ot.sum()).astype(float) +P_maxent, _ = ras(support, p_ot, q_ot) +print("RAS applied to the optimal support:\n", np.round(P_maxent, 2)) +print(f"cost = {np.sum(C_ot * P_maxent):.3f}, " + f"entropy = {plan_entropy(P_maxent):.4f}") +``` + +## 切尔诺夫信息 + +{doc}`divergence_measures` 将密度 $f$ 和 $g$ 的切尔诺夫熵(信息论学者称之为切尔诺夫信息)定义为 + +$$ +C(f, g) = - \log \min_{\phi \in (0,1)} \rho(\phi), \qquad +\rho(\phi) = \int f^{\phi}(x) g^{1 - \phi}(x) \, dx , +$$ + +而 {doc}`likelihood_ratio_process` 表明,它支配着随着观测值的积累,错误模型选择的概率下降的速率。 + +我们假设 $f$ 和 $g$ 不同且具有相同的支撑,使得 $\log \rho$(它在 $\phi = 0$ 和 $\phi = 1$ 处为零且严格凸)在一个内点 $\phi^*$ 处达到最小值。 + +信息投影赋予了切尔诺夫信息一个几何解释 {cite}`Nielsen2013`。 + +归一化几何混合 + +$$ +p_\phi(x) = \frac{f^{\phi}(x) g^{1 - \phi}(x)}{\rho(\phi)} +$$ + +构成了 $g$(在 $\phi = 0$ 处)和 $f$(在 $\phi = 1$ 处)之间的指数路径。 + +这条路径是一个一参数指数族,其充分统计量为 $\log(f/g)$,自然参数为 $\phi$,对数配分函数为 $\log \rho(\phi)$。 + +在 $\log \rho$ 的最小化者 $\phi^*$ 处,对数配分函数的导数消失,因此 $E_{p_{\phi^*}}[\log(f(X)/g(X))] = 0$。 + +因为 $D(p_\phi \| f) = (\phi - 1) E_{p_\phi}[\log(f/g)] - \log \rho(\phi)$ 以及 $D(p_\phi \| g) = \phi E_{p_\phi}[\log(f/g)] - \log \rho(\phi)$,由此可得 + +$$ +D(p_{\phi^*} \| f) = D(p_{\phi^*} \| g) = C(f, g) . +$$ + +*切尔诺夫信息是 $D(p_{\phi^*} \| f)$ 和 $D(p_{\phi^*} \| g)$ 的公共值,其中 $p_{\phi^*}$ 是 $f$ 和 $g$ 之间指数路径上与两者等距的唯一一点。* + +因为 $D(p \| f) - D(p \| g) = -E_p[\log(f(X)/g(X))]$,一个分布与 $f$ 和 $g$ 等距,恰好当对数似然比在该分布下的均值为零时成立。 + +线性族 $\mathcal{L}_0 = \{ p : E_p[\log(f/g)] = 0 \}$ 是垂直平分线的类比。 + +点 $p_{\phi^*}$ 同时是 $f$ 和 $g$ 到 $\mathcal{L}_0$ 的 e-投影:$f$ 的 e-投影是用 $\exp(\theta \log(f/g))$ 对 $f$ 进行的倾斜,它位于指数路径上,而 $p_{\phi^*}$ 是该路径上唯一位于 $\mathcal{L}_0$ 中的点。 + +这解释了为什么切尔诺夫信息支配着错误率。 + +一个选取似然值更高的模型的检验,会在 $\log(f/g)$ 的样本均值符号错误时出错。 + +如果数据来自 $f$,那就是经验分布落入半空间 $\{ p : E_p[\log(f/g)] \leq 0 \}$ 的事件。 + +因为 $E_f[\log(f/g)] = D(f \| g) > 0$,$f$ 到该半空间的 e-投影位于其边界 $\mathcal{L}_0$ 上,正如骰子例子中那样,该事件的概率以速率 $D(p_{\phi^*} \| f) = C(f, g)$ 衰减。 + +对有限集合上的分布而言,这就是 Sanov 定理;对密度而言,将克拉梅尔定理应用于 $\log(f(X)/g(X))$ 的样本均值给出相同的速率,因为它在零点处的速率函数是 $-\min_\phi \log \rho(\phi)$。 + +如果数据来自 $g$,错误事件是 $\{ p : E_p[\log(f/g)] \geq 0 \}$,速率是 $D(p_{\phi^*} \| g) = C(f, g)$。 + +我们使用 {doc}`divergence_measures` 中的两个贝塔分布,$f = $ Beta(1, 1),$g = $ Beta(3, 1.2)。 + +因为贝塔族是一个指数族,两个贝塔分布之间的指数路径保持在贝塔族内:$p_\phi$ 是参数为 $f$ 的参数乘以 $\phi$ 加上 $g$ 的参数乘以 $1 - \phi$ 的贝塔分布。 + +我们所需的所有量都有闭合形式。 + +```{code-cell} ipython3 +fa, fb, ga, gb = 1.0, 1.0, 3.0, 1.2 + + +def path_params(ϕ): + return ϕ * fa + (1 - ϕ) * ga, ϕ * fb + (1 - ϕ) * gb + + +def log_ρ(ϕ): + return (betaln(*path_params(ϕ)) - ϕ * betaln(fa, fb) + - (1 - ϕ) * betaln(ga, gb)) + + +def kl_beta(a1, b1, a2, b2): + """KL divergence of Beta(a1, b1) from Beta(a2, b2).""" + return (betaln(a2, b2) - betaln(a1, b1) + (a1 - a2) * digamma(a1) + + (b1 - b2) * digamma(b1) + (a2 - a1 + b2 - b1) * digamma(a1 + b1)) + + +res_ϕ = minimize_scalar(log_ρ, bounds=(1e-8, 1 - 1e-8), method="bounded", + options={"xatol": 1e-12}) +ϕ_star, C_fg = res_ϕ.x, -res_ϕ.fun +print(f"ϕ* = {ϕ_star:.6f}, Chernoff information C(f, g) = {C_fg:.6f}") +print(f"D(p_ϕ* || f) = {kl_beta(*path_params(ϕ_star), fa, fb):.6f}") +print(f"D(p_ϕ* || g) = {kl_beta(*path_params(ϕ_star), ga, gb):.6f}") +print("p_ϕ* = Beta({:.4f}, {:.4f})".format(*path_params(ϕ_star))) +``` + +切尔诺夫信息与在 {doc}`divergence_measures` 中通过数值积分计算出的值一致。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Point equally far from both distributions + name: fig-ip-chernoff +--- +ϕ_vals = np.linspace(0.001, 0.999, 300) +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) + +ax = axes[0] +ax.plot(ϕ_vals, [kl_beta(*path_params(ϕ), fa, fb) for ϕ in ϕ_vals], + label=r"$D(p_\phi \| f)$") +ax.plot(ϕ_vals, [kl_beta(*path_params(ϕ), ga, gb) for ϕ in ϕ_vals], + label=r"$D(p_\phi \| g)$") +ax.plot(ϕ_vals, -log_ρ(ϕ_vals), "k--", lw=1, label=r"$-\log\rho(\phi)$") +ax.plot([ϕ_star], [C_fg], "ko") +ax.axvline(ϕ_star, color="0.7", lw=0.8) +ax.set_xlabel(r"$\phi$") +ax.set_ylim(0, 0.6) +ax.legend() + +ax = axes[1] +z = np.linspace(0.001, 0.999, 300) +for (a_, b_), label in (((fa, fb), "$f$"), ((ga, gb), "$g$"), + (path_params(ϕ_star), r"$p_{\phi^*}$")): + ax.plot(z, np.exp((a_ - 1) * np.log(z) + (b_ - 1) * np.log(1 - z) + - betaln(a_, b_)), lw=2, label=label) +ax.set_xlabel("$x$") +ax.legend() +plt.tight_layout() +plt.show() +``` + +在左图中,两条散度曲线在 $\phi^*$ 处相交,它们的公共值等于 $-\log \rho(\phi)$ 的最大值,即切尔诺夫信息。 + +在右图中,$p_{\phi^*}$ 位于 $f$ 和 $g$ 之间。 + +## 结语 + +KL 散度不是一种距离。 + +它具有一种带有两类直线的几何:混合以及归一化几何混合,以及两种相应的投影。 + +由矩条件定义的集合上的 e-投影是一种指数倾斜,而指数族上的 m-投影匹配矩;每一种都是唯一的,并满足一个毕达哥拉斯定理。 + +本讲座将 m-投影应用于最大似然估计和互信息,并将 e-投影应用于最大熵和大偏差、鲁棒控制、投入产出表的更新、最优传输以及切尔诺夫信息。 + +鲁棒控制的最坏情形模型、RAS 的双比例表,以及正则化的传输方案,都是达到 {doc}`exponential_families` 中逻辑斯蒂公式 {eq}`ef_logit_base` 的那类指数倾斜。 + +{doc}`approximation_errors` 将 m-投影应用于误设定的时间序列模型和季节调整,{doc}`specification_tests` 将设定检验描述为 m-投影的比较,{doc}`turbulence_inference` 用它们来解读一个针对收入不稳定性证据而校准的搜寻模型的检验。 + +其他应用包括 EM 算法({cite:t}`CsiszarTusnady1984` 将其解释为交替投影),以及 {cite:t}`Amari2001` 对多个随机变量间相互作用的层次分解,{ref}`ip_ex_interactions` 对此进行了讨论。 + +## 练习 + +```{exercise} +:label: ip_ex_reweight + +调查统计学家和计量经济学家经常对样本重新加权,使其匹配从其他来源获知的总体矩。 + +设 $x_1, \ldots, x_n$ 是一个样本,其平均值与已知的总体均值 $\mu$ 不同。 + +有两种方法可以选择总和为一且满足 $\sum_i w_i x_i = \mu$ 的权重 $w_1, \ldots, w_n$: + +* **指数倾斜**:选择 $w$ 以最小化 $D(w \| q)$,其中 $q$ 对每个观测赋予权重 $1/n$;以及 +* **经验似然**:选择 $w$ 以最小化 $D(q \| w)$,等价地最大化 $\sum_i \log w_i$。 + +1. 证明指数倾斜是一个 e-投影,且其权重具有 $w_i \propto \exp(\theta x_i)$ 的形式。 +2. 证明经验似然权重具有 $w_i = 1 / \left( n (1 + \gamma (x_i - \mu)) \right)$ 的形式,其中 $\gamma$ 是一个标量。 +3. 抽取 $n = 200$ 对 $(x_i, y_i)$,其中 $x_i$ 服从对数正态分布,$y_i = 1 + 0.5 x_i + e_i$,其中 $e_i$ 为正态噪声。计算这两组权重,使得 $x$ 的加权均值等于其样本均值的 1.2 倍,比较这两组权重,并比较这两种重新加权后对 $y$ 的均值估计。 + +{cite:t}`KitamuraStutzer1997` 和 {cite:t}`Owen1988` 发展了基于这两种权重的估计量。 +``` + +```{solution-start} ip_ex_reweight +:class: dropdown +``` + +这是一种解法。 + +对于第 1 部分,满足 $\sum_i w_i x_i = \mu$ 的权重向量集合是一个线性族,因此在其上最小化 $D(w \| q)$ 是一个 e-投影;由 {prf:ref}`ip_thm_e_projection`,$w_i \propto q_i \exp(\theta x_i) \propto \exp(\theta x_i)$。 + +最小化 $D(q \| w)$ 则是将 $q$ 到该线性族的 m-投影;我们的定理没有涵盖这种情形。 + +对于第 2 部分,最大化 $\sum_i \log w_i$ 在约束 $\sum_i w_i = 1$ 和 $\sum_i w_i (x_i - \mu) = 0$ 下的拉格朗日函数的一阶条件为 $1/w_i = \alpha + \beta (x_i - \mu)$。 + +乘以 $w_i$ 并求和得到 $n = \alpha$,因此 $w_i = 1/(n(1 + \gamma (x_i - \mu)))$,其中 $\gamma = \beta / n$。 + +对于第 3 部分,我们通过求根来求解 $\theta$ 和 $\gamma$。 + +```{code-cell} ipython3 +rng_w = np.random.default_rng(11) +n = 200 +x = rng_w.lognormal(0.0, 0.5, size=n) +y = 1 + 0.5 * x + rng_w.normal(0, 0.3, size=n) +μ = 1.2 * x.mean() +q_n = np.full(n, 1 / n) + +θ_et, w_et = match_mean(q_n, x, μ, bracket=(-20, 20)) + +# γ must keep every weight positive +lo, hi = -1 / (x.max() - μ), -1 / (x.min() - μ) +γ_el = brentq(lambda γ: np.sum((x - μ) / (1 + γ * (x - μ))), + lo + 1e-9, hi - 1e-9) +w_el = 1 / (n * (1 + γ_el * (x - μ))) + +for name, wts in (("exponential tilting", w_et), + ("empirical likelihood", w_el)): + print(f"{name:21}: sum {wts.sum():.6f}, weighted mean of x {wts @ x:.4f} " + f"(target {μ:.4f}), weighted mean of y {wts @ y:.4f}") +print(f"unweighted mean of y: {y.mean():.4f}") + +order = np.argsort(x) +fig, ax = plt.subplots() +ax.plot(x[order], n * w_et[order], "o-", ms=3, label="exponential tilting") +ax.plot(x[order], n * w_el[order], "s--", ms=3, label="empirical likelihood") +ax.set_xlabel("$x_i$") +ax.set_ylabel(r"$n \times$ weight") +ax.legend() +plt.show() +``` + +两组权重都使 $y$ 的加权均值提升了约 $x$ 均值变化的一半。 + +给定 $x_i$,线性关系 $y = 1 + 0.5 x + e$ 使得期望的变化恰好是一半;偏离来自噪声 $e_i$。 + +这两种估计不同是因为权重不同。 + +指数倾斜权重随 $x$ 呈指数上升,而经验似然权重起初上升得更平缓,然后对最大的观测值上升得更陡峭。 + +```{solution-end} +``` + +```{exercise} +:label: ip_ex_constraint + +考虑讲座中鲁棒决策问题的约束版本: + +$$ +\min_q E_q[u(X)] \quad \text{subject to} \quad D(q \| \pi) \leq \kappa . +$$ + +1. 利用恒等式 $E_q[u] + \lambda D(q \| \pi) = \lambda D(q \| q^*_\lambda) - \lambda \log E_\pi \exp(-u/\lambda)$ 证明:如果 $\lambda > 0$ 满足 $D(q^*_\lambda \| \pi) = \kappa$,那么 $q^*_\lambda$ 就是约束问题的解。 +2. 对讲座中的消费例子以及 $\kappa \in \{0.01, 0.05, 0.2\}$,求出 $\lambda$ 和最小化后的期望效用。 +3. 对 $\kappa = 0.05$,用一个通用的约束优化器在消费网格上的所有满足 $D(q \| \pi) \leq \kappa$ 的分布上最小化期望效用,以此检验你的答案。 +``` + +```{solution-start} ip_ex_constraint +:class: dropdown +``` + +这是一种解法。 + +对于第 1 部分,设 $q$ 满足 $D(q \| \pi) \leq \kappa = D(q^*_\lambda \| \pi)$。 + +该恒等式给出 + +$$ +E_q[u] = \lambda D(q \| q^*_\lambda) - \lambda D(q \| \pi) - \lambda \log E_\pi e^{-u/\lambda} +\geq - \lambda \kappa - \lambda \log E_\pi e^{-u/\lambda} = E_{q^*_\lambda}[u] , +$$ + +其中最后一个等式是在 $q = q^*_\lambda$ 处应用该恒等式。 + +所以没有任何可行的 $q$ 能比 $q^*_\lambda$ 做得更好。 + +对于第 2 部分,$D(q^*_\lambda \| \pi)$ 随 $\lambda$ 上升而下降,因此我们可以在 $\log \lambda$ 上通过求根来找到 $\lambda$。 + +```{code-cell} ipython3 +def λ_for_entropy(κ): + log_λ = brentq(lambda s: kl(worst_case(np.exp(s)), π_base) - κ, -6, 3) + return np.exp(log_λ) + + +for κ in (0.01, 0.05, 0.2): + λ = λ_for_entropy(κ) + print(f"κ = {κ:4.2f}: λ = {λ:.4f} (exact {σ_c / np.sqrt(2 * κ):.4f}), " + f"min E_q[u] = {worst_case(λ) @ u_c:.5f} " + f"(exact {-σ_c * np.sqrt(2 * κ):.5f})") +``` + +精确值来自对数正态例子的公式:$D(q^*_\lambda \| \pi) = 0.2^2/(2\lambda^2) = \kappa$ 给出 $\lambda = 0.2/\sqrt{2\kappa}$,然后 $E_{q^*_\lambda}[u] = -0.2\sqrt{2\kappa}$。 + +对于第 3 部分,我们用对数概率 $z$ 对分布进行参数化,并使用 SciPy 的 SLSQP 方法,它可以处理非线性不等式约束。 + +用 $q = \operatorname{softmax}(z)$,$E_q[u]$ 和 $D(q \| \pi)$ 相对于 $z_k$ 的梯度分别是 $q_k (u_k - E_q[u])$ 和 $q_k (\log(q_k / \pi_k) - D(q \| \pi))$,我们将其传递给优化器。 + +```{code-cell} ipython3 +κ = 0.05 + + +def softmax(z): + return np.exp(z - logsumexp(z)) + + +def expected_u(z): + q = softmax(z) + return q @ u_c, q * (u_c - q @ u_c) + + +def entropy_slack(z): + q = softmax(z) + return κ - kl(q, π_base) + + +def entropy_slack_grad(z): + q = softmax(z) + log_ratio = np.log(q / π_base) + return -q * (log_ratio - q @ log_ratio) + + +res_q = minimize(expected_u, np.log(π_base), jac=True, method="SLSQP", + constraints=[{"type": "ineq", "fun": entropy_slack, + "jac": entropy_slack_grad}], + options={"ftol": 1e-12, "maxiter": 1000}) +q_opt = softmax(res_q.x) +q_tilt = worst_case(λ_for_entropy(κ)) +print(f"constrained optimizer: E_q[u] = {res_q.fun:.6f}, " + f"D(q || π) = {kl(q_opt, π_base):.6f}") +print(f"exponential tilt: E_q[u] = {q_tilt @ u_c:.6f}") +print(f"max |q_opt - q_tilt| = {np.max(np.abs(q_opt - q_tilt)):.2e}") +``` + +优化器找到了指数倾斜。 + +```{solution-end} +``` + +```{exercise} +:label: ip_ex_interactions + +设 $(X, Y, Z)$ 是三个二元随机变量,其联合分布 $p$ 对八个结果中的每一个都赋予正概率。 + +考虑三个嵌套的联合分布指数族: + +* $\mathcal{E}_1$:$X$、$Y$ 和 $Z$ 相互独立; +* $\mathcal{E}_2$:$\log q(x, y, z)$ 是一对一对 $(x, y)$、$(x, z)$ 和 $(y, z)$ 的函数之和,因此不存在三向相互作用;以及 +* $\mathcal{E}_3$:所有分布。 + +1. 使用 {prf:ref}`ip_thm_m_projection` 证明 $p$ 到 $\mathcal{E}_1$ 的 m-投影是其单变量边缘分布的乘积,并且 $p$ 到 $\mathcal{E}_2$ 的 m-投影是 $\mathcal{E}_2$ 中与 $p$ 具有相同双变量边缘分布的成员。 +2. 通过迭代比例拟合计算到 $\mathcal{E}_2$ 的 m-投影:从均匀分布开始,重复地重新缩放当前分布以匹配 $p$ 的三个双变量边缘分布中的每一个。 +3. 验证分解 $D(p \| p_1) = D(p \| p_2) + D(p_2 \| p_1)$,其中 $p_k$ 是到 $\mathcal{E}_k$ 的 m-投影。左边称为多元信息,衡量这三个变量之间的总体依赖性;右边第一项衡量三向相互作用,第二项衡量通过成对关系产生的依赖性。 +4. 将该分解应用于这样的分布:$X$ 和 $Y$ 是独立的公平抛硬币结果,$Z = (X + Y) \bmod 2$ 的概率为 $0.9$,$Z = (X + Y + 1) \bmod 2$ 的概率为 $0.1$。解读该结果。 + +{cite:t}`Amari2001` 针对任意数量的变量发展了这种分解。 +``` + +```{solution-start} ip_ex_interactions +:class: dropdown +``` + +这是一种解法。 + +对于第 1 部分,$\mathcal{E}_1$ 是一个指数族,其充分统计量是每个变量取各值的指示函数;它们的均值就是单变量边缘分布。 + +集合 $\mathcal{E}_2$ 是一个指数族,其充分统计量是每对变量取各值的指示函数;它们的均值就是双变量边缘分布。 + +{prf:ref}`ip_thm_m_projection` 说每个 m-投影都匹配这些均值。 + +单变量边缘分布的乘积位于 $\mathcal{E}_1$ 中并匹配它们,因此它就是到 $\mathcal{E}_1$ 的 m-投影。 + +类似地,$\mathcal{E}_2$ 中与 $p$ 具有相同双变量边缘分布的成员就是到 $\mathcal{E}_2$ 的 m-投影。 + +对于第 2 部分,均匀的起始点位于 $\mathcal{E}_2$ 中,且每次重新缩放都是用某一对变量的函数去乘当前分布,因此每次迭代都位于 $\mathcal{E}_2$ 中。 + +每次重新缩放都是到具有 $p$ 的某一个双变量边缘分布的分布的线性族的 e-投影。 + +由证明 RAS 收敛的论证,迭代序列收敛于 $\mathcal{E}_2$ 中具有 $p$ 的双变量边缘分布的分布,由第 1 部分可知这就是 $p_2$。 + +```{code-cell} ipython3 +def ipf_pairwise(p, tol=1e-13, max_iter=10_000): + """The distribution with p's pairwise marginals and no 3-way interaction.""" + q = np.full(p.shape, 1 / p.size) + for _ in range(max_iter): + q_old = q.copy() + for axis in (2, 1, 0): # match the marginal of the other two + q = q * (p.sum(axis=axis, keepdims=True) + / q.sum(axis=axis, keepdims=True)) + if np.max(np.abs(q - q_old)) < tol: + break + else: + warnings.warn("iterative proportional fitting did not converge") + return q + + +def independence_projection(p): + px, py, pz = p.sum(axis=(1, 2)), p.sum(axis=(0, 2)), p.sum(axis=(0, 1)) + return px[:, None, None] * py[None, :, None] * pz[None, None, :] + + +def decompose(p): + p1, p2 = independence_projection(p), ipf_pairwise(p) + total, three_way, pairs = kl(p, p1), kl(p, p2), kl(p2, p1) + print(f"multi-information D(p || p1) = {total:.6f}") + print(f"three-way interaction D(p || p2) = {three_way:.6f}") + print(f"pairwise dependence D(p2 || p1) = {pairs:.6f}") + print(f"sum of the two parts = {three_way + pairs:.6f}") + + +rng_ipf = np.random.default_rng(12) +p_random = rng_ipf.dirichlet(np.ones(8)).reshape(2, 2, 2) +decompose(p_random) +``` + +对于第 3 部分,$p_2$ 是 $p$ 到 $\mathcal{E}_2$ 的 m-投影,而 $p_1$ 位于 $\mathcal{E}_1 \subset \mathcal{E}_2$ 中,因此 $\mathcal{E}_2$ 的 {eq}`ip_pythagoras_m`(以 $p_1$ 代替 $q_\theta$)给出 $D(p \| p_1) = D(p \| p_2) + D(p_2 \| p_1)$,这与输出一致。 + +因为 $p$ 和 $p_2$ 具有相同的单变量边缘分布,$p_1$ 同时也是 $p_2$ 到 $\mathcal{E}_1$ 的 m-投影,因此 $D(p_2 \| p_1)$ 是 $p_2$ 的多元信息。 + +对于第 4 部分,每对变量都是独立的,但这三个变量之间存在强烈的依赖关系。 + +```{code-cell} ipython3 +p_xor = np.zeros((2, 2, 2)) +for x_ in (0, 1): + for y_ in (0, 1): + for z_ in (0, 1): + agree = (x_ + y_) % 2 == z_ + p_xor[x_, y_, z_] = 0.25 * (0.9 if agree else 0.1) +decompose(p_xor) +``` + +所有的依赖性都是三向相互作用:每对变量都是独立的,因此到 $\mathcal{E}_2$ 和 $\mathcal{E}_1$ 的 m-投影是一致的(两者都是均匀分布),然而知道其中任意两个变量就几乎能确定第三个变量。 + +像相关系数这样只着眼于成对变量的依赖性度量,会完全错过这一点。 + +```{solution-end} +``` \ No newline at end of file From 3f08ef578763e4d2f24800f0fccf078b67bfb22b Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:34 +1100 Subject: [PATCH 10/28] Update translation: .translate/state/information_projections.md.yml --- .translate/state/information_projections.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/information_projections.md.yml diff --git a/.translate/state/information_projections.md.yml b/.translate/state/information_projections.md.yml new file mode 100644 index 00000000..bafc2d1e --- /dev/null +++ b/.translate/state/information_projections.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 12 +tool-version: 0.33.0 From 7ef4101d6197fbbdce64350d1e1357eae3b401e4 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:35 +1100 Subject: [PATCH 11/28] Update translation: lectures/lq_permanent_income.md --- lectures/lq_permanent_income.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/lectures/lq_permanent_income.md b/lectures/lq_permanent_income.md index 35e9de5b..f80537ea 100644 --- a/lectures/lq_permanent_income.md +++ b/lectures/lq_permanent_income.md @@ -272,6 +272,8 @@ $$ (eq:sprob13) 因此,消费是一个**随机游走**,其新息为 $(1-\beta)d(\beta)w_{t+1}$。 +{doc}`approximation_errors` 描述了 {cite:t}`Sims1993` 如何利用这一公式表明,一个设定错误的收入季节性模型会使推断出的消费对收入的响应产生偏差。 + 将 {eq}`eq:sprob13` 与 {eq}`eq:sprob7` 结合,得到 $$ From 0dd9b1a4bca8382afd1ca2233fecdfd2c3bc88ce Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:37 +1100 Subject: [PATCH 12/28] Update translation: .translate/state/lq_permanent_income.md.yml --- .translate/state/lq_permanent_income.md.yml | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/.translate/state/lq_permanent_income.md.yml b/.translate/state/lq_permanent_income.md.yml index 27a75815..b018d311 100644 --- a/.translate/state/lq_permanent_income.md.yml +++ b/.translate/state/lq_permanent_income.md.yml @@ -1,6 +1,6 @@ -source-sha: f3fdcbcc564961a25c77a01f5e12638e70522552 -synced-at: "2026-08-01" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 mode: UPDATE section-count: 3 -tool-version: 0.24.0 +tool-version: 0.33.0 From dc50ec8db6eae4067e8aaa67e3b4be9241837f61 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:38 +1100 Subject: [PATCH 13/28] Update translation: lectures/lucas_prescott_search.md --- lectures/lucas_prescott_search.md | 1969 +++++++++++++++++++++++++++++ 1 file changed, 1969 insertions(+) create mode 100644 lectures/lucas_prescott_search.md diff --git a/lectures/lucas_prescott_search.md b/lectures/lucas_prescott_search.md new file mode 100644 index 00000000..75cda542 --- /dev/null +++ b/lectures/lucas_prescott_search.md @@ -0,0 +1,1969 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.17.1 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 均衡搜寻与失业 + headings: + Overview: 概述 + The economy: 该经济 + The economy::Timing: 时序 + The economy::The value of search: 搜寻的价值 + A worker's problem: 工人的问题 + Employment, wages, and two thresholds: 就业、工资与两个阈值 + Employment, wages, and two thresholds::How many work: 有多少人工作 + Employment, wages, and two thresholds::How many arrive: 有多少人到达 + Employment, wages, and two thresholds::Three regions, one transition law: 三个区域,一条转移规律 + A computable version: 一个可计算版本 + Economy-wide equilibrium: 全经济均衡 + Learning the value of search: 学习搜寻的价值 + Inside the equilibrium: 均衡内部 + Inside the equilibrium::What a market looks like: 一个市场的样子 + Inside the equilibrium::The workforce distribution and a sample path: 工作队伍的分布与一条样本路径 + Inside the equilibrium::Where markets sit: 市场所处的位置 + Inside the equilibrium::The wage distribution: 工资分布 + Efficiency: 效率 + Efficiency::Surplus: 剩余 + Efficiency::A planner for one market: 单个市场的规划者 + Efficiency::What the theorem says, and what it does not: 该定理说了什么,又没有说什么 + Relation to other lectures: 与其他讲座的关系 + Relation to other lectures::What the island model became: 岛屿模型的后续发展 + Relation to other lectures::Returns to labor mobility: 劳动力流动的回报 + Exercises: 练习 +--- + +(lucas_prescott_search)= +```{raw} jupyter + +``` + +# 均衡搜寻与失业 + +```{contents} Contents +:depth: 2 +``` + +除了 Anaconda 中已有的库之外,本讲座还需要以下库: + +```{code-cell} ipython3 +--- +tags: [hide-output] +--- +!pip install quantecon +``` + +## 概述 + +本讲座研究 {cite:t}`LucasPrescott1974`,这是与我们在 {doc}`lucas_prescott_investment` 中研究的投资论文相对应的劳动力市场论文。 + +这两篇论文由同一批作者在同一地点、相隔仅几年写成,并且使用了相同的工具:通过逐次近似求解的贝尔曼方程、布莱克韦尔定理,以及一个不变分布描述长期状态的马尔可夫过程。 + +变化的是问题本身。 + +卢卡斯和普雷斯科特关注的目标是 {cite:t}`friedman1968role` 和 {cite:t}`Phelps1967` 所提出的自然失业率。 + +用他们的话说,讨论自然失业率时所用的语言"似乎暗示它可能具有竞争均衡的性质",然而 + +> *并不存在任何理论模型,在其中一个非零的均衡失业率被确定下来并对其性质加以研究。* + +没有这样的模型,就没有一个框架可以用来提出失业所引发的福利问题,也无法解释为什么各国的平均失业率差异如此之大。 + +20世纪60年代的搜寻文献无法提供这样的模型。 + +{doc}`mccall_model` 描述了那一文献的核心问题:一个工人从已知的分布中抽取工资报价,并决定何时停止搜寻。 + +这是一个个体模型,它将工资分布视为给定的。 + +卢卡斯和普雷斯科特认为,他们所关心的问题无法以这种方式回答: + +> *最优劳动供给行为与其所依据的工资分布,必须在一个关于市场(而非个体)行为的模型中同时被确定。* + +他们构建了一个由许多空间上分离的市场组成的经济,每个市场都有其自身随机变动的劳动需求。 + +这一图景来自埃德蒙·费尔普斯(Edmund Phelps)的"岛屿经济",他们称之为"本模型的直接前身" {cite}`PhelpsEtAl1970`。 + +它不同于 {cite:t}`LucasNeutrality1972` 的岛屿模型,在那个模型中就业随总需求波动,但失业作为一种活动并未与闲暇区分开来。 + +在这里,二者是有区别的。 + +一个市场中的工人可以在出清该市场的工资下工作,或者离开。 + +离开意味着本期一无所获,下期到达其他地方,因此*失业就是在市场之间转移的行为*。 + +一切都是竞争性的,每个人都在优化,并且预期在 {cite:t}`muth1961` 以及投资论文 {cite:t}`Lucas_Prescott_1971` 的意义上是理性的:工人用来评估自身前景的分布,正是其自身决策所产生的分布。 + +该论文的核心对象是一个单一的数值 $\lambda$,即搜寻的预期现值。 + +单个市场将 $\lambda$ 视为给定的,正如一个竞争性企业将价格视为给定的一样。 + +在整个经济范围内,$\lambda$ 不断调整,直到各市场希望保留的劳动力总量等于经济实际拥有的劳动力。 + +在论文的均衡中,总有一些市场的工人数量超过其想要雇用的数量,因此失业在每一期都是正的;{ref}`lps_regions` 解释了我们所使用的可计算版本何时保持这一性质。 + +卢卡斯和普雷斯科特还论证说,这种失业未必意味着一种低效率。 + +```{note} +在该模型中不存在拥堵外部性,也没有匹配函数、没有讨价还价、也没有工资刚性:失业之所以存在,是因为转移需要一个时期,而在均衡中总有人正在转移之中。 + +正在搜寻的工人对其同伴造成的拥挤,与任何商品的卖方对其他卖方造成的拥挤方式相同,而 $\lambda$,正如任何其他均衡价格一样,传递出论文所称的增加一名搜寻者所带来的"正确的社会回报"。 + +该论文没有证明任何福利定理,也未解决实际劳动力市场是否存在重要外部效应这一问题。 + +{ref}`lps_efficiency` 表明,在该模型内部,这一主张可以被精确地表述:当转移需要一个时期时,平稳均衡最大化了从其自身工人分布中所能获得的剩余的预期现值,而 $\lambda$ 正是增加一名工人到搜寻者池中所带来的现值。 +``` + +本讲座首先阐述理论:工人的问题、描述一个市场的两个阈值,以及市场劳动力的运动规律。接着计算一个例子,通过求出均衡的 $\lambda$ 来封闭该经济,并探讨工人如何能够了解这一数值。 + +在考察了均衡内部的市场、劳动力和工资之后,本讲座证明了效率的主张,并将该模型与其后续发展联系起来。练习部分涉及论文中的比较静态分析、一种转移成本、论文自身的两状态例子、非定向搜寻、菲利普斯曲线,以及一项效率的数值检验。 + +让我们先引入一些库: + +```{code-cell} ipython3 +import warnings +import numpy as np +import matplotlib.pyplot as plt +import quantecon as qe +from collections import namedtuple +from scipy.optimize import brentq +``` + +## 该经济 + +存在许多市场,每个市场都有其自身的需求状态。 + +需求冲击*在各市场间是独立的*,因此总需求保持不变,而*在一个市场内部*则是持续的,因此今天的需求能告诉工人一些关于明天的信息。 + +在每个市场中,一个竞争性产业以劳动作为唯一投入生产单一商品。 + +如果 $p = D(s, Q)$ 是需求状态 $s$ 下的逆需求曲线,$q(n)$ 是 $m$ 个相同企业各自的生产函数,那么利润最大化会使工资等于劳动的边际价值产量,函数 + +```{math} +:label: lps_R +R(s, n) = D\big(s, m\,q(n)\big)\, q'(n) +``` + +概括了关于这个劳动力市场需求方的一切信息。 + +卢卡斯和普雷斯科特舍弃了 $D$ 和 $q$,而直接对 $R$ 做出假设:它为正、有界、可微,且满足 + +$$ +R_s(s,n) > 0, \qquad R_n(s,n) < 0 . +$$ + +需求状态 $s$ 服从一个具有转移密度 $f(s', s)$ 的马尔可夫过程,该过程拥有唯一的平稳分布。 + +其条件分布函数 $F(s', s)$ 随 $s$ 递减,因此今天较高的需求会使明天出现较高需求的可能性增大。 + +### 时序 + +一个市场在一期开始时拥有一个**工作队伍**(workforce)$y$,这是它所能雇用的最大人数。 + +然后,在该期内: + +1. 需求 $s$ 被实现,劳动力市场出清,以工资 $w = R(s, n)$ 雇用 $n \le y$ 名工人 +1. 未被雇用的 $y - n$ 名工人一无所获,加入搜寻者的队伍 +1. 被雇用的工人留在该市场进入下一期;搜寻者被分配到各个市场,下一期到达 + +因此,每当一个工人移动时,他恰好失业*一期*,失业者就是处于转移之中的工人。 + +### 搜寻的价值 + +由于需求冲击在各市场间是独立的,且市场数量众多,因此一旦经济稳定下来,整个经济中工人在各市场间的分布就保持不变,尽管每个市场的工作队伍都在波动。 + +因此,一个搜寻者的前景不取决于他正在离开的那个市场,搜寻的预期现值是一个单一的数值 $\lambda$。 + +搜寻者被分配到各个市场的方式*使到达的预期价值相等*,因此没有任何市场会给予到达的工人超过 $\lambda$ 的价值。 + +目前我们将 $\lambda$ 视为给定,并在 {ref}`lps_economy_wide` 中确定它。 + +## 工人的问题 + +设 $v(s, y, \lambda)$ 为一名工人在一期开始时处于需求为 $s$、工作队伍为 $y$ 的市场中时,其收入的预期现值,并设 $\beta \in (0,1)$ 为贴现因子。 + +卢卡斯和普雷斯科特通过考察三种情形得出了关于 $v$ 的泛函方程。 + +**情形 A:部分工人离开。** 离开的工人获得 $\lambda$。留下的工人所得既不能更多——因为离开者本可以留下,也不能更少——因为他们本可以离开。所以 $v = \lambda$。 + +**情形 B1:所有工人留下,没有新工人到达。** 当前就业人数为 $y$,工资为 $R(s,y)$,下一期的工作队伍仍为 $y$: + +$$ +v(s,y,\lambda) = R(s,y) + \beta \int v(s', y, \lambda) f(s', s)\,ds' . +$$ + +**情形 B2:所有工人留下,有新工人到达。** 到达的工人是搜寻者,因此下期处于该市场的贴现预期价值 $\beta \int v f\, ds'$ 必须恰好等于 $\lambda$,即促使他们搜寻而来的那个搜寻价值: + +$$ +v(s,y,\lambda) = R(s,y) + \lambda . +$$ + +当工作队伍保持不变时的贴现延续值低于 $\lambda$ 时,没有人到达,情形 B1 适用;当它本会超过 $\lambda$ 时,新到达者会将其拉低至 $\lambda$,情形 B2 适用。 + +无论哪种情况,延续值都是 $\lambda$ 与 $\beta \int v(s', y, \lambda) f(s', s)\, ds'$ 中的较小者,即下面的 $\min$。 + +当即使如此也会使一名工人所得低于 $\lambda$ 时,情形 A 适用,他会选择 $\lambda$,即 $\max$。 + +这三种情形合并为一个方程: + +```{math} +:label: lps_bellman +v(s, y, \lambda) = \max\left\{\lambda,\; +R(s,y) + \min\left[\lambda,\; +\beta \int v(s', y, \lambda) f(s', s)\, ds' \right]\right\} . +``` + +这两个算子承担不同的职能。*max* 是工人自身的选择权:他总是可以离开并获得 $\lambda$。 + +而 *min* 根本不是工人的选择,它是竞争在搜寻者之间施加的一种限制:如果该市场的延续值超过了 $\lambda$,搜寻者就会不断涌入,直到它不再超过为止。 + +```{prf:proposition} +:label: lps_prop_v + +对每一个 $\lambda$,方程 {eq}`lps_bellman` 都有唯一的有界连续解 $v$,并且从任意起点出发的逐次近似都收敛于它。 + +该解在 $s$ 和 $\lambda$ 上非递减,在 $y$ 上非递增。 +``` + +{prf:ref}`lps_prop_v` 的证明与 {doc}`lucas_prescott_investment` 中所使用的证明相同:由 {eq}`lps_bellman` 右边所定义的算子是单调的,并满足一个贴现条件,因此布莱克韦尔定理 {cite}`Blackwell1965` 适用。 + +在 $s$ 上的单调性正是使用了 $F(s', s)$ 随 $s$ 递减这一假设之处。一个工人所在的市场越拥挤,他的处境就越差,因为更大的工作队伍意味着更低的边际产量和更低的工资,这就是为什么 $v$ 在 $y$ 上非递增。 + +## 就业、工资与两个阈值 + +有了 $v$ 之后,市场行为的其余部分就取决于两条阈值规则。 + +### 有多少人工作 + +设 $\bar n(s, \lambda)$ 为这样一种就业水平:在此水平下,边际工人恰好在留下和搜寻之间感到无差异: + +```{math} +:label: lps_nbar +R(s, \bar n) + \beta \int v(s', \bar n, \lambda) f(s', s)\, ds' = \lambda . +``` + +左边是当就业和下一期的工作队伍都为 $\bar n$ 时,留下的工人所获得的:本期工资加上贴现的延续值。它在 $\bar n$ 上非递增。 + +如果边际收入在某个工作队伍水平上降为零——下面的可计算版本正是这样——那么该市场拥挤到这种程度时的价值已降至 $\lambda$,左边保持在 $\beta \lambda < \lambda$ 这一水平不变,{eq}`lps_nbar` 在那里不可能成立。 + +在整数的工作队伍网格上,{eq}`lps_nbar` 很少恰好相等,就业人数就是使左边至少等于 $\lambda$ 的最大 $\bar n$。 + +于是就业为 + +```{math} +:label: lps_employment +n(s, y, \lambda) = \min\{\bar n(s,\lambda),\; y\}, +\qquad w = R(s, n) , +``` + +该市场的失业为 $y - n$,恰好在工作队伍超过 $\bar n$ 时为正。 + +### 有多少人到达 + +一个市场只有在雇用了其全部工作队伍、且延续值仍超过 $\lambda$ 时,才会吸引搜寻者。 + +设 $\bar y(s,\lambda)$ 为使这一情形不再成立的工作队伍水平: + +```{math} +:label: lps_ybar +\beta \int v(s', \bar y, \lambda) f(s', s)\, ds' = \lambda . +``` + +到达者将市场填充到 $\bar y(s, \lambda)$,不再更多。注意 $\bar y \le \bar n$,因为 $R \ge 0$ 意味着任何仅凭延续值就足以覆盖 $\lambda$ 的工作队伍,在加上工资之后也必定覆盖它。 + +在边际产量为正的任何地方,这个不等式都是严格的:一个刚好值得搜寻者进入的市场,严格处于每个人都工作的那个范围之内。 + +在下文校准中最差的需求状态下,两个阈值在均衡的 $\lambda$ 值处都为零,该市场既不雇用任何人也不吸引任何人。 + +(lps_regions)= +### 三个区域,一条转移规律 + +{eq}`lps_employment` 和 {eq}`lps_ybar` 共同将 $(s,y)$ 平面划分为论文图3中的三个区域: + +* 区域 I,其中 $y > \bar n(s, \lambda)$,市场将工人释放到 $\bar n(s,\lambda)$; +* 区域 II,处于两个阈值之间,没有人移动; +* 区域 III,其中 $y < \bar y(s, \lambda)$,市场被填充到 $\bar y(s,\lambda)$。 + +它们赋予工作队伍的运动规律一个非常简单的形式: + +```{math} +:label: lps_transition +y' = \min\big\{\max\{y,\ \bar y(s,\lambda)\},\ \bar n(s,\lambda)\big\} . +``` + +贝尔曼方程是在*不变*的工作队伍 $y$ 处计算延续值的,而转移规律则将工作队伍转移到别处。 + +这并不矛盾,因为 $\max$ 和 $\min$ 已经处理了工作队伍发生转移的两种情形。 + +在到达者涌入之处,$\min$ 将延续值替换为 $\lambda$,而一个填充到 $\bar y$ 的市场,对其中任何人而言至少值 $\lambda$:在连续的工作队伍下恰好为 $\lambda$,在下文所用的整数网格上可能略高一些。在工人离开之处,$\max$ 将整个表达式替换为 $\lambda$。 + +因此,只有在工作队伍确实保持不变的那个区域,才会用到在不变的 $y$ 处计算的延续值。 + +```{note} +论文让到达人数为随机的:一个缺乏工人的市场会获得 $a(s,y,\lambda)\,x$ 名工人,其中 $x$ 是均值为1的正随机变量,因此搜寻必须"平均上消除租金",而不是精确地消除。 + +与论文附录中的数值例子一样,我们设 $x \equiv 1$,这就给出了 {eq}`lps_transition`。 + +在论文中,随机到达使平稳分布具有严格为正的密度(其命题3),因此总有某个市场在释放工人,失业在每一期都为正。 + +当 $x \equiv 1$、需求状态数有限且需求过程能在一期内从任何一个状态移动到任何另一个状态时,有三种情形。 + +* 如果 $\max_s \bar y(s) > \min_s \bar n(s)$,平稳分布是唯一的,失业为正:一个在 $\bar y$ 最大的状态下被填满的市场,会在需求降至 $\bar n$ 最小的状态时释放工人,而这两个时期会把一个市场从任何初始工作队伍带到 $\min_s \bar n(s)$。 +* 如果 $\max_s \bar y(s) = \min_s \bar n(s)$,平稳分布同样是唯一的,每个市场都保持该工作队伍水平,失业为零。 +* 如果 $\max_s \bar y(s) < \min_s \bar n(s)$,任何介于两者之间的工作队伍在每个需求状态下都保持不变,因此存在一族连续的平稳分布,失业为零。 + +{ref}`lps_ex_persistence` 涉及到第三类经济。 +``` + +## 一个可计算版本 + +我们遵循 {cite:t}`LucasPrescott1974` 的附录:有限数量的需求状态、整数工作队伍,以及对 {eq}`lps_bellman` 的价值函数迭代。 + +对于需求过程,我们使用论文脚注7中的例子,其中 $\log s$ 遵循一个持续性介于0和1之间的 AR(1) 过程。 + +我们用 Rouwenhorst 方法将其离散化为七个状态。 + +与 {cite:t}`Tauchen1986` 的方法不同,即使持续性很高,它也能精确匹配 $\log s$ 的持续性和平稳方差;{ref}`lps_ex_persistence` 的解答展示了若不如此会出现什么问题。 + +对于 $R$,我们采用一个随就业水平线性下降、在容量 $N$ 处降为零的边际收入表: + +$$ +R(s, n) = s\,\big(1 - n/N\big)^{+} . +$$ + +在两个需求状态且 $N = 100$ 的情况下,这正是论文例1中的表,绘制在其图5左上面板中,并按两倍放大。 + +容量设定偏离了理论——理论假设 $R$ 处处为正——但这是论文自身例子所采用的做法。它将一个市场可能想要的最大工作队伍限制在 $N$ 以下,因此论文的命题5——它承诺对每个市场的每个工作队伍水平都存在均衡——在此处仅对低于该上限的工作队伍水平成立。 + +它还决定了当工人充裕时失业如何变化,我们将在后面看到这一点。 + +$R$ 下降得多陡,决定了需求变动时就业变动的幅度,从而决定了把一名工人从一个市场送到另一个市场能获得多少收益;{ref}`lps_ex_two_states` 将讨论这一点。 + +函数 `make_model` 可以由任意需求链和边际收入表构建一个市场,`create_model` 则用它来构建本讲座的经济。 + +```{code-cell} ipython3 +Model = namedtuple('Model', ['P', 's', 'y', 'R', 'β']) + +def linear_R(s, y, N=200): + "Marginal revenue s (1 - n/N)^+, which reaches zero at the capacity N." + return s[:, None]*np.maximum(1 - y[None, :]/N, 0.0) + +def make_model(P, s, β=0.9, y_max=260, R=linear_R, **R_args): + "A market with demand chain (P, s) and marginal revenue R on y = 0, ..., y_max." + y = np.arange(y_max + 1) + R_sy = R(s, y, **R_args) + R_sy[:, 0] = 0.0 # an empty market pays nothing + return Model(P=P, s=s, y=y, R=R_sy, β=β) + +def create_model(n_s=7, ρ=0.9, sd=0.26, β=0.9, N=200, y_max=260, + method='rouwenhorst'): + """The island economy, with log demand an AR(1) discretized into n_s states. + + ρ and sd are the persistence and the stationary standard deviation of + log demand, so that changing ρ alone does not change how variable + demand is. N is a market's capacity: marginal revenue reaches zero there. + """ + σ = sd*np.sqrt(1 - ρ**2) + if method == 'rouwenhorst': + with warnings.catch_warnings(): # quantecon notes a change in its API + warnings.filterwarnings('ignore', message='The API of rouwenhorst', + category=UserWarning) + mc = qe.markov.rouwenhorst(n_s, ρ, σ) + else: + mc = qe.markov.tauchen(n_s, ρ, σ) + return make_model(mc.P, np.exp(mc.state_values), β, y_max, N=N) + +model = create_model() +print("demand states:", model.s.round(3)) +``` + +贝尔曼算子就是把 {eq}`lps_bellman` 中的积分替换为求和。 + +因为延续值是在不变的工作队伍处计算的,所以该方程对每个 $y$ 都是一个独立的问题,仅通过需求状态相互关联,这就是为什么求解它成本很低,也是为什么我们对空市场所采用的约定不会影响其他任何事情的原因。 + +我们需要某个搜寻价值才能求解它,这里我们使用 $\lambda = 7.1$,这是一个接近 {ref}`lps_economy_wide` 所计算出的均衡值。 + +参数 `c`——离开的成本,在 {ref}`lps_ex_cost` 之前均为零——将工人的外部选择从 $\lambda$ 变为 $\lambda - c$。 + +```{code-cell} ipython3 +def worker_value(model, λ, c=0.0, tol=1e-11, max_iter=10_000): + "Solve the worker's functional equation; a worker who leaves collects λ - c." + P, R, β = model.P, model.R, model.β + v = np.full(R.shape, λ - c) + for i in range(max_iter): + v_new = np.maximum(λ - c, R + np.minimum(λ, β*(P @ v))) + v_new[:, 0] = λ - c # an empty market holds no workers + if np.max(np.abs(v_new - v)) < tol: + return v_new, i + v = v_new + raise RuntimeError(f"no convergence in {max_iter} iterations at λ = {λ}") + +v, iters = worker_value(model, 7.1) +print(f"converged in {iters} iterations") +``` + +这两个阈值分别是使相关价值仍覆盖 $\lambda$ 的最大就业和最大工作队伍。 + +```{code-cell} ipython3 +def last_at_least(A, bar): + "For each row of A, the largest index past 0 at which A ≥ bar, or 0 if none." + return np.array([np.max(np.where(row >= bar)[0]) if (row[1:] >= bar).any() else 0 + for row in A]) + +def thresholds(model, v, λ, c=0.0): + "The employment threshold n̄(s) and the arrival threshold ȳ(s)." + EV = model.β*(model.P @ v) # the continuation at an unchanged workforce + n_bar = last_at_least(model.R + EV, λ - c) # staying on as the marginal worker + y_bar = last_at_least(EV, λ) # ≤ n_bar, because R ≥ 0 and c ≥ 0 + return n_bar, y_bar + +n_bar, y_bar = thresholds(model, v, 7.1) +print("n̄(s) =", n_bar) +print("ȳ(s) =", y_bar) +``` + +就业受 $\bar n$ 限制,到达者填充到 $\bar y$,而 {eq}`lps_transition` 则移动工作队伍。 + +这个在 $(s, y)$ 上的马尔可夫链的不变分布可以被精确地计算出来。 + +{eq}`lps_transition` 的一期要么使工作队伍保持原状,要么把它带到某个阈值上,因此从某个阈值出发,该链永远不会离开阈值的集合,于是我们可以求解一个由 $(s, t)$ 这种小的对所构成的链,其中 $t$ 取遍至多 $2 \times 7$ 个阈值。 + +一个不在阈值上的工作队伍,只有在所有需求状态下都保持不变时,才能在长期内携带概率。 + +这样一个工作队伍区间的两端本身就是保持不变的阈值,因此阈值上的链就会有不止一个不变分布:这正是 {ref}`lps_regions` 中的注记所述的第三种情形。 + +因此我们让 `qe.MarkovChain` 求出这个小链的每一个不变分布,并在出现多于一个时报错停止,而不是任意挑选一个。 + +该函数在某个阈值触及工作队伍网格顶端时也会停止,否则它会被悄无声息地截断。 + +```{code-cell} ipython3 +class NotBracketed(ValueError): + "A bisection was given a bracket that does not contain a switch." + +class NotUnique(ValueError): + "The invariant distribution of a market is not unique." + +class GridTooSmall(ValueError): + "A threshold has reached the top of the workforce grid." + +def stationary_distribution(model, n_bar, y_bar): + "The invariant distribution of the chain on (s, y), computed exactly." + P, n_s = model.P, len(model.s) + if n_bar.max() == model.y[-1]: + raise GridTooSmall(f"n̄ reaches the top of the grid, y = {model.y[-1]}") + T = np.unique(np.concatenate([n_bar, y_bar])) # the threshold values + k = len(T) + Q = np.zeros((n_s*k, n_s*k)) # the chain on (s, t), t in T + for i in range(n_s): + t_next = np.searchsorted(T, np.clip(T, y_bar[i], n_bar[i])) + for j in range(k): + Q[i*k + j, t_next[j]::k] = P[i] # to (s', t_next[j]) for every s' + ψ_T = qe.MarkovChain(Q).stationary_distributions + if len(ψ_T) > 1: + raise NotUnique(f"the chain on the thresholds has {len(ψ_T)} recurrent classes") + ψ = np.zeros((n_s, len(model.y))) + ψ[:, T] = ψ_T[0].reshape(n_s, k) + return ψ + +def market_outcomes(model, λ, c=0.0): + "Everything about a market at a given value of search, when leaving costs c." + v, _ = worker_value(model, λ, c) + n_bar, y_bar = thresholds(model, v, λ, c) + ψ = stationary_distribution(model, n_bar, y_bar) + y = model.y[None, :] + n = np.minimum(y, n_bar[:, None]) # employment in each (s, y) + w = np.take_along_axis(model.R, np.maximum(n, 1), axis=1) # and the wage + Φ = np.cumsum(model.R, axis=1) # surplus: see lps_efficiency + employment, wage_bill = (ψ*n).sum(), (ψ*n*w).sum() + return dict(v=v, n_bar=n_bar, y_bar=y_bar, ψ=ψ, n=n, w=w, + workforce=(ψ*y).sum(), employment=employment, + unemployment=(ψ*(y - n)).sum(), + # the mean wage per employed worker; empty markets get no weight + wage=wage_bill/employment if employment > 0 else np.nan, + wage_bill=wage_bill, + surplus=(ψ*np.take_along_axis(Φ, n, axis=1)).sum()) + +out = market_outcomes(model, 7.1) +print(f"workforce {out['workforce']:.2f}, employment {out['employment']:.2f}, " + f"unemployment {out['unemployment']:.2f}") +``` + +这个小链有 $n_s |T|$ 个状态,其中 $|T| \le 2 n_s$ 是不同阈值的数量,求出其不变分布所需的运算量约为 $(n_s |T|)^3$ 次。 + +这在七个状态时可忽略不计,在25个状态时也可处理——那里整个均衡的计算需要一两秒钟,但超过大约35个状态后就会变慢。 + +(lps_economy_wide)= +## 全经济均衡 + +到目前为止,$\lambda$ 一直是一个参数。 + +现在来封闭这个模型。 + +该经济拥有固定的工作队伍,每个市场为 $\mu$。 + +对任意的 $\lambda$,上面的计算给出了市场需求和工作队伍的平稳分布 $\Psi(s, y; \lambda)$,其在我们网格上的概率即数组 `ψ`。 + +用它对各市场的工作队伍求平均,得到该经济的**对工作队伍的需求**: + +```{math} +:label: lps_demand +E(y; \lambda) = \int y \, \Psi(ds, dy; \lambda) . +``` + +更高的 $\lambda$ 使每个市场更快地释放工人,并且填充得更少,因此 $E(y;\lambda)$ 是递减的。 + +均衡就是使各市场所希望保留的工人数恰好等于该经济所拥有数量的那个 $\lambda^*$: + +```{math} +:label: lps_equilibrium +E(y; \lambda^*) = \mu . +``` + +由于该表是递减的,二分法可以求出 $\lambda^*$。 + +在整数网格上,$E(y; \lambda)$ 是 $\lambda$ 的一个阶梯函数,每当某个阈值移动一个工人时就会跳跃,因此 {eq}`lps_equilibrium` 只能在一个阶梯之内成立,下文及练习中打印出的工作队伍与 $\mu$ 略有出入。 + +`equilibrium_λ` 首先检查 $\mu$ 是否位于区间两端所需求的工作队伍之间,若不是,则抛出 `NotBracketed`。 + +```{code-cell} ipython3 +def workforce_demand(model, λ, c=0.0): + "The average workforce per market at the value of search λ." + return market_outcomes(model, λ, c)['workforce'] + +def bisect(test, lo, hi, tol=1e-4, checked=False): + "Locate, to within tol, where a test that fails at lo and passes at hi switches." + if not checked and (test(lo) or not test(hi)): + raise NotBracketed(f"the test does not switch between {lo} and {hi}") + while hi - lo > tol: + mid = 0.5*(lo + hi) + lo, hi = (lo, mid) if test(mid) else (mid, hi) + return hi + +def equilibrium_λ(model, μ, c=0.0, lo=0.01, hi=40.0): + "Bisect on the decreasing demand schedule E(y; λ) = μ." + E_lo, E_hi = workforce_demand(model, lo, c), workforce_demand(model, hi, c) + if not E_lo > μ > E_hi: + raise NotBracketed(f"μ = {μ} is not between E(y; {lo}) = {E_lo:.2f} " + f"and E(y; {hi}) = {E_hi:.2f}") + return bisect(lambda λ: workforce_demand(model, λ, c) <= μ, lo, hi, checked=True) + +μ = 50 # workers per market, against a capacity of 200 +λ_star = equilibrium_λ(model, μ) +eq = market_outcomes(model, λ_star) + +print(f"equilibrium value of search λ* = {λ_star:.3f}") +print(f"workforce per market = {eq['workforce']:.2f} (target {μ})") +print(f"employment per market = {eq['employment']:.2f}") +print(f"unemployment per market = {eq['unemployment']:.2f}") +print(f"unemployment rate = {100*eq['unemployment']/eq['workforce']:.2f}%") +print(f"separation rate = " + f"{100*eq['unemployment']/eq['employment']:.2f}% of the employed per period") +print(f"mean wage = {eq['wage']:.3f}") +``` + +容量限制在括号检验中体现出来。 + +即使在 $\lambda = 0.01$ 时,一个市场也最多想要 $N - 1 = 199$ 名工人,因此一个每个市场有200名工人的经济不存在均衡,`equilibrium_λ` 会报告这一点,而不是返回一个数值。 + +```{code-cell} ipython3 +try: + equilibrium_λ(model, 200) +except NotBracketed as err: + print(err) +``` + +卢卡斯和普雷斯科特将均衡绘制为一条需求曲线与一条垂直的供给曲线相交,这正是均衡本身的样子。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: The market for workers, and unemployment along the demand curve + name: fig-lps-equilibrium +--- +grid = np.linspace(0.6, 15.0, 45) +demand = [market_outcomes(model, λ) for λ in grid] +E_y = np.array([d['workforce'] for d in demand]) +E_u = np.array([d['unemployment'] for d in demand]) + +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) + +axes[0].plot(E_y, grid, lw=2, label=r'demand $E(y;\lambda)$') +axes[0].axvline(μ, color='C1', lw=2, ls='--', label=r'supply $\mu$') +axes[0].plot(eq['workforce'], λ_star, 'ko', ms=8) +axes[0].set_xlabel('workforce per market') +axes[0].set_ylabel(r'value of search $\lambda$') +axes[0].legend() + +axes[1].plot(E_y, E_u, lw=2) +axes[1].plot(eq['workforce'], eq['unemployment'], 'ko', ms=8) +axes[1].set_xlabel('workforce per market') +axes[1].set_ylabel('unemployment per market') +plt.tight_layout() +plt.show() +``` + +左图即论文的图4。右图对应论文图5的底部面板,那里绘制了两个数值例子中平均失业随 $\lambda$ 变化的情况;由于 $E(y;\lambda)$ 是递减的,改为绘制它随工作队伍变化的图像会呈现出相同的隆起形状,只是被翻转了。 + +每个市场的失业并*非单调*地随工作队伍规模变化,这是卢卡斯和普雷斯科特从他们自己的例子中报告的一个特征,而均衡恰好位于这个隆起的顶部附近。 + +在工人充裕之处,$\lambda$ 较低,每个市场都被挤压到接近其容量,而每个需求状态的两个阈值都被挤压到一起,因此即使需求发生很大变化,被移动的工人也很少。 + +隆起的这一侧是容量所造成的。 + +在工人稀缺之处,$\lambda$ 较高,工作队伍较小,许多市场完全关闭。那里每个市场的失业人数很少,仅仅是因为每个市场本身的工人就很少;而作为一个*比率*,失业率却很高,因为留下的工人都处于最好的市场中,一旦需求下降就会被释放。 + +失业率和空置市场的占比都随 $\lambda$ 上升而上升: + +```{code-cell} ipython3 +for λ in (0.6, λ_star, 10.0, 13.0): + r = market_outcomes(model, λ) + print(f"λ = {λ:6.3f}: unemployment rate {100*r['unemployment']/r['workforce']:5.2f}%," + f" markets with no workers {100*r['ψ'][:, 0].sum():5.1f}%") +``` + +(lps_learning)= +## 学习搜寻的价值 + +卢卡斯和普雷斯科特用论文的一个章节讨论了一个均衡本身无法回答的问题:我们已经假设工人知道 $\lambda$,但没有说明他们是如何知道这一点的。 + +他们写道,归根结底这是"一个心理学理论而非经济学理论的问题,因此我们在此以一种特定的'适应性'(adaptive)方式来表述它,并不为此道歉"。 + +他们还说明了为什么这个问题是可以处理的。工人必须学习的分布 $\Psi$ 取决于他们自身的行为,因此随着他们认知的改变,他们正在学习的对象也随之改变,这"在一般情况下,可能带来难以克服的分析困难"。 + +而在此处却并非如此,"因为 $\Psi$ 中与工人决策相关的唯一特征就是参数 $\lambda$"。这正是 {doc}`ls_learning` 中那种自我指涉结构,被压缩为一个单一的数值。 + +他们给出的答案是一个适应性的故事。假设工人相信搜寻的价值高于实际值;那么离开其市场的人数就会多于按该回报率所能安置的数量。 + +在论文中,过量的搜寻者是通过使到达变量 $x$ 的均值上升来安置的,这样接收的市场获得的工人数就超过了其预期,而搜寻者和留任者所得到的工资都低于他们的预期。于是他们将这一数值向下修正。 + +记 $g$ 为一个在零点处取零值的递减函数: + +$$ +\frac{d\lambda}{dt} = g(\lambda - \lambda^{*}) . +$$ + +稳定性是通过假设 $g$ 具有特定符号而内置于模型中的,而这个符号的依据在于需求表是向下倾斜的:当 $\lambda$ 过高时,各市场想要的工人数少于该经济所拥有的数量。`equilibrium_λ` 也依赖于同一事实:它通过括住根来求解,而非遵循论文的调整过程,但二者都依赖于 $E(y;\lambda)$ 是递减的这一事实。 + +这个故事可以用离散时间来表述:工人持有一个信念 $\lambda_k$,各市场据此行动,这一信念会朝着对工人的超额需求的方向被修正, + +```{math} +:label: lps_tatonnement +\lambda_{k+1} = \lambda_k + \gamma\, \big(E(y; \lambda_k) - \mu\big) . +``` + +这正是瓦尔拉斯试错过程(tâtonnement),$\lambda$ 充当价格,$E(y;\lambda) - \mu$ 充当超额需求。它具有 {doc}`bounded_rationality` 中松弛算法 {eq}`relaxation` 的形式,应用于 $T(\lambda) = \lambda + E(y;\lambda) - \mu$,并且具有 E-稳定性的符号结构:$\lambda^*$ 之所以稳定,是因为 $E(y;\lambda)$ 向下倾斜。 + +这种类比只是形式上的,因为 $T$ 是在一个现值上加上若干工人,而不是从一个感知的 $\lambda$ 值映射到一个实际的 $\lambda$ 值。 + +在 $\lambda^*$ 附近,误差 $\lambda_k - \lambda^*$ 每一步都被乘以 $1 + \gamma E'(\lambda^*)$,其中 $E'$ 是该表的斜率。因此当 $0 < \gamma < 2/|E'(\lambda^*)|$ 时迭代收敛,当 $\gamma < 1/|E'(\lambda^*)|$ 时收敛且不会出现超调。 + +由于 $E(y;\lambda)$ 在整数网格上是一个阶梯函数,我们用一个跨越足够多阶梯的中心差分来估计其斜率。 + +```{code-cell} ipython3 +h = 0.5 +slope = (workforce_demand(model, λ_star + h) - workforce_demand(model, λ_star - h))/(2*h) +print(f"slope of E(y; λ) near λ*: {slope:.1f}") +print(f"monotone convergence for γ < {1/abs(slope):.3f}, " + f"convergence for γ < {2/abs(slope):.3f}") + +def learn_λ(model, μ, γ, λ_0=10.0, n=40): + "Revise the belief about λ in the direction of the excess demand for workers." + path = [λ_0] + for _ in range(n): + path.append(path[-1] + γ*(workforce_demand(model, path[-1]) - μ)) + return np.array(path) + +paths = {γ: learn_λ(model, μ, γ) for γ in (0.01, 0.05, 0.12)} +``` + +这里给出三个增益系数(gain),两个低于该界限,一个高于该界限。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Learning the value of search with gains below and above the bound + name: fig-lps-learning +--- +fig, axes = plt.subplots(1, 2, figsize=(11, 4), sharey=True) +for ax, gains in zip(axes, ((0.01, 0.05), (0.12,))): + for γ in gains: + ax.plot(paths[γ], lw=2, label=fr'$\gamma = {γ}$') + ax.axhline(λ_star, color='k', lw=0.8, ls='--', label=r'$\lambda^*$') + ax.set_xlabel('iteration $k$') + ax.legend(loc='upper right', framealpha=1) +axes[0].set_ylabel(r'belief $\lambda_k$') +plt.tight_layout() +plt.show() +``` + +当 $\gamma = 0.01$ 时,信念缓慢地下降到 $\lambda^*$;而当 $\gamma = 0.05$,接近 $1/|E'|$ 时,它只需几步即可到达。 + +当 $\gamma = 0.12$,超过该界限时,它并不收敛:它在一个高值和一个低值之间来回跳跃,在那两处表的斜率不同,超调不再增长。 + +这些界限的单位是每个工人的价值:如果每个市场的规模都翻一番,$E'$ 也会翻一番,稳定的增益系数就会减半。 + +卢卡斯和普雷斯科特特意补充说,这种稳定性"与对经常性重复发生的冲击的动态反应毫无关联",这正是学习一个均衡与在一个均衡内做出反应之间的区别。{doc}`ls_learning` 研究了当主体通过对数据做最小二乘估计,而非精确地计算 $E(y;\lambda)$ 时,会发生什么变化。 + +## 均衡内部 + +现在让我们看看均衡的内部:单个市场、工作队伍的分布,以及相同的工人所获得的工资。 + +### 一个市场的样子 + +这两个阈值描述了一个市场行为的全部内容。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: The two thresholds at the equilibrium, and the locus of employment and wages as demand shifts + name: fig-lps-thresholds +--- +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) + +axes[0].plot(model.s, eq['n_bar'], 'o-', lw=2, label=r'$\bar n(s)$: employment') +axes[0].plot(model.s, eq['y_bar'], 's--', lw=2, label=r'$\bar y(s)$: arrivals fill to') +axes[0].set_xlabel('demand state $s$') +axes[0].set_ylabel('workers') +axes[0].legend() + +employs = eq['n_bar'] > 0 # a state with n̄(s) = 0 employs nobody +wage_at_nbar = model.R[np.arange(len(model.s)), eq['n_bar']] +axes[1].plot(eq['n_bar'][employs], wage_at_nbar[employs], 'o-', lw=2) +axes[1].set_xlabel(r'employment $\bar n(s)$') +axes[1].set_ylabel('wage') +plt.tight_layout() +plt.show() +``` + +右图正是卢卡斯和普雷斯科特所称的 $SS$ 曲线,即如果一个市场的工作队伍从不对其形成约束,它在需求变动时所描出的就业与工资的组合。 + +它略去了 $\bar n(s) = 0$ 的那些需求状态,在那里一个市场不雇用任何人,也不支付任何工资。 + +这条曲线*不是水平的*。一条水平的 $SS$ 曲线意味着工人拥有单一的保留工资:高于它就接受工作,低于它就搜寻,这正是 {doc}`mccall_model` 中偏局部均衡的搜寻模型所*推导出*的结论。 + +在 $\bar n(s)$ 处,工资是能使留下恰好值 $\lambda$ 的那个数值,在整数网格误差范围内为 $w = \lambda - \beta \int v(s', \bar n, \lambda) f(s', s)\, ds'$,因此它与延续值的运动方向相反。 + +需求的下降以两种相反方向的方式改变延续值: + +1. 今天较低的需求使得明天出现较低需求更为可能,这使得留下的价值降低; +1. 今天较低的就业意味着明天工作队伍较小,这使得留下的价值升高。 + +第一种效应存在于具有持续性报价的局部均衡模型中,例如 {doc}`mccall_persist_trans`,在那里保留工资取决于状态。 + +第二种效应来自其他工人的决策,只有均衡模型才具备它。二者皆可能占主导,因此 $SS$ 曲线可以向任一方向倾斜。 + +在此次校准中,它向上倾斜——除了在几乎从不被访问的最高需求状态附近,在更精细的网格上会出现一些细微的波动——因此第二种效应占主导:需求下降之后,较小市场中的延续值更高,而使其边际工人留下所需的工资更低。 + +均衡也直接显示出保留工资的缺失。 + +```{code-cell} ipython3 +ψ, n, w = eq['ψ'], eq['n'], eq['w'] +sheds = model.y[None, :] > eq['n_bar'][:, None] # region I: workers leave +occurs = (ψ > 1e-12) & (n > 0) # markets that occur and employ + +print(f"lowest wage in a market that nobody leaves: {w[occurs & ~sheds].min():.3f}") +print(f"highest wage in a market that workers leave: {w[occurs & sheds].max():.3f}") +``` + +工人们留在支付低至第一个数字那样低工资的市场中,没有人离开;而在其他地方,工人们却离开支付第二个数字——更高工资的市场,因此没有任何一个分界点能把工人所接受的市场与他们所离开的市场区分开来。 + +但离开者并非是在拒绝一个报价以追求更好的东西,也没有人把他们拒之门外。在 $\bar n(s)$ 处,该市场中的每一个人,无论留下者还是离开者,获得的都是 $\lambda$;离开者本可以留下,但那样就业就会是整个工作队伍 $y$,工资就会降到 $R(s, y)$,而留下所带来的价值就会低于 $\lambda$。 + +因此,没有任何报价会因对照一个分界工资而被拒绝,也没有任何人在当前工资下被拒之门外:这里的边际是市场的就业水平。 + +### 工作队伍的分布与一条样本路径 + +由于到达人数是确定性的,且需求只取有限多个值,工作队伍在少数几个值之间移动,每个值都是某个需求状态的阈值。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: The invariant distribution of the workforce, and one market over sixty periods + name: fig-lps-distribution +--- +fig, axes = plt.subplots(1, 2, figsize=(12, 4)) + +ψ_y = eq['ψ'].sum(axis=0) # the distribution of the workforce +on_support = ψ_y > 1e-10 +axes[0].stem(model.y[on_support], ψ_y[on_support], basefmt=' ') +axes[0].set_xlabel('workforce $y$') +axes[0].set_ylabel('probability') + +T_path = 60 +idx = qe.MarkovChain(model.P).simulate_indices(T_path, init=3, random_state=0) +path_y = np.empty(T_path, dtype=int) +path_y[0] = eq['n_bar'][idx[0]] +for t in range(T_path - 1): + path_y[t+1] = np.clip(path_y[t], eq['y_bar'][idx[t]], eq['n_bar'][idx[t]]) +path_n = np.minimum(path_y, eq['n_bar'][idx]) + +periods = np.arange(T_path) +axes[1].plot(periods, path_y, lw=2, drawstyle='steps-post', label='workforce') +axes[1].plot(periods, path_n, lw=2, ls='--', drawstyle='steps-post', label='employment') +axes[1].fill_between(periods, path_n, path_y, step='post', alpha=0.3, label='unemployed') +axes[1].set_xlabel('period') +axes[1].set_ylabel('workers') +axes[1].legend() +plt.tight_layout() +plt.show() + +print(f"on this path demand falls {np.sum(idx[1:] < idx[:-1])} times, " + f"and the market sheds workers in {np.sum(path_n < path_y)} periods") +``` + +右图用一幅图展示了该模型的机制:只要需求不发生变动,市场就处于静止状态。 + +当需求下降到足以使 $\bar n(s)$ 跌破工作队伍水平时,两条线之间的缺口就打开了,而且只在那一期打开:该期的离开者就是失业者,到下一期他们已经身处别处。 + +一次较小的下降未必会打开这一缺口:一个只填充到 $\bar y(s)$ 的市场,能够承受需求下降到某个 $\bar n$ 仍高于其工作队伍水平的状态,而上面打印出的次数显示了这种情况在这条路径上发生的频率。 + +### 市场所处的位置 + +{eq}`lps_transition` 的三个区域构成了状态空间的一个划分,因此不变分布能够告诉我们经济中有多少部分处于每个区域。 + +```{code-cell} ipython3 +def where_markets_sit(model, r): + "Shares of markets in each region, and how often a market's demand stays put." + y = model.y[None, :] + sheds, fills = y > r['n_bar'][:, None], y < r['y_bar'][:, None] + ψ, still = r['ψ'], ~sheds & ~fills + return {'shedding workers': ψ[sheds].sum(), 'receiving workers': ψ[fills].sum(), + 'neither': ψ[still].sum(), 'with no workers': ψ[:, 0].sum(), + 'still, among the empty': ψ[still[:, 0], 0].sum()/ψ[:, 0].sum(), + 'demand stays put': ψ.sum(axis=1) @ np.diag(model.P)} + +for name, share in where_markets_sit(model, eq).items(): + print(f"{name:>24}: {100*share:5.1f}%") +``` + +在任何给定时期,大多数市场都是完全静止的。有百分之几在释放工人,该经济中全部的失业都来自这些市场;还有大约同样多的市场正在吸纳工人。 + +必须相互平衡的是工人的流动,而这一点确实成立:离开释放工人市场的工人,恰好等于到达吸纳工人市场的工人,正如 {ref}`lps_ex_undirected` 所验证的那样。 + +第四行统计的是完全没有工人的市场,第五行显示其中大多数是静止的。 + +这样的一个市场之所以变空,是因为需求下降到了 $\bar n(s) = 0$ 的状态,并且在需求低到使 $\bar y(s)$ 无法为正之前,它会一直保持空置;其余的则正在被重新填充,因为需求已经恢复。 + +这些占比取决于离散化方式。在七个需求状态下,一个市场的需求四分之三的时间保持原状,正如最后一行所示;下面给出了同样的数据,但使用25个状态。 + +```{code-cell} ipython3 +model_25 = create_model(n_s=25) +eq_25 = market_outcomes(model_25, equilibrium_λ(model_25, μ)) +print(f"{'':>24}{'7 states':>10}{'25 states':>11}") +for (name, a), b in zip(where_markets_sit(model, eq).items(), + where_markets_sit(model_25, eq_25).values()): + print(f"{name:>24}{100*a:>9.1f}%{100*b:>10.1f}%") +print(f"{'unemployment rate':>24}{100*eq['unemployment']/eq['workforce']:>9.2f}%" + f"{100*eq_25['unemployment']/eq_25['workforce']:>10.2f}%") +``` + +在25个状态下,需求变动的次数更多,但每次的幅度更小,释放和吸纳工人的市场占比略有上升,但大多数市场仍然保持静止,失业率几乎没有变化。 + +### 工资分布 + +现在我们可以回到工资分布,概述部分曾说过它必须与工人的行为一起被确定。搜寻文献把工资报价的分布交给其工人,并询问他应当如何利用它。 + +在这里,这个分布是一个输出:每个市场都按照其劳动的边际产量支付工资,而一个市场支付多少取决于它所得到的需求,以及有多少工人选择留在那里。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Wages across identical workers, at the equilibrium + name: fig-lps-wages +--- +weight = eq['ψ']*eq['n'] # weight a market by the workers it employs +weight = weight/weight.sum() + +w, p = eq['w'].ravel(), weight.ravel() +order = np.argsort(w) +w, p = w[order], p[order] +cdf = np.cumsum(p) +quantile = lambda q: w[np.searchsorted(cdf, q)] +mean = (w*p).sum() +flow = λ_star*(1 - model.β) # the flow value of search + +fig, ax = plt.subplots(figsize=(7.5, 4)) +ax.hist(w, bins=30, weights=p, color='C0', alpha=0.85) +ax.axvline(mean, color='k', lw=1.5, label=f'mean {mean:.3f}') +ax.axvline(flow, color='C1', lw=1.5, ls='--', label=f'flow value of search {flow:.3f}') +ax.set_xlabel('wage') +ax.set_ylabel('share of workers') +ax.set_xlim(0.5, 1.45) # a thin tail runs past this; see the print below +ax.legend() +plt.tight_layout() +plt.show() + +print(f"mean {mean:.3f}, " + f"p10 {quantile(0.1):.3f}, median {quantile(0.5):.3f}, p90 {quantile(0.9):.3f}") +print(f"p90/p10 = {quantile(0.9)/quantile(0.1):.2f}, " + f"highest wage paid {w[p > 1e-12].max():.3f}") +print(f"share paid less than the flow value of search: {100*p[w < flow].sum():.0f}%") +near = np.abs(w - flow) < 0.001*flow +print(f"share paid within 0.1% of it: {100*p[near].sum():.1f}%") +``` + +这个经济中的工人彼此完全相同:他们拥有相同的技能、相同的偏好、相同的信息,并且可以在任何时候自由离开。然而他们获得的报酬却并不相同,第九十百分位数的工资比第十百分位数的工资高出约一半。 + +这种分散性并非一种市场失灵或错误。它正是在任何会吸纳工人的市场中使*到达*的价值相等、并在任何会释放工人的市场中使留下或离开的价值相等的那种机制的体现。 + +在其他任何地方,在职者都获得了租金,因为新工人需要花费一期才能到达,所以各个职位的价值也是分散的。 + +```{code-cell} ipython3 +held = eq['ψ']*model.y[None, :] # weight a market by its workforce +print(f"λ* = {λ_star:.3f}, average value of a worker's position = " + f"{(held*eq['v']).sum()/held.sum():.3f}") +print(f"share of workers whose position is worth more than λ*: " + f"{100*held[eq['v'] > λ_star + 1e-9].sum()/held.sum():.0f}%") +``` + +大约十分之九的工人所持有的职位,对他们而言价值超过 $\lambda^*$。 + +图中的虚线是搜寻的流量价值,$(1-\beta)\lambda^*$,这是一个搜寻者的职位每期所值的数额。 + +大约三分之一的工人所获得的报酬低于这一水平,而他们依然留下。确切的比例是不稳定的。 + +在此网格上,大约十一分之一的一批工人所获工资与该流量价值的差距在千分之一以内,正如前面那次打印的最后一行所示,因此网格的微小变化就能把整个这批工人移到那条线的任一侧;在我们尝试过的各个网格中,这一比例在约30%到40%之间变动。 + +这其中并无任何疑难之处:一个工人所持有的并非他当前的工资,而是一个特定市场中的职位,它带有对该市场未来的一种求偿权,以及之后离开的选择权。 + +(lps_efficiency)= +## 效率 + +卢卡斯和普雷斯科特说,$\lambda$ 传递的是"增加一单位供给所带来的正确社会回报",但他们并未证明任何福利定理。 + +该模型确实有一个福利定理,其证明使用的正是 {doc}`lucas_prescott_investment` 中所研究的1971年论文所使用的手法:找到一个规划问题,使均衡正是它的解。 + +### 剩余 + +写出 + +$$ +\Phi(s, n) = \sum_{m=1}^{n} R(s, m) +$$ + +表示边际收入表在就业水平达到 $n$ 之前所围成的面积。 + +由 {eq}`lps_R` 可知,这是逆需求曲线 $D(s, \cdot)$ 在该产业产出(按企业计)之前所围成的面积:即总消费者剩余,这正是1971年论文的目标函数。 + +它仅在产品价格给定时(即 $D(s, Q) = s$ 时)才等于产出的价值,因此我们称之为**剩余**。 + +### 单个市场的规划者 + +考虑一个运营单个市场的规划者,它可以将工人移入或移出该市场,每释放一名工人到搜寻者队伍中就记入 $\lambda$ 的信用,每引入一名工人就被收取 $\lambda$ 的费用。 + +如果下一期的工作队伍为 $y'$,规划者本期雇用 $\min\{y, y'\}$ 名工人,并释放或引入其差额,因此其价值满足 + +```{math} +:label: lps_planner +W(s, y) = \max_{y'} \Big\{ \Phi\big(s, \min\{y, y'\}\big) + \lambda\, (y - y') ++ \beta \int W(s', y')\, f(s', s)\, ds' \Big\} . +``` + +这里是**边际价值论证**。$\Phi(s, \cdot)$ 是凹的,因为 $R$ 随 $n$ 下降,所以 $\Phi(s, \min\{y, y'\})$ 在 $(y, y')$ 上联合凹,而对 $y'$ 求最大化保持了凹性。 + +因此 $W$ 在 $y$ 上是凹的,规划者的选择由边际比较所主导,使用边际值 $\Delta W(s, y) = W(s, y) - W(s, y-1)$ 来衡量。 + +将多一名工人留到下一期,其价值为他的工资加上 $\beta \int \Delta W(s', y') f(s', s)\, ds'$,而释放他的价值是 $\lambda$;引入一人则花费 $\lambda$,其价值仅为贴现的延续值本身。 + +因此,规划者将工人释放到由 {eq}`lps_nbar` 定义的阈值(以 $\Delta W$ 替代 $v$),填充到由 {eq}`lps_ybar` 以同样方式定义的阈值,其他情况下则不改变工作队伍。 + +逐情形来看,边际工人在规划者释放工人处值 $\lambda$,在规划者填充工人处值 $R + \lambda$(因为他省下了一次到达的费用),而在中间情形下值 $R + \beta \int \Delta W f\, ds'$。 + +这正是情形 A、B2 和 B1,因此 $\Delta W$ 满足 {eq}`lps_bellman`。由 {prf:ref}`lps_prop_v` 中的唯一性,$\Delta W = v$,因此规划者的阈值就是均衡阈值,其策略就是 {eq}`lps_transition`。 + +这里是**加总论证**。给每个市场都配备这样一个规划者,使用相同的 $\lambda$,并将它们的目标函数相加。 + +项 $\lambda (y_t - y_{t+1})$ 相加之后,等于 $\lambda$ 乘以该经济总工作队伍的下降量,因为在一期中被释放的每一名工人,都会在下一期到达某处。 + +对任何可行的计划,总工作队伍是保持不变的,因此这些项相加为零,于是各规划者目标函数之和就是剩余的预期现值。 + +均衡策略使每个规划者的目标函数最大化,因此它也使其总和最大化。在 $\lambda = \lambda^*$ 处,该策略也是可行的,因为 $E(y; \lambda^*) = \mu$ 使总工作队伍保持不变。 + +因此,没有任何转移工人的可行方式能够产生比平稳均衡更高的剩余预期现值。 + +### 该定理说了什么,又没有说什么 + +精确地说,平稳均衡在以下条件下最大化**剩余的预期现值**: + +* 从其自身的平稳分布 $\Psi(\lambda^*)$ 出发, +* 在所有可行计划之中,包括非平稳的计划以及依赖于其他市场历史的计划,并要求转移需要花费一期, +* 市场数量连续统,因此均衡计划使该经济每期的工作队伍保持不变, +* 在整数网格的误差范围之内,在该网格上 $E(y; \lambda^*)$ 与 $\mu$ 相差一个阶梯,而非完全相等。 + +$\lambda^*$ 是增加一名工人到搜寻者队伍中的现值;就每期而言,经济工作队伍固定这一约束的乘子是 $(1-\beta)\lambda^*$,即前面工资图中的搜寻流量价值。 + +该定理关乎总剩余,而不论谁获得它,它并未说明剩余如何被分配:{ref}`lps_ex_cost` 找到了一个能降低剩余、却仍能使工人境况更好的政策。 + +它也并未对各个稳态进行排序。它的比较是从 $\Psi(\lambda^*)$ 出发,并计算通向任何其他配置途中发生的一切。 + +一个导向不同稳态的政策,可能会在该稳态中提高剩余,同时降低现值,因为到达那里首先需要耗费剩余。 + +{ref}`lps_ex_planner` 计算了两个例子,一个是对转移的小额补贴,另一个是比工人更有耐心的规划者所采用的阈值,二者都把稳态下每个工人的剩余提高到均衡水平之上。 + +这正是增长理论中**修正黄金法则**的逻辑:一个对未来进行贴现的规划者所选择的资本量,会少于使消费最大化的稳态资本量,因为建设额外的资本首先要花费消费。 + +此处重新分配一名工人,当前要花费他的一期产出,而回报则在以后获得,因此一个进行贴现的规划者所进行的重新分配会更少,其失业也会比使稳态剩余最大化的那种规划者更少。 + +这种效率是相对于转移这项需要花费一期的技术而言的,一旦未来按 $\beta$ 贴现,均衡所拥有的失业量,恰好等于这一技术所值得承受的失业量。 + +## 与其他讲座的关系 + +在 {cite:t}`BaleyLjungqvistSargent2023` 的第一条脚注中提到,摩擦性失业并不存在"标准模型",而是存在三类可行的模型:戴蒙德-莫滕森-皮萨里德斯传统中的匹配模型、{cite:t}`McCall1970` 的均衡版本,以及 {cite:t}`LucasPrescott1974` 传统中的搜寻-岛屿模型。 + +这三类模型的校准版本都能与劳动力市场流动数据相吻合,并对诸如失业保险和裁员税之类的政策给出合理的失业反应。 + +本讲座属于第三类,本系列中关于麦考尔(McCall)的讲座研究的则是第二类模型核心中局部均衡下工人的问题。此模型为它们所增添的内容,正是报价之外的一切。 + +一名工人所获得的工资报价,是其他工人决定前往何处所决定的工作队伍规模的那个市场中劳动的边际产量,而寻找他处的价值 $\lambda$,正是使整个经济中工人市场出清的那个数值。 + +一个结果是不存在保留工资,正如 $SS$ 曲线所显示的那样。另一个涉及就业与失业之间的流动率。 + +{doc}`lake_model` 将这两个比率都视为参数:找到工作的比率为 $0.283$(该讲座称之为 $\lambda$,不要与此处搜寻的价值相混淆),分离率为 $0.013$,这些数值作为输入,失业率由此得出。 + +{doc}`endogenous_lake` 使找到工作的比率成为一个麦考尔问题的结果,但仍然对照一个给定的工资分布。 + +在本讲座中,分离率是一个均衡对象,而找到工作的比率实质上由构造决定,近似为1。 + +上面打印出的分离率,约为每期就业人数的 $2.2$ 百分比,它结合了需求变动把市场带到其就业阈值以下的频繁程度,以及这样一个市场每次释放多少工人。 + +```{warning} +本模型中找到工作的比率*实质上为1*。 + +一名离开的工人在下一期开始时会被安置到某个市场中,因此一次失业的持续时间恰好为一期,而该模型对失业*持续时间*无话可说。 + +严格来说,一个接收搜寻者的市场,其需求可能下降得如此之多,以至于它释放的工人数超过了新工人到达前它所拥有的数量,使得部分新来者不得不再次移动;在此次校准中,即使新来者是首先被释放的对象,这种情况发生的概率也不到百分之一的搜寻者。 +``` + +### 岛屿模型的后续发展 + +{cite:t}`AlvarezVeracierto1999` 采用了这一模型并将其变成一个定量政策分析的工具,用他们的话说是"对卢卡斯和普雷斯科特(1974)的岛屿模型进行修改,以纳入非定向搜寻和退出劳动力的参与"。 + +有四点发生了变化。搜寻变得**非定向**:搜寻者"均匀地分布到所有岛屿",因此一个岛屿下一期的工作队伍是其自身的就业加上其他每一个岛屿都获得的同样的流入量,无论它是否想要这些工人。 + +于是一名搜寻者可能会落入一个自身正在释放工人的市场,不得不再次移动,因此失业的持续时间就成了一个均衡对象;在他们的自由放任基准情形下,平均为 $2.4$ 个时期。 + +非就业者获得了第二个选择,即在家生产,因此劳动力参与成为一个边际选择,模型从而有三种状态而非两种。 + +有了在家生产,搜寻者的流入由搜寻与留在家中之间的无差异来确定,因此劳动力规模成为一个结果,这一点很重要,因为他们所研究的政策恰恰作用于人们是否出去找工作这一问题。 + +岛屿以一种受持续性生产率冲击影响的递减报酬技术进行生产,而不是面对一条变动的需求曲线。并且各主体交易一整套完备的或有状态证券。 + +他们的自由放任均衡"是有效率的(尽管存在搜寻摩擦)",这是他们经济中与 {ref}`lps_efficiency` 相对应的结论,他们以此作为基准,评估了最低工资、两种工会模型、裁员税和失业保险,模型的一个时期为六周。 + +举例来说,一项相当于平均工资十二个月的裁员税,会使他们的失业率从 $5.3\%$ *下降*到 $3.7\%$,并使平均失业持续时间从 $2.4$ 个时期*上升*到 $5.1$ 个时期,同时将福利降低消费当量的 $2.1\%$ 到 $2.3\%$。 + +```{note} +非定向搜寻改变了 $\lambda$ 被确定的方式。 + +在定向搜寻下,$\lambda$ 是一种*价格*:提高它,每个市场就会更快地释放工人,并且填充得更少,因此 {eq}`lps_equilibrium` 把它确定下来,正如市场出清条件确定任何其他价格一样,而 {eq}`lps_bellman` 中的 $\min$ 使每个接收工人的市场对他们而言恰好值 $\lambda$。 + +在非定向搜寻下,一名搜寻者会随机落入一个市场,因此 $\lambda$ 需要其自身的一致性条件,共同的流入量 $U$ 成为第二个未知数。 + +在人口固定的情况下,该模型仍然是确定的:存在两个条件——人口条件和 $\lambda$ 的一致性条件——对应两个未知数。 + +在此次校准中,一旦流入量允许为分数,均衡就存在且唯一,但一般而言唯一性不再能够从单一的递减表中得出。 + +{ref}`lps_ex_undirected` 对此进行了计算:非定向搜寻降低了搜寻的价值,也降低了失业。 +``` + +### 劳动力流动的回报 + +卢卡斯和普雷斯科特在讨论转移成本时以一个猜想收尾:"这类实际的或感知到的更换工作成本的差异,可能有助于解释所观察到的不同职业之间以及不同国家之间平均失业率的差异"。 + +为什么平均失业率在各国之间存在差异,成了这类模型所关注的核心问题;例如 {cite:t}`LjungqvistSargent1998` 将欧洲失业率的上升追溯到慷慨的失业救济金与更为动荡的经济环境相互作用的结果。 + +{doc}`turbulence_inference` 计算了他们模型的自由放任版本,并探讨了动荡能在多大程度上解释美国收入不稳定性的上升。 + +{cite:t}`BaleyLjungqvistSargent2025` 将**劳动力流动的回报**——一名工人在他将要去的地方比在他现在所在的地方多产出多少——称为"所有带有摩擦性劳动力市场的现代宏观经济学模型中重要的中介力量"。 + +{cite:t}`BaleyLjungqvistSargent2023` 表明,同样的数量决定了裁员税对失业的影响,以及辞职时的技能损失能否逆转动荡对失业的影响。这是冲击本身以及传导这一冲击的技术二者共同作用下的一种性质。 + +{cite:t}`BaleyLjungqvistSargent2025` 发现,对企业规模动态进行校准、并通过新古典生产函数传导冲击的方法,能够给出对参数扰动具有稳健性的劳动力流动回报,而把人均生产率过程校准到劳动力市场统计数据的方法则可能较为脆弱。 + +他们所研究的模型之一是 {cite:t}`AlvarezVeracierto2001` 的模型,他们将一个生产率过程校准到戴维斯和霍尔蒂旺格的企业层面职位创造与破坏数据上。 + +那篇论文与 {cite:t}`AlvarezVeracierto1999` 是不同的模型:企业在一个共同的劳动力市场中招聘,该市场的位置随机变动,工资合同是刚性的,风险厌恶的主体在没有保险市场的情况下自我保险,并选择搜寻的努力程度。 + +一个企业用资本 $k$ 和劳动 $n$ 生产 $z\, k^{\theta_k} n^{\theta_n}$,生产率为 $z$,且 $\theta_k + \theta_n < 1$。 + +{cite:t}`BaleyLjungqvistSargent2025` 对该模型进行了简化,去掉了创建企业的成本和一项小额裁员税,使得每个企业都在即期市场上租赁资本和雇用劳动,并且全部企业都使边际产量相等,这给出了 + +```{math} +:label: lps_av_ratio +\frac{n_{\text{high}}}{n_{\text{low}}} += \left(\frac{z_{\text{high}}}{z_{\text{low}}}\right)^{1/(1-\theta_k-\theta_n)} , +``` + +因此一个冲击被一个指数放大,而当规模报酬趋近于1时,该指数会爆炸。 + +在阿尔瓦雷斯和维拉西耶托的参数设定下,他们发现一家低生产率企业的雇用人数仅为高生产率企业的 $3.81\%$,比例约为 $26$,并且高生产率企业占据了超过 $96\%$ 的全部就业:一个约为 $4.35$ 的指数把一个 $2.12$ 的生产率比率转化为一个约为 $26$ 的就业比率。 + +这是一种无摩擦的配置,因为每个企业都在同一个即期市场中招聘。在本模型中,转移需要一期,{ref}`lps_ex_two_states` 探讨了像 $26$ 这样的比率在这一摩擦之下能保留多少,而技术和冲击都与阿尔瓦雷斯和维拉西耶托的设定保持一致。 + +## 练习 + +```{exercise} +:label: lps_ex_persistence + +{cite:t}`LucasPrescott1974` 从他们自己的数值例子中报告了两项比较静态分析结果: + +> *总体而言,我们发现当需求的持续性较低或较高时,失业率都较低。在前一种情况下,重新分配工人几乎没有收益;而在后一种情况下,重新分配很少发生。正如预期的那样,在持续性固定不变的情况下,需求的可变性越大,失业水平就越高。* + +在保持 $\mu = 50$ 不变的情况下,检验这一校准中的两点结论。 + +1. 计算持续性 $\rho \in \{0.6, 0.8, 0.9, 0.95, 0.99\}$ 时的均衡失业率,在此过程中保持 $\log s$ 的*平稳*标准差固定为 $0.26$;并计算标准差为 $\{0.10, 0.18, 0.26, 0.34, 0.45\}$ 时的均衡失业率,此时保持 $\rho = 0.9$。解释你所发现的形状。 +1. 在需求独立($\rho = 0$)时,`equilibrium_λ` 会报错停止。证明此时失业恰好为零,且均衡的 $\lambda$ 并不唯一。这为什么不与论文的命题5相矛盾,也不与其失业在每一期都为正的主张相矛盾? +1. 在 $\rho = 0.3$ 时重复第2部分,先用七个需求状态,再用25个需求状态。这一比较对第1部分的低端说明了什么? +``` + +```{solution-start} lps_ex_persistence +:class: dropdown +``` + +在 $\rho$ 变化时保持平稳标准差不变,正是 `create_model` 的参数 `sd` 已经实现的功能,因此每个实验只需一次调用。 + +```{code-cell} ipython3 +def u_rate(model, μ): + "The equilibrium unemployment rate." + r = market_outcomes(model, equilibrium_λ(model, μ)) + return r['unemployment']/r['workforce'] + +for ρ in (0.6, 0.8, 0.9, 0.95, 0.99): + print(f"ρ = {ρ:<5} unemployment rate {100*u_rate(create_model(ρ=ρ), μ):.2f}%") +print() +for sd in (0.10, 0.18, 0.26, 0.34, 0.45): + print(f"sd = {sd:<5} unemployment rate {100*u_rate(create_model(sd=sd), μ):.2f}%") +``` + +可变性所带来的效果符合预期:移动幅度更大的需求能移动更多的工人,失业率随之稳步上升。 + +持续性则不然:失业在 $\rho$ 约为 $0.8$ 到 $0.9$ 之间达到峰值,而在 $\rho = 0.99$ 处又回落到峰值的约四分之一。这正是卢卡斯和普雷斯科特所描述的形状,而两端较低分别出于不同的原因。 + +当需求在各期之间几乎独立时,一个今天运气不佳的市场预计明天会恢复平均水平,因此留下的价值几乎不依赖于今天的需求,到达阈值 $\bar y(s)$ 随 $s$ 的变化极小,几乎没有工人被释放;第2部分将这一点推向极限。 + +当需求几乎是永久性的时,它从一期到下一期几乎不发生变化:在七状态链上,它很少变化,且一变化就是一整档;在更精细的链上变化更频繁,但每次幅度更小。无论哪种情况,在任何一期都很少有工人有理由移动,这正是论文所说的"重新分配很少发生"。 + +失业需要既值得对之做出反应、又频繁发生的需求变动,只有中等程度的持续性才能带来这样的组合。 + +对于第2部分,`equilibrium_λ` 之所以报错,是因为不变分布不唯一,这是 {ref}`lps_regions` 注记中的第三种情形。因此我们转而寻找使一个拥有 $\mu$ 名工人的市场永不移动的那些 $\lambda$ 值,即 $\max_s \bar y(s) \le \mu \le \min_s \bar n(s)$。 + +两个阈值都随 $\lambda$ 上升而下降,因此该集合的两端都可以用二分法求出。 + +```{code-cell} ipython3 +def rest_interval(model, μ, lo=0.01, hi=40.0): + "The interval of λ at which a market holding μ workers never moves, or None." + def ends(λ): + n_bar, y_bar = thresholds(model, worker_value(model, λ)[0], λ) + return y_bar.max(), n_bar.min() + λ_a = bisect(lambda λ: ends(λ)[0] <= μ, lo, hi) # no market fills past μ + λ_b = bisect(lambda λ: ends(λ)[1] < μ, lo, hi) # some market sheds below μ + return (λ_a, λ_b) if λ_a < λ_b else None + +m_iid = create_model(ρ=0.0) +n_bar_iid, y_bar_iid = thresholds(m_iid, worker_value(m_iid, 7.1)[0], 7.1) +print("rows of P identical:", np.allclose(m_iid.P, m_iid.P[0])) +print("at λ = 7.1: n̄(s) =", n_bar_iid, " ȳ(s) =", y_bar_iid) +print("λ at which a market holding μ never moves: from {:.3f} to {:.3f}".format( + *rest_interval(m_iid, μ))) +``` + +在需求独立的情况下,$P$ 的每一行都相同,因此延续值 $\beta \sum_{s'} v(s', y) P(s, s')$ 不依赖于 $s$,$\bar y$ 也是如此。 + +由于在每个状态下都有 $\bar y(s) \le \bar n(s)$,这个共同的 $\bar y$ 低于每个就业阈值。因此,任何介于 $\bar y$ 和 $\min_s \bar n(s)$ 之间的工作队伍,在每个需求状态下都保持原状,各市场会逐渐漂移进入这一区间并停留下来,长期来看没有任何人移动,失业恰好为零。 + +该区间内的每一个工作队伍都是吸收态,因此不变分布并不唯一,打印出的区间中每一个 $\lambda$ 值都支持一个每个市场持有 $\mu$ 名工人的均衡。 + +该区间的宽度是离散化链的一种性质:随着状态数的增加,该区间会收窄,因为最差需求状态会移向更远处,其就业阈值会向共同的 $\bar y$ 靠近。然而失业始终保持为零,因为每个 $\bar n(s)$ 都至少等于 $\bar y$。 + +这一切都不与论文相矛盾,起决定作用的差异在于 $x \equiv 1$。命题5中的唯一 $\lambda$ 以及失业在每一期都为正的主张,都依赖于命题3中唯一的平稳密度,而这是随机到达通过使某些市场过度填充所带来的,在确定性到达下,这一论证并不适用。 + +需求独立也违反了论文所坚持的 $F(s', s)$ 在 $s$ 上严格单调这一性质,其脚注7中的例子要求 AR(1) 系数严格为正。 + +对于第3部分,在 $\rho = 0.3$ 时同样的检验在两个网格上给出了不同的答案。 + +```{code-cell} ipython3 +for n_s in (7, 25): + m = create_model(n_s=n_s, ρ=0.3) + rest = rest_interval(m, μ) + if rest is not None: + print(f"{n_s:>2} states: at rest for λ from {rest[0]:.3f} to {rest[1]:.3f}") + else: + print(f"{n_s:>2} states: unique λ*, unemployment rate {100*u_rate(m, μ):.3f}%") +``` + +在七个状态下,$0.3$ 的持续性不足以使到达阈值跨越最低的就业阈值,因此经济处于静止状态,就像 $\rho = 0$ 时一样。在25个状态下,极端的需求状态更加分散,均衡是唯一的,失业为正但非常小。 + +因此在 $\rho = 0.3$ 时,无论哪种网格,失业都很低,正如论文所说,但它是否恰好为零,则是离散化链的一种性质。 + +离散化方法在另一端的影响更大。 + +```{code-cell} ipython3 +def chain_moments(m): + "Standard deviation and autocorrelation of log s, and the chance that s stays put." + π = qe.MarkovChain(m.P).stationary_distributions[0] + x = np.log(m.s) - π @ np.log(m.s) + sd = np.sqrt(π @ x**2) + return sd, (π*x) @ (m.P @ x)/sd**2, π @ np.diag(m.P) + +print(f"{'method':>12}{'ρ':>6}{'sd':>8}{'autocorr':>10}{'P(stay)':>9}{'u rate':>9}") +for ρ in (0.9, 0.99): + for method in ('rouwenhorst', 'tauchen'): + m = create_model(ρ=ρ, method=method) + sd, ac, stay = chain_moments(m) + print(f"{method:>12}{ρ:>6}{sd:>8.3f}{ac:>10.4f}{stay:>9.3f}" + f"{100*u_rate(m, μ):>8.2f}%") +``` + +Rouwenhorst 链精确地拥有目标标准差 $0.26$ 以及目标自相关系数。Tauchen 的七状态链在 $\rho = 0.9$ 时波动性过大,这使失业率上升了约四分之一。 + +在 $\rho = 0.99$ 时,它不仅波动性过大,持续性也过高:其需求状态几乎从不变化,因此市场几乎从不重新分配,失业几乎消失。 + +在七个状态下,这会使第1部分的右端看起来像左端;而在25个状态下,两种方法几乎一致。 + +```{solution-end} +``` + +```{exercise} +:label: lps_ex_cost + +在其结论部分,卢卡斯和普雷斯科特考虑了离开一个市场去搜寻所需的一次性成本 $c$,使得 {eq}`lps_nbar` 的右边从 $\lambda$ 变为 $\lambda - c$:一名离开的工人获得的是扣除到达成本之后的搜寻价值净值。 + +到达条件 {eq}`lps_ybar` 保持不变,因为它为那些已经在搜寻的工人所进入的市场定价。 + +他们说这项成本"会抬高图3中的曲线 $y = \bar n(s, \lambda)$,并使图4中的'需求曲线'向下移动。结果是失业下降,均衡工资现值 $\lambda$ 下降",并评论说这 + +> *说明较低的平均失业率,一般而言并不意味着工人的福利更高。* + +`market_outcomes` 和 `equilibrium_λ` 已经将该成本作为其参数 `c`。 + +对 $c \in \{0, 0.2, 0.5, 1, 2\}$,报告均衡的 $\lambda^*$ 和 $\lambda^* - c$、失业率、每市场剩余、每市场工资总额、租金(剩余减去工资总额),以及每工人每期的工人收入——即扣除工人为移动所支付费用后的工资总额,除以工作队伍。 + +1. $\lambda^*$ 是否如论文所说下降?如果不是,那么下降的是什么? +1. 较低的失业是否意味着境况更好?以每个工人的现值来比较工人所获得的收益与经济所损失的部分。 +1. 谁承担了成本?一种情形是将 $c$ 视为一种资源,在移动过程中被耗尽;另一种情形是将其视为一种税,其收入以总额方式返还给工人,分别回答这个问题。 +1. {cite:t}`BaleyLjungqvistSargent2023` 使用能够关闭所有内生分离的最小裁员税,作为一个模型中劳动力流动回报的诊断指标。用平均工资作为单位,计算此处在7、15和25个需求状态下能够做到这一点的最小 $c$。它为什么会随状态数变化? +``` + +```{solution-start} lps_ex_cost +:class: dropdown +``` + +在进行扫描之前,先观察一下该成本在自由放任(laissez-faire)搜寻价值下对工作队伍需求的影响。 + +```{code-cell} ipython3 +λ_0 = equilibrium_λ(model, μ) +for c in (0.0, 2.0): + n_bar_c, y_bar_c = thresholds(model, worker_value(model, λ_0, c)[0], λ_0, c) + print(f"c = {c}: workforce demand {workforce_demand(model, λ_0, c):5.1f}, " + f"n̄(s) = {n_bar_c}, ȳ(s) = {y_bar_c}") +``` + +该成本提高了工作队伍需求,因此新的 $\lambda^*$ 高于旧的,我们从那里开始每次二分法。这也使它远离低 $\lambda$ 值区域——在那里,存在成本时不变分布并不唯一,二分法会因此停止。 + +在一个平稳分布中,每一位失业工人本期都恰好离开了一次他的市场,因此工人所支付的移动成本总计为 $c$ 乘以每市场的失业人数。 + +```{code-cell} ipython3 +results = {} +for c in (0.0, 0.2, 0.5, 1.0, 2.0): + λ_c = equilibrium_λ(model, μ, c, lo=λ_0) if c > 0 else λ_0 + results[c] = (λ_c, market_outcomes(model, λ_c, c)) + +income = lambda r, c: (r['wage_bill'] - c*r['unemployment'])/r['workforce'] +rents = lambda r: r['surplus'] - r['wage_bill'] + +print(f"{'c':>5}{'λ*':>8}{'λ*-c':>8}{'u rate':>9}{'surplus':>9}{'wages':>8}" + f"{'rents':>8}{'income':>9}") +for c, (λ_c, r) in results.items(): + print(f"{c:>5}{λ_c:>8.3f}{λ_c - c:>8.3f}" + f"{100*r['unemployment']/r['workforce']:>8.2f}%{r['surplus']:>9.3f}" + f"{r['wage_bill']:>8.3f}{rents(r):>8.3f}{income(r, c):>9.4f}") +``` + +剩余、工资和租金都是各市场的流量,而收入是各工人的流量。为了比较工人所获得的收益与经济所损失的部分,我们把二者都换算成每个工人的现值,即把每个工人的流量除以 $1 - \beta$。 + +```{code-cell} ipython3 +β = model.β +r_0 = results[0.0][1] +pv = lambda flow: flow/(1 - β) +surplus_pw = lambda r: r['surplus']/r['workforce'] +print(f"{'c':>5}{'workers gain':>14}{'surplus lost':>14}{'ratio':>7}") +for c, (_, r) in results.items(): + gain = pv(income(r, c) - income(r_0, 0.0)) + loss = pv(surplus_pw(r_0) - surplus_pw(r)) + ratio = f"{loss/gain:7.1f}" if gain > 0 else f"{'':>7}" + print(f"{c:>5}{gain:>14.4f}{loss:>14.4f}{ratio}") + +r_2 = results[2.0][1] +print(f"\nc = 2: unemployment falls {100*(1 - r_2['unemployment']/r_0['unemployment']):.0f}%, " + f"the wage bill rises {100*(r_2['wage_bill']/r_0['wage_bill'] - 1):.1f}%, " + f"rents fall {100*(1 - rents(r_2)/rents(r_0)):.0f}%") +print(f"moving costs paid, a present value per worker: " + f"{pv(2.0*r_2['unemployment']/r_2['workforce']):.4f}") +``` + +对于第1部分,卢卡斯和普雷斯科特说该成本会使图4中的需求曲线下移,并降低 $\lambda$,但此处恰好相反。 + +在自由放任的 $\lambda^*$ 处,该成本使工作队伍需求提高了约一半。它在每一个有人工作的需求状态下都大幅提高了就业阈值 $\bar n(s)$,因为一个本会离开的工人现在还要放弃 $c$;同时它略微降低了到达阈值。 + +这正是论文自己的第一步,"抬高曲线 $y = \bar n(s, \lambda)$",而由于图4的纵轴是 $\lambda$,这实际上是把需求曲线向上移动,而非向下移动。 + +由于想要的工人数超过了该经济所拥有的数量,$\lambda^*$ 必须上升,事实也确实如此。下降的是 $\lambda^* - c$,即扣除成本之后离开这一选择权的价值,这正是一名工人在决定是否留下时所比较的数值,论文的表述对这个数值成立,而非对 $\lambda^*$ 本身成立。 + +对于第2部分,成本为2时,按度量得到的失业下降了接近十分之九。而按扣除移动成本后的收入来衡量,从 $c = 0.5$ 起,工人明显受益。 + +对于更小的成本,他们为移动所支付的费用几乎抵消了额外的工资,因此收益接近于零,在此网格上,$c = 0.2$ 时甚至略为负值。 + +经济所损失的超过了工人所获得的:在 $c = 2$ 时,剩余的下降幅度约为工人收入上升幅度的两到两倍半。这些都是稳态之间的比较,并未计入从一个稳态过渡到另一个稳态的过程。 + +因此较低的失业并非一个福利指标,但这一教训与论文所给出的形式有所不同:卢卡斯和普雷斯科特的工人境况变差是因为 $\lambda$ 下降,而我们的工人境况变好,整个经济却变差了。 + +该成本所消除的失业是*生产性的*。那些工人在任何有意义的层面上都不是闲置的;他们正处于从边际产量已经下降的市场转移到边际产量更高的市场的途中,而该成本使他们留在原地。 + +对于第3部分,工资总额略有上升,而租金——剩余减去工资总额——下降了约五分之一。 + +剩余是 $R$ 之下的面积,因此租金是企业的利润,加上——当产品需求向下倾斜时——该市场商品购买者的消费者剩余,承担这部分的正是他们。 + +账目如何平衡取决于 $c$ 究竟是什么。如果它是一种真实的资源,上面所打印出的移动成本也会被额外耗费,在剩余损失之上,由工人承担。 + +如果它是一种以总额形式返还给工人的税,除了剩余损失之外没有任何东西被耗费,返还的部分会在每一期把这些移动成本原封不动地还给工人,而不改变任何人的决策,因此工人获益更多。 + +剩余损失的含义在这两种情形下也有所不同。{ref}`lps_ex_planner` 表明,在资源成本下,均衡正是对应于更昂贵的移动技术下规划者的配置,因此较低的剩余是更差技术所付出的代价,而非一种低效率;而在返还式的税收下,技术并未改变,均衡不再是该技术下规划者的配置,因此较低的剩余是一种效率损失。 + +对于第4部分,回想一下 {ref}`lps_regions` 中的注记。分离恰好在存在这样一个 $\lambda$ 时停止:在该 $\lambda$ 下,一个拥有 $\mu$ 名工人的市场永不移动——没有任何状态的到达阈值高于 $\mu$,也没有任何状态的就业阈值低于 $\mu$。 + +该成本会提高就业阈值,因此我们寻找使这样一个 $\lambda$ 存在的最小成本。 + +一旦分离停止,每个市场就会永远持有 $\mu$ 名工人,因此需求状态为 $s$ 的工人所持有的价值为 $v_s$,其中 $v = (I - \beta P)^{-1} R(\cdot, \mu)$,而当 $\beta (Pv)_s \le \lambda \le v_s + c$ 对每个 $s$ 都成立时,没有人离开或到达。 + +这给出了一个可以与计算结果相对照的公式,$c_{\min} \approx \beta \max_s (Pv)_s - \min_s v_s$,它忽略了整数网格。 + +```{code-cell} ipython3 +def at_rest_values(model, μ): + "The value of a position when every market holds μ workers for ever." + return np.linalg.solve(np.eye(len(model.s)) - model.β*model.P, model.R[:, μ]) + +def min_cost(model, μ, lo=1.0, hi=20.0, c_hi=20.0): + "The smallest c at which some λ leaves a market holding μ workers at rest." + def at_rest(c): + ends = lambda λ: thresholds(model, worker_value(model, λ, c)[0], λ, c) + λ_a = bisect(lambda λ: ends(λ)[1].max() <= μ, lo, hi, tol=1e-3) # nobody fills past μ + n_bar, y_bar = ends(λ_a) + return y_bar.max() <= μ <= n_bar.min() + return bisect(at_rest, 0.0, c_hi, tol=1e-2) + +print(f"{'states':>7}{'c_min/wage':>12}{'formula':>9}{'log s ranges over':>20}") +for n_s in (7, 15, 25): + m = create_model(n_s=n_s) + v_rest = at_rest_values(m, μ) + wage = qe.MarkovChain(m.P).stationary_distributions[0] @ m.R[:, μ] + formula = m.β*(m.P @ v_rest).max() - v_rest.min() + print(f"{n_s:>7}{min_cost(m, μ)/wage:>12.2f}{formula/wage:>9.2f}" + f"{np.log(m.s).min():>11.2f} to {np.log(m.s).max():.2f}") +``` + +这里作为单位所使用的工资,是在每个市场都持有 $\mu$ 名工人时的平均工资,这正是分离停止之后该经济所呈现的状态;它与自由放任下的平均工资相差不到百分之零点五。 + +使所有分离停止的成本随状态数的增加而增大,公式解释了原因。它由一个市场可能处于的最好与最差需求状态之间的差距所决定,而 Rouwenhorst 链把其极端状态置于 $\log s$ 的 $\pm 0.26 \sqrt{n_s - 1}$ 处,因此随着状态数增加,它们彼此分离得更远。 + +$\log s$ 本身是一个支撑无界的 AR(1) 过程,因此对于具有连续需求的模型而言,没有任何有限的成本能够停止所有分离:此处所计算出的数值衡量的是离散化需求过程的支撑范围。 + +对于 {ref}`lps_ex_two_states` 中那种需求以概率 $\rho$ 保持不变、$R(s,n) = s\, g(n)$ 的对称两状态链,该公式有一个闭式解: + +$$ +\frac{c_{\min}}{\bar w} += -1 + \frac{s_{\text{high}} - s_{\text{low}}}{s_{\text{high}} + s_{\text{low}}} +\cdot \frac{1 + \beta(2\rho - 1)}{1 - \beta(2\rho - 1)} , +$$ + +在那里约为 $1.05$ 个时期的工资,它取决于需求过程和 $\beta$,但不取决于 $g$ 的形状:在这个模型中,该诊断指标衡量的是需求的分散程度和持续性,而非 $R$ 的曲率。 + +该校准并未说明一个时期有多长;在 $\beta = 0.9$ 时,很自然地把它解读为一年,这将使每一段失业持续一年之久。作为比较,在 {cite:t}`BaleyLjungqvistSargent2023` 所用的作为基准的 Ljungqvist–Sargent 匹配模型中,相当于每位工人一年产出 $163\%$ 到 $184\%$ 的裁员税能够关闭所有内生分离,而该模型的一个时期为半个季度的一半。 + +贝利、永奎斯特和萨金特的观点是,这个数字必须是*很大*的才有可信度,因为在裁员成本千差万别的各个经济中,都观察到了大量的重新分配。 + +```{solution-end} +``` + +```{exercise} +:label: lps_ex_two_states + +{cite:t}`LucasPrescott1974` 附录中的数值例子只使用了两个需求状态,其中 + +$$ +P = \begin{bmatrix} \rho & 1 - \rho \\ 1 - \rho & \rho \end{bmatrix} , +\qquad \rho = 0.9, +\qquad s \in \{1, 2\}, +\qquad \beta = 0.9 . +$$ + +此处 $\rho$ 是需求保持原状的概率,因此 $s$ 的自相关系数为 $2\rho - 1 = 0.8$;而在七状态链中,$\rho$ 本身就是自相关系数。 + +构建这个经济,保持 $R(s,n) = s\,(1 - n/N)^{+}$ 且 $N = 200$,并在需要均衡的任何地方取 $\mu = 50$。 + +1. 在一个 $\lambda$ 的网格上,绘制工作队伍需求和平均失业随 $\lambda$ 变化的图像,如论文图5的中间和底部面板所示。 +1. 在 $\lambda = 6$ 处,证明不变分布将其全部的概率质量集中在工作队伍的*两个*值上,并说明是哪两个值。 +1. 利用这一事实,导出一个用 $\bar n$、$\bar y$ 和 $\rho$ 表示的每市场平均失业的公式,将其与网格上每个 $\lambda$ 的计算值相对照,并用它来解释第1部分图像的形状。 +1. 证明失业*率*仅取决于 $\rho$ 以及 $r = \bar y(s_{\text{high}})/\bar n(s_{\text{low}})$,并且它永远不会超过 $1 - \rho$。 +1. 现在用递减报酬技术的边际产量代替 $R$:产出为 $s\, n^{\alpha}$,其中 $0 < \alpha < 1$,因此 $R(s, n) = s\,\alpha\, n^{\alpha-1}$。对 $\alpha \in \{0.4, 0.6, 0.75\}$求解,并针对一个类似阿尔瓦雷斯和维拉西耶托设定的经济求解,其中 $\alpha = \theta_n/(1-\theta_k)$ 且 $s_{\text{high}} = 2.12^{1/(1-\theta_k)}$(取他们的 $\theta_k = 0.19$ 和 $\theta_n = 0.58$),这正是他们的技术在资本(每期租赁)已被最优选定之后的形式。报告两个需求状态下平均就业的比率、其对应的无摩擦量 {eq}`lps_av_ratio`,以及失业率。证明平均就业的比率为 $\rho r + 1 - \rho$,用它来表示失业率,并说明当劳动力流动回报上升时失业会发生什么变化。 +``` + +```{solution-start} lps_ex_two_states +:class: dropdown +``` + +两状态链只需要它自己的 $P$ 和 $s$。 + +```{code-cell} ipython3 +def two_state_model(ρ=0.9, s_high=2.0, β=0.9, y_max=260, R=linear_R, **R_args): + "The paper's two-state demand process: demand stays put with probability ρ." + P = np.array([[ρ, 1 - ρ], [1 - ρ, ρ]]) + return make_model(P, np.array([1.0, s_high]), β, y_max, R, **R_args) + +two = two_state_model() +grid2 = np.arange(0.4, 14.0, 0.1) +res2 = [market_outcomes(two, λ) for λ in grid2] +Ey2 = np.array([r['workforce'] for r in res2]) +Eu2 = np.array([r['unemployment'] for r in res2]) +``` + +论文把 $\lambda$ 放在纵轴上。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Workforce demand and unemployment in the paper's two-state economy + name: fig-lps-two-state +--- +fig, axes = plt.subplots(1, 2, figsize=(10, 4.2)) +axes[0].plot(Ey2, grid2, lw=2) +axes[0].set_xlabel('workforce demand per market') +axes[1].plot(Eu2, grid2, lw=2) +axes[1].set_xlabel('average unemployment per market') +for ax in axes: + ax.set_ylabel(r'$\lambda$') +plt.tight_layout() +plt.show() +``` + +右图具有论文图5底部面板的形状:平均失业在中等的 $\lambda$ 值处最大。 + +对于第2部分,看看 $\lambda = 6$ 时不变分布的支撑。 + +```{code-cell} ipython3 +r_six = market_outcomes(two, 6.0) +support = np.where(r_six['ψ'].sum(axis=0) > 1e-12)[0] +print("workforce values with positive probability:", support) +print("n̄(s) =", r_six['n_bar'], " ȳ(s) =", r_six['y_bar']) +``` + +这两个值分别是 $\bar n(s_{\text{low}})$ 和 $\bar y(s_{\text{high}})$。要了解原因,请回顾 {eq}`lps_transition`。 + +在低需求状态下,工作队伍被截取到 $[\bar y(s_{\text{low}}), \bar n(s_{\text{low}})]$ 之内;在高需求状态下,被截取到 $[\bar y(s_{\text{high}}), \bar n(s_{\text{high}})]$ 之内,而在这个 $\lambda$ 值下,第二个区间完全位于第一个区间之上。 + +因此处于低需求状态一期会将任何工作队伍带到 $\bar n(s_{\text{low}})$,处于高需求状态一期会将其带到 $\bar y(s_{\text{high}})$,于是该市场就在这两个值之间往返穿梭。在每一个使 $\bar n(s_{\text{low}}) < \bar y(s_{\text{high}})$ 成立的 $\lambda$ 处都是如此,而整个网格都满足这一点。 + +对于第3部分,失业只在衰退的第一期才为正:市场以 $\bar y(s_{\text{high}})$ 名工人开始,需求刚刚下降,就业为 $\bar n(s_{\text{low}})$。 + +这个事件就是"上一期处于高需求状态,这一期处于低需求状态",其平稳概率为 $\tfrac12 (1-\rho)$,因此 + +$$ +E[u] = \tfrac12 (1-\rho)\, +\big[\bar y(s_{\text{high}}) - \bar n(s_{\text{low}})\big] . +$$ + +我们在网格的每一点都对该公式进行检验,$\rho$ 从转移矩阵中读取。 + +```{code-cell} ipython3 +ρ_2 = two.P[0, 0] +gap2 = np.array([r['y_bar'][1] - r['n_bar'][0] for r in res2]) +print(f"largest difference between formula and computation: " + f"{np.abs(0.5*(1 - ρ_2)*gap2 - Eu2).max():.1e}") + +n_lo = np.array([r['n_bar'][0] for r in res2]) +print(f"unemployment per market peaks at λ = {grid2[Eu2.argmax()]:.1f}; " + f"the low-demand market is closed for λ ≥ {grid2[n_lo == 0].min():.1f}") +``` + +该公式也解释了那个隆起:每市场的平均失业是两个阈值之间的差距,乘以跨越这一差距的概率。 + +在高 $\lambda$ 处,低需求市场处于关闭状态,$\bar n(s_{\text{low}}) = 0$,差距仅为 $\bar y(s_{\text{high}})$,它随 $\lambda$ 下降而上升。 + +一旦 $\lambda$ 低到足以使低需求市场保留一些工人,随着 $\lambda$ 下降,$\bar n(s_{\text{low}})$ 的上升速度就超过了 $\bar y(s_{\text{high}})$,差距因而缩小。因此,每市场的失业在低需求市场停止关闭的那一点达到峰值,正如打印结果的第二行所示。 + +对于第4部分,工作队伍在一半的时期为 $\bar n(s_{\text{low}})$,在另一半的时期为 $\bar y(s_{\text{high}})$,因此 $E[y] = \tfrac12 [\bar n(s_{\text{low}}) + \bar y(s_{\text{high}})]$,失业率为 + +$$ +\frac{E[u]}{E[y]} = (1 - \rho)\, +\frac{\bar y(s_{\text{high}}) - \bar n(s_{\text{low}})}{\bar y(s_{\text{high}}) + \bar n(s_{\text{low}})} += (1-\rho)\, \frac{r - 1}{r + 1} , +\qquad r = \frac{\bar y(s_{\text{high}})}{\bar n(s_{\text{low}})} . +$$ + +它随 $r$ 上升,趋向于 $1 - \rho$,当低需求市场关闭时达到这一值。 + +对于第5部分,低需求状态下的平均就业为 $\bar n(s_{\text{low}})$;在高需求状态下,以概率 $\rho$ 为 $\bar y(s_{\text{high}})$,以概率 $1 - \rho$(上升期的第一期)为 $\bar n(s_{\text{low}})$,因此平均就业的比率为 + +$$ +\mathcal{E} = \frac{E[n \mid s_{\text{high}}]}{E[n \mid s_{\text{low}}]} = \rho\, r + 1 - \rho . +$$ + +将 $r = (\mathcal{E} - 1 + \rho)/\rho$ 代入第4部分的失业率公式,得到 + +$$ +\frac{E[u]}{E[y]} = (1 - \rho)\,\frac{\mathcal{E} - 1}{\mathcal{E} - 1 + 2\rho} , +$$ + +它随 $\mathcal{E}$ 上升而上升。 + +只有 `R` 的构造发生了变化:在整数网格上,第一名工人的边际产量 $s\,\alpha$ 是有限的,一个空置市场不支付任何工资。工人在边际上远处变得廉价,因此我们使用一个更大的网格,并在一个拥有 $\mu$ 名工人的市场恰好停止吸引到达者时的搜寻价值附近——即 {ref}`lps_ex_cost` 记号中的 $\beta \max_s (Pv)_s$——来括住 $\lambda^*$。 + +```{code-cell} ipython3 +def power_R(s, y, α): + "The marginal product s α n^(α-1) of the technology s n^α; R(s, 0) is reset to 0." + return s[:, None]*α*np.maximum(y[None, :], 1)**(α - 1) + +def solve_two_state(m, μ): + "The equilibrium, bracketed around the value of search of an economy at rest." + λ_rest = m.β*(m.P @ np.linalg.solve(np.eye(2) - m.β*m.P, m.R[:, μ])).max() + r = market_outcomes(m, equilibrium_λ(m, μ, lo=0.5*λ_rest, hi=3*λ_rest)) + E_n = (r['ψ']*r['n']).sum(axis=1)/r['ψ'].sum(axis=1) # mean employment by state + return r, E_n + +θ_k, θ_n = 0.19, 0.58 +α_AV, s_AV = θ_n/(1 - θ_k), 2.12**(1/(1 - θ_k)) +print(f"like AV: α = {α_AV:.3f}, s_high = {s_AV:.3f}") +economies = [('linear', two, None)] +economies += [(f'α = {α}', two_state_model(y_max=3000, R=power_R, α=α), α) + for α in (0.4, 0.6, 0.75)] +economies += [('like AV', two_state_model(s_high=s_AV, y_max=3000, R=power_R, α=α_AV), + α_AV)] + +print(f"{'technology':>12}{'ratio of n':>12}{'ρr + 1 - ρ':>12}{'frictionless':>14}" + f"{'u rate':>9}{'identity':>10}") +for name, m, α in economies: + r, E_n = solve_two_state(m, μ) + ratio, r_ratio = E_n[1]/E_n[0], r['y_bar'][1]/r['n_bar'][0] + frictionless = (f"{(m.s[1]/m.s[0])**(1/(1 - α)):>14.2f}" if α is not None + else f"{'corner':>14}") + print(f"{name:>12}{ratio:>12.2f}{ρ_2*r_ratio + 1 - ρ_2:>12.2f}{frictionless}" + f"{100*r['unemployment']/r['workforce']:>8.2f}%" + f"{100*(1 - ρ_2)*(ratio - 1)/(ratio - 1 + 2*ρ_2):>9.2f}%") +``` + +恒等式 $\mathcal{E} = \rho r + 1 - \rho$ 以及失业率的公式在每一个经济中都成立,正如各列所示。 + +无摩擦那一列是在 $\theta_k = 0$ 且 $\theta_n = \alpha$ 时的 {eq}`lps_av_ratio`:使两个状态下的边际产量 $s\,\alpha\, n^{\alpha-1}$ 相等,得到 $n_{\text{high}}/n_{\text{low}} = (s_{\text{high}}/s_{\text{low}})^{1/(1-\alpha)}$。 + +类似阿尔瓦雷斯和维拉西耶托设定的经济,其无摩擦比率约为 $26$,与他们带有资本的技术所给出的比率相同,这是因为将资本优化掉之后,$z\, k^{\theta_k} n^{\theta_n}$ 就变成了 $z^{1/(1-\theta_k)} n^{\theta_n/(1-\theta_k)}$ 的一个倍数。那种仅含劳动的形式正是此处恰当的比较对象,因为在这个模型中摩擦只作用于劳动。 + +对于线性表而言,无摩擦基准是一个角点解,而且只是刚好达到。由 $2(1 - n_{\text{high}}/N) = 1 - n_{\text{low}}/N$ 以及 $n_{\text{high}} + n_{\text{low}} = 2\mu$ 可得 $n_{\text{low}} = (4\mu - N)/3$,因此对任何 $\mu \le N/4$,低需求市场都会关闭,而这恰好就是本讲座的 $\mu = 50$。 + +```{code-cell} ipython3 +N = 200 # the capacity of the two-state economy +for μ_f in (50, 55, 60): + n_low = max((4*μ_f - N)/3, 0.0) + ratio = (2*μ_f - n_low)/n_low if n_low > 0 else np.inf + print(f"μ = {μ_f}: frictionless n_low = {n_low:.1f}, ratio {ratio:.1f}") +``` + +因此在 $\mu = 50$ 处,无摩擦比率为无穷大,在略高于此处依然很大。 + +在每一个经济中,该模型的反应都远小于其无摩擦基准,正如一种单期转移摩擦理应如此。一个无摩擦的经济会不断转移工人,直到各市场的边际产量相等为止;而在此处,工人只有在到达值 $\lambda$ 时才会移动,到达在 $\bar y(s_{\text{high}})$ 处停止,因为需求可能回落,而一次上升期根本需要一期才能得到完全的回应。 + +同类比较出现在最后一行:给阿尔瓦雷斯和维拉西耶托的企业带来约 $26$ 的就业比率的那种技术和冲击,在本模型的单期转移下给出了约 $5.6$ 的比率,尽管该冲击的持续性仍然与他们的设定有所不同。 + +在 $s_{\text{high}} = 2$ 的各行中,就业反应随 $\alpha$ 上升(在摩擦固定不变的情况下),失业率也随之上升。这并非巧合,而且是本讲座的发现,而非贝利、永奎斯特和萨金特的发现。 + +此模型中的失业就是工人花在移动上的时间,而移动所能带来的收益越大,移动的人就越多:在摩擦固定不变的情况下,一个具有更高劳动力流动回报的经济会展现出更多的重新分配,并记录下与之相伴的失业。 + +```{solution-end} +``` + +```{exercise} +:label: lps_ex_undirected + +本练习探讨模型中定向搜寻所起的作用。 + +{cite:t}`AlvarezVeracierto1999` 用**非定向**搜寻取代了它:搜寻者不能选择去向何处,每个市场获得相同的流入量 $U$,即该经济每市场的失业人数。 + +1. 证明在非定向搜寻下,{eq}`lps_bellman` 中的 $\min$ 消失,并说明它原本是在实施什么经济条件。 +1. 写出一个市场工作队伍的转移规律,并证明在任何平稳分布中,流入量 $U$ 等于平均流出量。在定向搜寻下,这一恒等式是否同样成立? +1. 在定向搜寻下,{eq}`lps_equilibrium` 确定了 $\lambda$。在非定向搜寻下,$\lambda$ 必须满足什么条件?对一个每市场工作队伍固定为 $\mu$ 的均衡,数一数未知数和条件的个数。 +1. 计算本讲座经济在 $\mu/N = 1/4$ 下的非定向均衡。一个流入整数值到容量为 $N = 200$ 的市场的设定过于粗糙,因此以十分之一为单位计数工人:使用 $N = 2000$ 以及一个延伸到 $2600$ 的网格,这就是本讲座的经济在一个精细十倍的工作队伍网格上的版本。对流入量 $U = 1, 3, 5, 7, 9$ 和 $10$,求出满足第3部分一致性条件的 $\lambda$ 值以及每个值所服务的平均工作队伍,并绘制平均工作队伍随 $U$ 变化的图像。对一个给定的 $\mu$,一个经济有多少个均衡?在同一网格上,比较 $\mu/N = 1/4$ 时定向搜寻下的 $\lambda$ 和失业率。 +1. 解释为什么非定向搜寻在此处降低了搜寻的价值,以及为什么它同时也降低了失业。 +``` + +```{solution-start} lps_ex_undirected +:class: dropdown +``` + +对于第1部分,{eq}`lps_bellman` 中的 $\min$ 是竞争在搜寻者之间施加的一种限制,即一个市场的延续值不能超过 $\lambda$。一旦剥夺了他们选择去向何处的能力,就没有任何东西能够实施这一限制。 + +一个留下的工人只是简单地获得工资以及他自己所在的市场恰好带来的延续值, + +$$ +v(s, y) = \max\left\{\lambda,\; R(s, y) + + \beta \int v\big(s', y + U\big) f(s', s)\, ds'\right\} , +$$ + +而延续值可能高于或低于 $\lambda$,因为没有人能够对这一差异采取行动。 + +对于第2部分,就业仍然是 $n(s,y) = \min\{\bar n(s), y\}$,未被雇用者离开,流入量在各处都相同,因此 + +$$ +y' = n(s, y) + U . +$$ + +在一个平稳分布下 $E[y'] = E[y]$,因此在各市场间求平均给出 + +$$ +U = E[y] - E[n(s,y)] = E[\,y - n(s,y)\,] : +$$ + +流入量等于平均流出量。 + +这是一个会计恒等式,它在定向搜寻下也同样成立:在 {eq}`lps_transition` 的平稳分布下,到达正在填充的市场的工人等于离开正在释放工人的市场的工人,在任何 $\lambda$ 值处都成立,而不只是在 $\lambda^*$ 处。 + +```{code-cell} ipython3 +print(f"{'λ':>8}{'E[y]':>9}{'outflow':>10}{'inflow':>9}") +y = model.y[None, :] +for λ in (4.0, 7.1, 10.0): + r = market_outcomes(model, λ) + y_next = np.clip(y, r['y_bar'][:, None], r['n_bar'][:, None]) + print(f"{λ:>8.3f}{r['workforce']:>9.2f}" + f"{(r['ψ']*np.maximum(y - y_next, 0)).sum():>10.4f}" + f"{(r['ψ']*np.maximum(y_next - y, 0)).sum():>9.4f}") +``` + +因此这一恒等式不可能是区分这两个模型的关键;真正不同的是 $\lambda$ 是如何被确定的。 + +对于第3部分,在非定向搜寻下,一名搜寻者会落入从不变分布中随机抽取的一个市场,因此搜寻的价值必须满足 + +$$ +\lambda = \beta \sum_{s,y} \psi(s, y)\, v(s, y) , +$$ + +即落入一个随机抽取的市场的贴现价值,一个以市场为权重的平均值。 + +因此,一个人口固定的均衡有两个未知数:$\lambda$ 和 $U$,以及两个条件:$\mu = \sum_{s,y} \psi(s,y)\, y$,以及上面的条件。 + +在定向搜寻下,$\min$ 使每一个接收工人的市场对他们而言恰好值 $\lambda$,因此 $\lambda$ 不需要单独的一致性条件,仅凭 $\mu$ 就能通过一条向下倾斜的表唯一地确定它。而在此处,$\lambda$ 需要其自身的条件,并且没有什么能使该条件在 $\lambda$ 上单调。 + +对于第4部分,一个市场的就业阈值,是使留下仍然值 $\lambda$ 的最大工作队伍,前提是下一期的工作队伍将是 $n(s, y) + U$。 + +不变分布是唯一的,因为一个经历过最差需求状态的市场,无论从哪里出发,最终都会持有 $\bar n(s_1) + U$ 名工人,因此我们通过对其进行迭代来求出它。 + +```{code-cell} ipython3 +def undirected_market(model, λ, U, tol=1e-10, max_iter=100_000): + """A market that receives U searchers every period, whether it wants them or not. + Returns the implied value of search, the mean workforce, and n̄(s).""" + P, R, β, y = model.P, model.R, model.β, model.y + n_s, n_y = R.shape + up = np.minimum(y + U, y[-1]) # next workforce if nobody leaves + v = np.full(R.shape, λ) + for _ in range(max_iter): + v_new = np.maximum(λ, R + β*(P @ v)[:, up]) + if np.max(np.abs(v_new - v)) < tol: + break + v = v_new + else: + raise RuntimeError(f"the value function did not converge at λ = {λ}") + n_bar = last_at_least(R + β*(P @ v_new)[:, up], λ) + if n_bar.max() + U > y[-1]: + raise GridTooSmall(f"n̄ + U passes the top of the grid at λ = {λ}") + # iterate on the distribution of (s, y) under y' = min(y, n̄(s)) + U + to = (np.arange(n_s)[:, None]*n_y + np.minimum(y[None, :], n_bar[:, None]) + U).ravel() + ψ = np.full(n_s*n_y, 1/(n_s*n_y)) + for _ in range(max_iter): + ψ_new = (P.T @ np.bincount(to, weights=ψ, minlength=n_s*n_y).reshape(n_s, n_y)).ravel() + if np.abs(ψ_new - ψ).sum() < tol: + break + ψ = ψ_new + else: + raise RuntimeError(f"the distribution did not converge at λ = {λ}") + ψ = ψ_new.reshape(n_s, n_y) + return β*(ψ*v_new).sum(), (ψ*y).sum(), n_bar +``` + +隐含的搜寻价值与 $\lambda$ 之间的差距,在两个根之间为正、在之外为负,因此对每个流入量,我们在该差距为正的一个值的两侧分别寻找一个根。 + +在此网格上,定向搜寻的 $\lambda^*$ 在每一个存在根的流入量处都是这样一个值;SciPy 中的 `brentq` 在括号失败时会报错停止。 + +```{code-cell} ipython3 +def consistent_λs(model, U, λ_mid, lo=0.1, hi=12.0): + "The roots of λ = β Σ ψ v below and above λ_mid, with the mean workforce of each." + gap = lambda λ: undirected_market(model, λ, U)[0] - λ + roots = (brentq(gap, lo, λ_mid, xtol=2e-3), brentq(gap, λ_mid, hi, xtol=2e-3)) + return [(λ, undirected_market(model, λ, U)[1]) for λ in roots] + +N_fine = 2000 # the lecture's economy, in tenths of a worker +m_fine = create_model(N=N_fine, y_max=13*N_fine//10) +λ_dir = equilibrium_λ(m_fine, N_fine//4) +r_dir = market_outcomes(m_fine, λ_dir) + +locus = {U: consistent_λs(m_fine, U, λ_dir) for U in (1, 3, 5, 7, 9)} +gaps_10 = [undirected_market(m_fine, λ, 10)[0] - λ for λ in np.arange(6.0, 8.6, 0.5)] +print(f"at U = 10 the largest gap on a grid of λ is {max(gaps_10):.4f}") +``` + +这些流入量中的每一个都有两个解,每个解服务于各自的人口;在 $U = 10$ 时则没有解。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Undirected search, the populations served by the solutions at each inflow + name: fig-lps-undirected +--- +Us = np.array(list(locus)) +scale = 200/N_fine # back to the lecture's units +fig, ax = plt.subplots(figsize=(7, 4)) +for k, label in ((0, r'crowded: lower $\lambda$'), (1, r'sparse: higher $\lambda$')): + ax.plot(scale*Us, [scale*locus[U][k][1] for U in Us], 'o-', lw=2, label=label) +ax.axhline(50, color='k', lw=0.8, ls='--', label=r'$\mu = 50$') +ax.set_xlabel('inflow $U$ per market of capacity 200') +ax.set_ylabel(r'workforce per market $\mu$') +ax.legend() +plt.tight_layout() +plt.show() +``` + +在给定的流入量下,这两个解属于*不同*的人口:一个是拥挤的经济,搜寻价值较低;另一个是稀疏的经济,搜寻价值较高。沿着每一条分支,人口都随流入量单调变化,这两条分支在 $U = 9$ 和 $U = 10$ 之间的一个折点相遇,它们各自的 $\mu$ 取值范围并不重叠。 + +因此,在此次校准中,每个人口恰好拥有一个非定向均衡 $(\lambda, U)$,所需的流入量随 $\mu$ 的增加而上升,直到折点处,此后再随之下降。 + +这个折点也解释了为什么 $N = 200$ 不够用:最大的均衡流入量略低于每个容量为200的市场一个工人,因此即使该网格上的 $U = 1$ 也已超过了这一水平。本讲座的经济是最接近 $\mu = 50$ 的那个点。 + +```{code-cell} ipython3 +U_eq, k_eq = min(((U, k) for U in locus for k in (0, 1)), + key=lambda Uk: abs(locus[Uk[0]][Uk[1]][1] - N_fine//4)) +λ_und, y_und = locus[U_eq][k_eq] +print(f"undirected: U = {U_eq}, λ = {λ_und:.3f}, workforce {scale*y_und:.2f}, " + f"unemployment rate {100*U_eq/y_und:.2f}%") +print(f"directed: λ* = {λ_dir:.3f}, workforce {scale*r_dir['workforce']:.2f}, " + f"unemployment rate {100*r_dir['unemployment']/r_dir['workforce']:.2f}%") +``` + +它位于拥挤的那条分支上,接近折点,非定向搜寻给出了比定向搜寻更低的搜寻价值和更低的失业率。 + +对于第5部分,比较各个就业阈值。 + +```{code-cell} ipython3 +n_bar_und = undirected_market(m_fine, λ_und, U_eq)[2] +n_bar_low, _ = thresholds(m_fine, worker_value(m_fine, λ_und)[0], λ_und) +print("n̄(s), undirected: ", n_bar_und) +print("n̄(s), directed, at its own λ*: ", r_dir['n_bar']) +print("n̄(s), directed, at the undirected λ: ", n_bar_low) +``` + +非定向搜寻降低了搜寻的价值,因为搜寻者不再能够避开那些不需要他们的市场:在定向搜寻下,每个搜寻者都会前往到达价值恰为 $\lambda$ 的市场,而在此处,许多人却落入正在释放工人或即将释放工人的市场。 + +搜寻价值较低时,那些所在市场需求已经下降的工人离开得更慢:就业阈值在每个需求状态下都更高,而除了在最低的需求状态之外,大部分差距正是定向搜寻本身在同样较低的 $\lambda$ 下所会给出的,正如最后一行所示。因此各市场保留了更多的工人,该经济以更小的搜寻者流量来维持其人口,而这就是它的失业。 + +注意,对于给定的流入量,从一个感知的 $\lambda$ 到隐含值 $\beta \sum \psi v$ 的映射,是一个从感知的搜寻价值到实际搜寻价值的真正映射,这与 {ref}`lps_learning` 中的试错过程不同。 + +```{solution-end} +``` + +```{exercise} +:label: lps_ex_phillips + +该模型没有总量冲击,但卢卡斯和普雷斯科特在其结束语的开头论证说,其机制"与现在为人熟知的、用预期来解释观察到的菲利普斯曲线的说法是一致的": + +> *总需求的一次未被预期到的变化(即 $E(s'|s)$ 的一次变化),会使失业与工资变化朝相反方向运动。* + +从本讲座均衡的不变分布(它描述了上一期的经济)出发检验这一点。 + +本期,随机抽取的一部分市场所抽到的需求状态,比每个人都知道的运动规律本会给出的状态低一档;其余市场照常抽取;这一部分的大小被选定为使 $\log s$ 的均值下降 $\Delta$。 + +没有人预见到这一点,因此阈值 $\bar n(s)$ 和 $\bar y(s)$ 保持原样,$\lambda$ 也保持在 $\lambda^*$。 + +1. 对 $\Delta = 0.01, 0.02, 0.04$,以及对 $\log s$ 均值上升同样幅度的情形,计算本期的失业率和平均工资。 +1. 绘制失业率随平均工资百分比变化的图像。解释其形状。 +1. 卢卡斯和普雷斯科特补充说,如果这类变化"是一种反复出现的事件,正如现实中那样,那么这一事实就会被纳入工人所面对的最大化问题之中"。计算过程中会有什么变化? +``` + +```{solution-start} lps_ex_phillips +:class: dropdown +``` + +这一意外冲击只改变了本期所适用的转移矩阵,因此我们按照上一期市场已有的阈值将其带到本期,并从改变后的矩阵中抽取本期的需求。 + +```{code-cell} ipython3 +def demand_surprise(model, r, Δ): + """This period's unemployment rate and mean wage when mean log demand moves by Δ: + a share |Δ|/notch of markets draws a state one notch away from the usual draw.""" + n_s, y = len(model.s), model.y + notch = np.log(model.s[1]/model.s[0]) + step = int(np.sign(Δ)) + move = np.zeros((n_s, n_s)) # shift a state, within the grid + move[np.arange(n_s), np.clip(np.arange(n_s) + step, 0, n_s - 1)] = 1 + P_now = (1 - abs(Δ)/notch)*model.P + abs(Δ)/notch*(model.P @ move) + y_carried = np.clip(y[None, :], r['y_bar'][:, None], r['n_bar'][:, None]) + ψ_now = sum(np.outer(P_now[i], np.bincount(y_carried[i], weights=r['ψ'][i], + minlength=len(y))) + for i in range(n_s)) + n, w = r['n'], r['w'] + rate = (ψ_now*(y[None, :] - n)).sum()/(ψ_now*y[None, :]).sum() + return rate, (ψ_now*n*w).sum()/(ψ_now*n).sum() + +r_star = market_outcomes(model, equilibrium_λ(model, μ)) +base_rate, base_wage = demand_surprise(model, r_star, 0.0) +print(f"no surprise: unemployment rate {100*base_rate:.2f}%, mean wage {base_wage:.4f}") +print(f"{'Δ':>7}{'u rate':>9}{'wage change':>13}{'per unit of Δ':>15}") +points = [(100*base_rate, 0.0)] +for Δ in (-0.04, -0.02, -0.01, 0.01, 0.02, 0.04): + rate, mean_wage = demand_surprise(model, r_star, Δ) + change = 100*(mean_wage/base_wage - 1) + points.append((100*rate, change)) + print(f"{Δ:>7}{100*rate:>8.2f}%{change:>12.2f}%{change/(100*Δ):>15.2f}") +``` + +无意外情形这一行再现了均衡,这是应当的。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: An unanticipated shift in demand moves unemployment and wages in opposite directions + name: fig-lps-phillips +--- +u_pts, w_pts = np.array(sorted(points)).T +fig, ax = plt.subplots(figsize=(6.5, 4)) +ax.plot(u_pts, w_pts, 'o-', lw=2) +ax.axhline(0, color='k', lw=0.8) +ax.set_xlabel('unemployment rate (%)') +ax.set_ylabel('change in the mean wage (%)') +plt.tight_layout() +plt.show() +``` + +失业和工资朝相反的方向运动,正如卢卡斯和普雷斯科特所说,这些点描出了一条向下倾斜的曲线,在均衡处出现一个拐点:一条菲利普斯曲线。 + +需求的一次意外下降,把一些市场推到其就业阈值之下,它们就释放工人,因此失业大幅上升。工资也会下降,但下降幅度小于需求,因为释放工人的市场削减了就业,这提高了留下者的边际产量。 + +需求的一次意外上升只能通过阻止原本会发生的分离来降低失业,而这样的分离本就不多;与此同时,每个市场的工资都会随其需求几乎等比例地上升,而在该期内也不会有新工人到来对其形成抑制。 + +因此这条曲线在失业较低处陡峭,在失业较高处平缓。 + +符号和拐点并不依赖于网格,但失业反应的大小确实如此:在七状态链上,一档约为 $\log s$ 的五分之一,因此给定的平均 $\log$ 需求下降会集中在少数几个市场上,每个都受到重创;而在更精细的链上,同样的下降所引起的失业上升幅度更小。 + +对于第3部分,这一计算之所以保持阈值和 $\lambda$ 不变,是因为没有人预料到这一变化。如果这类变化反复出现,工人就会把它们纳入自己所使用的转移规律之中,贝尔曼方程就会改变,$\bar n$、$\bar y$ 和 $\lambda^*$ 也会随之改变;卢卡斯和普雷斯科特将此留给"未来研究中的非平凡发展"。 + +{doc}`phillips_two_stories` 沿着菲利普斯曲线的预期论述及其背后的自然率假说,深入到了数据之中。 + +```{solution-end} +``` + +```{exercise} +:label: lps_ex_planner + +{ref}`lps_efficiency` 证明了均衡求解了规划者的问题 {eq}`lps_planner`。对此进行数值检验,看看它意味着什么,又不意味着什么。 + +1. 在 $\lambda^*$ 处,通过价值函数迭代(在整个网格上选取 $y'$)求解 {eq}`lps_planner`,验证 $W(s, y) - W(s, y-1) = v(s, y)$,并验证规划者对 $y'$ 的选择就是 {eq}`lps_transition`。 +1. 现在让移动耗费资源:每一名离开的工人耗费 $c = 2$。证明 {ref}`lps_ex_cost` 中的均衡,正是面对这一成本、每释放一名工人获记 $\lambda - c$ 的信用、每引入一名工人被收取 $\lambda$ 费用的规划者所做出的配置。这对 {ref}`lps_ex_cost` 中较低的剩余意味着什么? +1. 在保持 $\mu = 50$ 不变的情况下,比较均衡下稳态每工人剩余与两种替代方案:一种是对移动的小额补贴($c = -0.1$ 和 $c = -0.2$),另一种是一个更有耐心的规划者会选择的阈值($\beta' = 0.95$ 和 $0.99$,$\lambda$ 被选定以保持每市场 $\mu$ 名工人)。均衡是否使稳态剩余最大化?将这一答案与 {ref}`lps_efficiency` 相协调。 +``` + +```{solution-start} lps_ex_planner +:class: dropdown +``` + +对于第1部分,`planner_value` 求解 {eq}`lps_planner`,对第2部分而言,释放信用降低为 $\lambda - c$。流量项不依赖于 $W$,因此我们只计算一次。 + +```{code-cell} ipython3 +def planner_value(model, λ, c=0.0, tol=1e-10, max_iter=10_000): + """W(s, y) = max over y' of Φ(s, min(y, y')) + credit for releases - charge for + arrivals + β E W(s', y'), with releases credited at λ - c and arrivals charged λ.""" + P, R, β, y = model.P, model.R, model.β, model.y + Φ = np.cumsum(R, axis=1) + moved = y[:, None] - y[None, :] # workers released, for each (y, y') + flow = (Φ[:, np.minimum(y[:, None], y[None, :])] + + np.where(moved > 0, (λ - c)*moved, λ*moved)) + W = np.zeros(R.shape) + for _ in range(max_iter): + value = flow + β*(P @ W)[:, None, :] + W_new = value.max(axis=2) + if np.max(np.abs(W_new - W)) < tol: + return W_new, y[value.argmax(axis=2)] + W = W_new + raise RuntimeError(f"no convergence in {max_iter} iterations at λ = {λ}") + +def check_planner(model, λ, c=0.0): + "Compare the planner's marginal values and policy with the equilibrium." + r = market_outcomes(model, λ, c) + W, y_choice = planner_value(model, λ, c) + law = np.clip(model.y[None, :], r['y_bar'][:, None], r['n_bar'][:, None]) + print(f"c = {c}, λ = {λ:.3f}: largest |ΔW - v| = " + f"{np.abs(np.diff(W, axis=1) - r['v'][:, 1:]).max():.1e}, " + f"policy equals the transition law: {np.array_equal(y_choice, law)}") + +λ_0 = equilibrium_λ(model, μ) +check_planner(model, λ_0) +``` + +对于第2部分,使用资源成本进行同样的检验。 + +```{code-cell} ipython3 +λ_2 = equilibrium_λ(model, μ, 2.0, lo=λ_0) +check_planner(model, λ_2, 2.0) +``` + +在有资源成本时,均衡正是对应于更昂贵的移动技术下规划者的配置:{ref}`lps_efficiency` 中的论证,在释放信用为 $\lambda - c$ 的情况下同样成立,而资源成本则计入了剩余之中。 + +因此,{ref}`lps_ex_cost` 在存在资源成本时所发现的较低剩余,正是更差技术所付出的代价,而均衡正是对这一代价所能做出的最优应对。一个返还式的税以完全相同的方式改变了决策,却没有耗费任何东西,因此技术仍是自由放任下的技术,其规划者会选择自由放任下的配置,而被征税的均衡则是被扭曲的:它较低的剩余是一种效率损失。 + +对于第3部分,一项补贴就是一个负的 $c$,而一个更有耐心的规划者的阈值来自以 $\beta'$ 取代 $\beta$ 的工人问题。 + +```{code-cell} ipython3 +def steady_state(model, policy, λ): + """Steady-state surplus, unemployment and workforce per market of model when its + markets follow the thresholds that the worker's problem in policy gives at λ.""" + n_bar, y_bar = thresholds(policy, worker_value(policy, λ)[0], λ) + ψ = stationary_distribution(model, n_bar, y_bar) + y = model.y[None, :] + n = np.minimum(y, n_bar[:, None]) + return ((ψ*np.take_along_axis(np.cumsum(model.R, axis=1), n, axis=1)).sum(), + (ψ*(y - n)).sum(), (ψ*y).sum()) + +r_0 = market_outcomes(model, λ_0) +print(f"{'':>24}{'surplus per worker':>20}{'u rate':>9}{'workforce':>11}") +print(f"{'equilibrium':>24}{r_0['surplus']/r_0['workforce']:>20.5f}" + f"{100*r_0['unemployment']/r_0['workforce']:>8.2f}%{r_0['workforce']:>11.2f}") +for c in (-0.1, -0.2): + r = market_outcomes(model, equilibrium_λ(model, μ, c, lo=2.0, hi=λ_0), c) + print(f"{f'subsidy {-c}':>24}{r['surplus']/r['workforce']:>20.5f}" + f"{100*r['unemployment']/r['workforce']:>8.2f}%{r['workforce']:>11.2f}") +for β_p in (0.95, 0.99): + patient = model._replace(β=β_p) + λ_p = bisect(lambda λ: steady_state(model, patient, λ)[2] <= μ, 0.01, 2000.0) + s_p, u_p, y_p = steady_state(model, patient, λ_p) + print(f"{f'patient planner, β = {β_p}':>24}{s_p/y_p:>20.5f}" + f"{100*u_p/y_p:>8.2f}%{y_p:>11.2f}") +``` + +这两种替代方案都把每工人的稳态剩余提升到了均衡水平之上,且都是通过更多的重新分配和更高的失业率来实现的。因此均衡并没有使稳态剩余最大化,而 {ref}`lps_efficiency` 也从未声称它做到了这一点。 + +该定理所比较的是从均衡自身的分布出发所得到的现值,而转移到这些稳态中的任何一个,途中都要耗费剩余:更多在途工人意味着现在就损失他们一期的产出,而收益要在之后才能获得,且经过了贴现。 + +一个以 $\beta' > \beta$ 贴现的规划者会更看重那些之后的收益,这就是为什么它的阈值会移动更多工人;在没有贴现的极限情况下,它会使稳态剩余最大化,这正是黄金法则的对应物,而均衡则是修正黄金法则的对应物。 + +{ref}`lps_ex_cost` 中大额成本下的稳态比较所指向的方向,与该定理所指的方向一致,但这并非该定理所蕴含的:一个小额补贴,同样会使经济偏离规划者的配置,却能提高稳态剩余。 + +```{solution-end} +``` \ No newline at end of file From cadd3e9e0550bbbba624fd68ae484b659a24ffe7 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:39 +1100 Subject: [PATCH 14/28] Update translation: .translate/state/lucas_prescott_search.md.yml --- .translate/state/lucas_prescott_search.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/lucas_prescott_search.md.yml diff --git a/.translate/state/lucas_prescott_search.md.yml b/.translate/state/lucas_prescott_search.md.yml new file mode 100644 index 00000000..9925373c --- /dev/null +++ b/.translate/state/lucas_prescott_search.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 11 +tool-version: 0.33.0 From a48dfff944e1b6041d3221f18ed7b187bb9fda18 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:40 +1100 Subject: [PATCH 15/28] Update translation: lectures/mccall_model_with_separation.md --- lectures/mccall_model_with_separation.md | 20 ++++---------------- 1 file changed, 4 insertions(+), 16 deletions(-) diff --git a/lectures/mccall_model_with_separation.md b/lectures/mccall_model_with_separation.md index 6ff6398f..1cb9785d 100644 --- a/lectures/mccall_model_with_separation.md +++ b/lectures/mccall_model_with_separation.md @@ -4,11 +4,11 @@ jupytext: extension: .md format_name: myst format_version: 0.13 - jupytext_version: 1.17.1 + jupytext_version: 1.17.2 kernelspec: - name: python3 display_name: Python 3 (ipykernel) language: python + name: python3 translation: title: 工作搜寻 II:搜寻与离职 headings: @@ -159,7 +159,6 @@ from myst_nb import glue 正如我们接下来将展示的,得到这些函数是求解该模型的关键。 - ### 贝尔曼方程 我们回忆一下,在{doc}`最初的工作搜寻模型 `中,价值函数(在给定工资报价下失业的价值)满足一个贝尔曼方程。 @@ -216,7 +215,6 @@ from myst_nb import glue 一旦得到这两个函数,我们就能够做出最优选择。 - ### 保留工资 @@ -243,13 +241,10 @@ $$ v_e(w) \geq h $$ - - ## 代码 现在让我们基于两个贝尔曼方程{eq}`bell2_mccall`和{eq}`bell1_mccall`实现一个求解方法。 - ### 设置 默认效用函数是CRRA效用函数 @@ -281,7 +276,6 @@ class Model(NamedTuple): q: jnp.ndarray = q_default # 工资报价上的概率 ``` - ### 算子 我们将采用与{doc}`第一个工作搜寻讲座 `中类似的迭代方法来求解贝尔曼方程。 @@ -313,7 +307,6 @@ def T_e(model, v_u, v_e): return v_e_new ``` - ### 迭代 现在我们编写一个迭代程序,更新数组对$v_u$,$v_e$直到收敛。 @@ -348,8 +341,6 @@ def solve_full_model( return v_u, v_e ``` - - ### 计算保留工资 现在我们已经能够求解这两个价值函数了,让我们来研究一下保留工资。 @@ -435,7 +426,6 @@ h = u(c) + \beta \sum_{w'} \max \left\{ v_e(w'), \, h \right\} q(w') 但我们还可以更进一步,即从上述方程中消去$v_e$。 - ### 简化为单一方程 第一步,我们对定义$h$的表达式(见{eq}`defh_mm`)进行重新整理,得到 @@ -491,7 +481,6 @@ h = u(c) + \beta \sum_{w' \in \mathbb W} \max \left\{ \frac{u(w') + \alpha(h - u 然后我们就有足够的信息来计算保留工资。 - ### 求解贝尔曼方程 为了求解{eq}`bell_scalar`,我们使用如下迭代规则 @@ -508,8 +497,6 @@ h_{n+1} = u(c) + \beta \sum_{w' \in \mathbb W} (可以通过巴拿赫压缩映射定理证明{eq}`bell_iter`是收敛的。) - - ## 实现 为了实现对$h$的迭代,我们提供一个函数,实现从$h_n$到$h_{n+1}$的一次更新 @@ -598,7 +585,6 @@ print(f"差异:{abs(w_bar_simplified - w_bar_full):.6f}") 接下来我们将研究保留工资如何随参数变化。 - ## 参数的影响 在下面的每个例子中,我们会先展示一幅图,然后在练习中让你自己重现它。 @@ -648,6 +634,8 @@ print(f"差异:{abs(w_bar_simplified - w_bar_full):.6f}") 因此保留工资较低。 +{doc}`turbulence_inference` 研究了一个搜寻模型,在该模型中,离职也可能摧毁技能,并探讨了关于收入的证据能否区分更高的离职率和更大的技能损失。 + ## 练习 ```{exercise-start} From 059af8dda34fc2899d3e91bbfbee4e8e10b13023 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:41 +1100 Subject: [PATCH 16/28] Update translation: .translate/state/mccall_model_with_separation.md.yml --- .translate/state/mccall_model_with_separation.md.yml | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/.translate/state/mccall_model_with_separation.md.yml b/.translate/state/mccall_model_with_separation.md.yml index 0236381e..22b48d2c 100644 --- a/.translate/state/mccall_model_with_separation.md.yml +++ b/.translate/state/mccall_model_with_separation.md.yml @@ -1,6 +1,6 @@ -source-sha: 0bfcac8105ac8c11f06797579a9f4d565db7b53d -synced-at: "2026-07-18" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 -mode: RESYNC +mode: UPDATE section-count: 8 -tool-version: 0.17.0 +tool-version: 0.33.0 From af16513957abd573b11846c0ed4978c321ede93e Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:42 +1100 Subject: [PATCH 17/28] Update translation: lectures/ols.md --- lectures/ols.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/lectures/ols.md b/lectures/ols.md index a82b8d7d..2a6a7320 100644 --- a/lectures/ols.md +++ b/lectures/ols.md @@ -546,6 +546,8 @@ print(reg2.summary()) 输出结果显示残差系数具有统计显著性,表明 $avexpr_i$ 是内生的。 +$\hat \upsilon_i$ 上的 $t$ 统计量的平方是 {doc}`specification_tests` 中吴检验的统计量 $T_2$,即一个直角三角形两条直角边长度平方之比,该三角形的勾股定理对应于 m-投影的情形。 + ```{solution-end} ``` From 826667e7369ae5b3ba380eeb4ba6eeeb4dc9314d Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:43 +1100 Subject: [PATCH 18/28] Update translation: .translate/state/ols.md.yml --- .translate/state/ols.md.yml | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/.translate/state/ols.md.yml b/.translate/state/ols.md.yml index c673e9f1..30e5be99 100644 --- a/.translate/state/ols.md.yml +++ b/.translate/state/ols.md.yml @@ -1,6 +1,6 @@ -source-sha: e168c7de8b6b5446ca76ac49bc59781322444617 -synced-at: "2026-08-13" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 mode: UPDATE section-count: 6 -tool-version: 0.25.0 +tool-version: 0.33.0 From 0089b07b81fdc9895139d67d1a5e79d7e93bc903 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:44 +1100 Subject: [PATCH 19/28] Update translation: lectures/phillips_policy_evaluation.md --- lectures/phillips_policy_evaluation.md | 968 +++++++++++++++++++++++++ 1 file changed, 968 insertions(+) create mode 100644 lectures/phillips_policy_evaluation.md diff --git a/lectures/phillips_policy_evaluation.md b/lectures/phillips_policy_evaluation.md new file mode 100644 index 00000000..5edb692f --- /dev/null +++ b/lectures/phillips_policy_evaluation.md @@ -0,0 +1,968 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.7 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 计量经济政策评估 + headings: + Overview: 概览 + The model: 模型 + The model::The actual Phillips curve: 实际菲利普斯曲线 + The model::The government: 政府 + The likelihood function: 似然函数 + Data: 数据 + Beliefs and recommendations: 信念与建议 + Estimates: 估计结果 + Recommendations and misses: 建议与误差 + Recommendations and misses::The induction hypothesis emerges: 归纳假设的形成 + Misses favor vindication: 误差支持平反 + Misses favor vindication::How robust are the misses?: 这些误差有多稳健? + Misses favor vindication::A positive, not a normative, conclusion: 这是一个实证结论,而非规范性结论 + What came later: 后续发展 + Exercises: 练习 +--- + +(phillips_policy_evaluation)= +```{raw} jupyter + +``` + +# 计量经济政策评估 + +```{index} single: Phillips Curve; Econometric Policy Evaluation +``` + +```{contents} Contents +:depth: 2 +``` + +## 概览 + +本讲座遵循 {cite:t}`Sargent1999` 第 9 章《计量经济政策评估》的内容。 + +前面的讲座构建了该书第 8 章中的适应性政府,并通过模拟对其进行了研究({doc}`phillips_learning`、{doc}`phillips_escaping_nash`、{doc}`phillips_priors`)。 + +第 9 章将同样的模型应用于美国数据,遵循 {cite:t}`Chung1990` 的方法,在经典和凯恩斯两种识别方案下通过最大似然法对其进行估计。 + +这是该书唯一一次将 {doc}`phillips_two_stories` 的平反故事与数据进行结构性对照。 + +问题是反事实的:如果 20 世纪 60 年代和 70 年代的政策顾问拟合了一条分布滞后菲利普斯曲线,对旧数据进行贴现,并将估计结果输入 {doc}`phillips_adaptive` 中的费尔普斯问题,他会给出怎样的建议? + +估计的模型直接给出了答案,因为在该模型中,通货膨胀的拟合值*就是*政府的建议。 + +一旦增益和贴现因子固定下来,似然函数中就没有描述信念的自由参数了:我们像政府本身那样,从数据中计算出政府的信念和建议。 + +我们重现了该书的主要发现: + +* 两个模型对通货膨胀的拟合都很差,而经典模型的拟合效果要差得多; +* 误差是系统性的,整个 20 世纪 70 年代建议的通货膨胀率都低于实际通货膨胀率,这正是"估计模型的误差模式支持平反"这一说法的含义; +* 凯恩斯政府估计的菲利普斯曲线到 20 世纪 70 年代中期已满足归纳假设,其计划在沃尔克上任前多年就已呼吁实行低通货膨胀; +* 经典政府自始至终都建议实行低通货膨胀,这正是其建议"本会更加及时"的原因。 + +该书没有报告其滞后阶数,也没有说明如何将数据转换为季度频率,我们在这些选择产生影响的地方会加以说明。 + +让我们先导入一些包。 + +```{code-cell} ipython3 +import matplotlib.pyplot as plt +import numpy as np +import pandas as pd +from scipy.linalg import solve_discrete_are +from scipy.optimize import minimize +from scipy.signal import lfilter +from scipy.stats import chi2 +``` + +## 模型 + +该模型将 {doc}`phillips_self_confirming` 中的实际菲利普斯曲线与 {doc}`phillips_learning` 中的适应性政府结合在一起;所用符号与 {ref}`phillips_notation` 中相同。 + +### 实际菲利普斯曲线 + +设 $U_t$ 为失业率,$y_t$ 为通货膨胀率,$x_t$ 为公众对通货膨胀的预期,该经济体服从一条自然率菲利普斯曲线,其中意外通货膨胀 $v_{2t} = y_t - x_t$ 具有几何分布滞后结构,且存在序列相关扰动: + +```{math} +:label: ppe_actual + +U_t = U^* - \frac{\theta}{1 - \rho_2 L}\, v_{2t} + \frac{1}{1 - \rho_1 L}\, v_{1t}, +``` + +其中 $L$ 为滞后算子,$|\rho_1| < 1$ 且 $|\rho_2| < 1$。 + +两边同乘 $(1-\rho_1 L)(1-\rho_2 L)$,得到该书中编号为(48)的形式: + +```{math} +:label: ppe_actual48 + +U_t = U^*(1-\rho_1)(1-\rho_2) + (\rho_1+\rho_2) U_{t-1} - \rho_1\rho_2 U_{t-2} + + (1-\rho_2 L) v_{1t} - \theta (1-\rho_1 L) v_{2t} . +``` + +冲击向量 $v_t = (v_{1t}, v_{2t})^\top$ 是具有不受限协方差矩阵 $V_v$ 的高斯白噪声。 + +该书第 7 章和第 8 章设 $\rho_1 = \rho_2 = 0$,并令 $V_v$ 为对角矩阵以阐明理论要点;第 9 章则将两者都放开。 + +### 政府 + +设 $X_{t-1} = \begin{bmatrix} U_{t-1} & \cdots & U_{t-m_U} & y_{t-1} & \cdots & y_{t-m_y} & 1 \end{bmatrix}^\top$ 为收集了 $t-1$ 期及更早时期信息的向量。 + +与 {doc}`phillips_adaptive` 中一样,政府拟合以下两条简约式菲利普斯曲线中的一条,二者仅在拟合方向上有所不同: + +```{math} +:label: ppe_fits + +\text{经典:}\quad U_t = \gamma^\top X_{C,t} + \varepsilon_{C,t}, +\qquad +\text{凯恩斯:}\quad y_t = \beta^\top X_{K,t} + \varepsilon_{K,t}, +``` + +其中 $X_{C,t} = \begin{bmatrix} y_t & X_{t-1}^\top \end{bmatrix}^\top$,$X_{K,t} = \begin{bmatrix} U_t & X_{t-1}^\top \end{bmatrix}^\top$。 + +它每期通过常增益递归最小二乘法重新估计曲线,对于经典方案而言: + +```{math} +:label: ppe_rls + +\begin{aligned} +\gamma_t &= \gamma_{t-1} + g\, R_{XC,t}^{-1} X_{C,t}\left(U_t - \gamma_{t-1}^\top X_{C,t}\right), \\ +R_{XC,t} &= R_{XC,t-1} + g \left(X_{C,t} X_{C,t}^\top - R_{XC,t-1}\right), +\end{aligned} +``` + +增益 $g = 1 - \lambda$ 为常数;凯恩斯方案以相同方式更新 $\beta_t$ 和 $R_{XK,t}$。 + +凯恩斯政府通过反转菲利普斯曲线,将其估计值转换为经典形式:若 $\beta_1$ 是 $U_t$ 的系数,$\beta_{-1}$ 收集其余系数,则 $\gamma(\beta) = \begin{bmatrix} \beta_1^{-1} & -\beta_{-1}^\top/\beta_1 \end{bmatrix}^\top$。 + +每一期,政府都表现得好像其当前的估计将永远支配菲利普斯曲线一样,并通过求解费尔普斯问题来设定通货膨胀率,即在其估计曲线的约束下最小化 $\mathbb{E}\sum_t \delta^t (U_t^2 + y_t^2)$,这产生了以下规则: + +```{math} +:label: ppe_rule + +y_t = h(\gamma_{t-1}) X_{t-1} + v_{2t}, +``` + +其中 $\gamma_{t-1}$ 是经典估计值或 $\gamma(\beta_{t-1})$,$v_{2t}$ 是控制误差。 + +按照 {cite:t}`Sims1988` 和 {cite:t}`Chung1990` 的方法,公众知道该规则,因此 $x_t = h(\gamma_{t-1}) X_{t-1}$,而控制误差 $v_{2t}$ 也即 {eq}`ppe_actual` 中的意外通货膨胀。 + +(ppe_estimation)= +## 似然函数 + +要模拟该模型,我们需要抽取冲击 $\{v_t\}$,并计算出 $(y_t, U_t)$ 及政府信念的历史路径。 + +要估计该模型,我们则反过来:从初始信念出发,利用数据 $\{y_t, U_t\}$ 反解出能够产生这些数据的冲击, + +```{math} +:label: ppe_inverse + +\begin{aligned} +v_{2t} &= y_t - h(\gamma_{t-1}) X_{t-1}, \\ +v_{1t} - \theta v_{2t} &= U_t - (\rho_1+\rho_2) U_{t-1} + \rho_1\rho_2 U_{t-2} + + \rho_2 v_{1,t-1} - \rho_1 \theta v_{2,t-1} - U^*(1-\rho_1)(1-\rho_2), +\end{aligned} +``` + +同时按 {eq}`ppe_rls` 更新 $\gamma_t$(或 $\beta_t$);这些即为该书中编号为(105)的方程。 + +给定过去的信息,从 $v_t$ 到 $(U_t, y_t)$ 的映射是单位对角的三角形映射,因此其雅可比行列式为 1,长度为 $T$ 的样本的高斯对数似然为: + +```{math} +:label: ppe_loglik + +\log L = -T \log 2\pi - \frac{T}{2}\log\det V_v - \frac{1}{2}\sum_{t=1}^T v_t^\top V_v^{-1} v_t . +``` + +正如该书所建议的,我们将 $V_v$ 消去:其最大化值为 $\hat V_v = T^{-1}\sum_t v_t v_t^\top$,于是 $\log L = -T\log 2\pi - \frac{T}{2}\log\det \hat V_v - T$。 + +```{note} +该书第 9 章附录将多个密度之和的对数写成了多个密度对数之和的形式,并给出常数为 $-\frac{T}{2}\log 2\pi$,这对标量观测值而言是正确的;但二元密度应为 $-T\log 2\pi$。 + +两处笔误都不影响估计结果,但第二处会改变 $\log L$ 的水平值。 +``` + +该书对 $(\theta, U^*, \rho_1, \rho_2, V_v)$ 进行估计,并将贴现因子固定为 $\delta = .999$,遗忘因子固定为 $\lambda = .985$,因此增益为 $g = .015$。 + +请注意,列表中*没有*任何描述信念的内容。 + +在 $\lambda$、$\delta$ 和初始信念固定的情况下,政府的信念 $\gamma_t$、其建议 $h(\gamma_{t-1})X_{t-1}$,以及由此产生的误差 $v_{2t}$,无论待估参数取何值,都完全由数据本身计算得出。 + +这带来两个后果。 + +1. 由于 $\det \hat V_v$ 等于 $v_{2t}$ 均方值与 $v_{1t}$ 中无法被 $v_{2t}$ 解释的部分的均方值之积,参数 $(\theta, U^*, \rho_1, \rho_2)$ 是以政府的误差为给定条件,从失业方程中估计出来的。 +1. 两种识别方案之间的比较,主要是对其误差大小的比较,即建议与实际发生情况的偏离程度。 + +这是理性预期计量经济学中常见的一种跨方程约束:政府的规则是由其计量经济学和费尔普斯问题共同确定的,而不是自由的。 + +## 数据 + +第 9 章采用的是第 1 章的度量指标:消费者价格指数(所有项目)以及 20 岁及以上白人男性的失业率,即 {doc}`phillips_two_stories` 中绘制的序列。 + +尽管第 1 章绘制的是月度数据,第 9 章的估计结果似乎是季度性的: + +* 样本期是以季度标注的(印刷为"1995I–1997I",显然是 1955I–1997I 的笔误,因为图表是从 1955 年开始的); +* 图 9.2b 提到"1960 年第一季度"; +* 季度数据能够较好地重现该书的估计值和图表,而月度数据则不能,原因我们将在{ref}`下文 `中解释。 + +因此我们通过取每季度最后一个月的数据,将月度序列转换为季度序列,并将通货膨胀率衡量为 CPI 的年化百分比变化。 + +因为我们是每季度抽样一个月份,所以使用经季节调整的指数,而非 {doc}`phillips_two_stories` 中绘制的未经调整的指数。 + +```{code-cell} ipython3 +def read_fred(series_id): + "Read a monthly series from FRED." + url = f'https://fred.stlouisfed.org/graph/fredgraph.csv?id={series_id}' + s = pd.read_csv(url, index_col=0, parse_dates=True)[series_id] + return pd.to_numeric(s, errors='coerce') + +cpi_monthly = read_fred('CPIAUCSL') # CPI, all items, seasonally adjusted +u_monthly = read_fred('LNS14000028') # unemployment rate, white men 20+ + +def make_data(how='last', end='1997-03'): + "Inflation (annualized percent) and unemployment at quarterly or monthly frequency." + if how == 'monthly': + cpi, u, scale = cpi_monthly, u_monthly, 1200 + elif how == 'last': # last month of each quarter + cpi, u, scale = (cpi_monthly.resample('QS').last(), + u_monthly.resample('QS').last(), 400) + else: # quarterly averages + cpi, u, scale = (cpi_monthly.resample('QS').mean(), + u_monthly.resample('QS').mean(), 400) + y = scale * np.log(cpi).diff() + data = pd.concat([y.rename('y'), u.rename('U')], axis=1).dropna() + return data.loc[:end] + +data = make_data() +print(f"{data.index[0]:%Y-%m} to {data.index[-1]:%Y-%m}: {len(data)} quarters") +``` + +失业数据序列始于 1954 年,政府的回归需要几年的数据之后,其估计结果才有意义。 + +因此,我们将 1954–1957 年作为政府信念的训练样本,并从 1958 年第一季度到 1997 年第一季度对似然进行评估。 + +该书没有报告其滞后阶数 $m_U$ 和 $m_y$;其第 8 章的模拟使用了两期滞后。 + +我们使用一期失业率滞后和两期通货膨胀滞后,在我们尝试过的滞后阶数中,这一选择使我们的估计结果最接近该书的结果;下文的稳健性表({ref}`下文 `)展示了使用两期滞后时会发生怎样的变化。 + +## 信念与建议 + +费尔普斯问题是 {doc}`phillips_learning` 中的贴现 LQ 问题,推广到任意滞后阶数。 + +将所信奉的菲利普斯曲线写为 $U_t = \gamma_0 y_t + c^\top s_t$,状态为 $s_t = X_{t-1}$,于是单期损失为 $s_t^\top c c^\top s_t + (\gamma_0^2 + 1) y_t^2 + 2 \gamma_0 y_t c^\top s_t$。 + +我们使用与 {doc}`phillips_learning` 相同的求解器:在贴现问题中,只有 $A$ 和 $B$ 乘以 $\sqrt{\delta}$,交叉项 $N$ 以未缩放形式传入黎卡提求解器。 + +```{code-cell} ipython3 +def lq_matrices(γ, mU, my): + """ + Believed law of motion s_{t+1} = A s_t + B y_t for the state + s_t = [U_{t-1},...,U_{t-mU}, y_{t-1},...,y_{t-my}, 1] + when the believed Phillips curve is U_t = γ[0] y_t + γ[1:] @ s_t. + """ + γ0, c = γ[0], γ[1:] + n = mU + my + 1 + A, B = np.zeros((n, n)), np.zeros((n, 1)) + if mU > 0: + A[0, :], B[0, 0] = c, γ0 # U_t + for j in range(1, mU): + A[j, j - 1] = 1.0 + if my > 0: + B[mU, 0] = 1.0 # y_t + for j in range(mU + 1, mU + my): + A[j, j - 1] = 1.0 + A[-1, -1] = 1.0 # constant + return A, B + +def phelps_h(γ, δ, mU, my): + "Phelps rule y_t = h @ s_t for the believed Phillips curve γ." + γ0, c = γ[0], γ[1:] + A, B = lq_matrices(γ, mU, my) + R = np.outer(c, c) + Q = np.array([[γ0**2 + 1.0]]) + N = (γ0 * c).reshape(1, -1) + Ad, Bd = np.sqrt(δ) * A, np.sqrt(δ) * B + P = solve_discrete_are(Ad, Bd, R, Q, s=N.T) + F = np.linalg.solve(Q + Bd.T @ P @ Bd, Bd.T @ P @ Ad + N) + return -F.ravel() + +def γ_of_β(β): + "Invert a Keynesian Phillips curve into classical form." + return np.concatenate([[1 / β[0]], -β[1:] / β[0]]) +``` + +在弥散的初始条件下,即 $R_{XC,-1} = 0$,递归式 {eq}`ppe_rls` 给出的是*贴现最小二乘法*:$\gamma_t$ 最小化 $\sum_{s \le t} \lambda^{t-s} (U_s - \gamma^\top X_{C,s})^2$,因此一个 $k$ 季度之前的观测值获得的权重为 $\lambda^k$。 + +下面的函数以这种方式从数据的第一季度开始计算信念,并逐季度重建政府本会做出的建议 $h(\gamma_{t-1}) X_{t-1}$。 + +```{code-cell} ipython3 +def government(data, scheme, λ=0.985, δ=0.999, mU=1, my=2, n_init=8): + """ + Beliefs and recommendations of a government that fits the classical ('C') + or Keynesian ('K') Phillips curve by discounted least squares and solves + the Phelps problem, reconstructed from data on (y, U). + """ + U, y = data['U'].to_numpy(), data['y'].to_numpy() + T, k, m = len(U), mU + my + 2, max(mU, my) + S, b, zz, w = np.zeros((k, k)), np.zeros(k), 0.0, 0.0 + coef = np.full((T, k), np.nan) + S_path, σ2 = np.full((T, k, k), np.nan), np.full(T, np.nan) + states, yhat = np.full((T, k - 1), np.nan), np.full(T, np.nan) + for t in range(m, T): + s = np.concatenate([U[t - mU:t][::-1], y[t - my:t][::-1], [1.0]]) + states[t] = s + if t - m > n_init: # recommendation from γ_{t-1} + β = coef[t - 1] + γ = β if scheme == 'C' else γ_of_β(β) + yhat[t] = phelps_h(γ, δ, mU, my) @ s + x = np.r_[y[t], s] if scheme == 'C' else np.r_[U[t], s] + z = U[t] if scheme == 'C' else y[t] + S, b = λ * S + np.outer(x, x), λ * b + x * z + zz, w = λ * zz + z**2, λ * w + 1 + if t - m >= n_init: + coef[t] = np.linalg.solve(S, b) + S_path[t] = S + σ2[t] = (zz - b @ coef[t]) / (w - k) # discounted residual variance + lags_y = coef[:, 1 + mU:1 + mU + my].sum(axis=1) + out = data.copy() + out['yhat'] = yhat + out['miss'] = out['y'] - out['yhat'] # v_2t + out['sum_y'] = lags_y + coef[:, 0] if scheme == 'C' else lags_y + return dict(frame=out, coef=coef, S=S_path, σ2=σ2, states=states, + scheme=scheme, λ=λ, δ=δ, mU=mU, my=my) + +gov = {s: government(data, s) for s in 'CK'} +``` + +## 估计结果 + +函数 `loglik` 在消去 $V_v$ 的情况下计算 {eq}`ppe_loglik`。 + +它使用似然样本之前两个季度的数据来提供 $U_{t-1}$ 和 $U_{t-2}$,并与该书一样,将样本前的冲击设为零。 + +```{code-cell} ipython3 +def residuals(params, U, v2): + "Solve the actual Phillips curve for v_1 given the misses v_2." + θ, U_star, ρ1, ρ2 = params + U0, U1, U2 = U[2:], U[1:-1], U[:-2] + v2 = v2[2:] + v2_lag = np.r_[0.0, v2[:-1]] + rhs = (θ * (v2 - ρ1 * v2_lag) + U0 - (ρ1 + ρ2) * U1 + ρ1 * ρ2 * U2 + - U_star * (1 - ρ1) * (1 - ρ2)) + v1 = lfilter([1.0], [1.0, -ρ2], rhs) # v1_t = ρ2 v1_{t-1} + rhs_t + return v1, v2 + +def loglik(params, U, v2): + "Gaussian log likelihood with V_v concentrated out." + v = np.vstack(residuals(params, U, v2)) + T = v.shape[1] + V = v @ v.T / T + return -T * np.log(2 * np.pi) - T / 2 * np.linalg.slogdet(V)[1] - T, V + +def estimate(g, start='1958'): + "Maximum likelihood estimates of (θ, U*, ρ1, ρ2) for a government g." + f = g['frame'] + i0 = f.index.get_loc(pd.Timestamp(start)) - 2 + U, v2 = f['U'].to_numpy()[i0:], f['miss'].to_numpy()[i0:] + + def neg(p): + return -loglik(p, U, v2)[0] if max(abs(p[2]), abs(p[3])) < 1 else 1e10 + + starts = [(0.2, 4.0, ρ1, ρ2) for ρ1 in (0.8, 0.95) for ρ2 in (0.0, 0.5, 0.9)] + fits = [minimize(neg, x0, method='Nelder-Mead', + options=dict(xatol=1e-8, fatol=1e-9, maxiter=20_000)) + for x0 in starts] + best = min(fits, key=lambda r: r.fun) + return dict(params=best.x, loglik=-best.fun, U=U, v2=v2, + V=loglik(best.x, U, v2)[1], T=len(U) - 2) + +def std_errors(est, h=1e-4): + "Standard errors from the numerical Hessian of the concentrated likelihood." + x, k = est['params'], len(est['params']) + f = lambda p: loglik(p, est['U'], est['v2'])[0] + E, H = h * np.eye(k), np.empty((k, k)) + for i in range(k): + for j in range(k): + H[i, j] = (f(x + E[i] + E[j]) - f(x + E[i] - E[j]) + - f(x - E[i] + E[j]) + f(x - E[i] - E[j])) / (4 * h**2) + return np.sqrt(np.diag(np.linalg.inv(-H))) + +est = {s: estimate(gov[s]) for s in 'CK'} +se = {s: std_errors(est[s]) for s in 'CK'} +``` + +下面是我们的估计结果与该书表 3 和表 4 的对比。 + +```{code-cell} ipython3 +book = {'C': [0.1192, 1.6483, 0.9145, 0.5754, -560], + 'K': [0.163, 2.745, 0.932, 0.667, -333]} +names = ['θ', 'U*', 'ρ1', 'ρ2'] +rows = [] +for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + for i, name in enumerate(names): + p, e = est[s]['params'][i], se[s][i] + rows.append([label, name, book[s][i], p, e, abs(p - book[s][i]) / e]) + rows.append([label, 'log L', book[s][4], est[s]['loglik'], np.nan, np.nan]) +table = pd.DataFrame(rows, columns=['scheme', 'parameter', 'book', 'ours', + 'std. error', '|ours - book| / s.e.']) +print(f"likelihood sample: {est['C']['T']} quarters, 1958Q1-1997Q1") +table.set_index(['scheme', 'parameter']).round(3) +``` + +在两种方案下,该书对 $\theta$ 和 $\rho_1$ 的估计值都落在我们估计值一个标准误差的范围之内;其 $U^*$ 和 $\rho_2$ 的值与我们的估计值相差约一个半标准误差。 + +通货膨胀意外冲击对 $\theta$ 的影响较小,每一个百分点的年化季度通货膨胀率对应的失业率变化在十分之一到五分之一个百分点之间。 + +菲利普斯曲线扰动具有持续性($\rho_1$ 高于 .9),而冲击的影响衰减得更快($\rho_2$ 接近 .7)。 + +有两个参数的确定性较弱:如果似然样本晚两个季度开始(即在 1958 年衰退之后),$\rho_2$ 的估计值会出现明显变化, + +```{code-cell} ipython3 +for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + p = estimate(gov[s], start='1958-07')['params'] + print(f"{label:10s} from 1958Q3: θ = {p[0]:.3f}, U* = {p[1]:.2f}, " + f"ρ1 = {p[2]:.3f}, ρ2 = {p[3]:.3f}") +``` + +而自然率 $U^*$ 的标准误差较大。 + +凯恩斯方案的似然值要高得多。 + +将两种方案最大化对数似然之间的差距除以样本量,即估计出数据分布与两种方案的 m-投影之间 KL 散度率的差异({doc}`approximation_errors`);该差距对两个设定有误的模型进行排序,而不对任何一个模型进行检验。 + +我们两种方案之间的差距小于该书的结果;由于常数项的笔误以及数据版本的不同,$\log L$ 的水平值不具可比性,但差距的符号是相同的。 + +残差显示了差距的来源,以及为什么 $U^*$ 难以精确确定: + +```{code-cell} ipython3 +for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + v1, v2 = residuals(est[s]['params'], est[s]['U'], est[s]['v2']) + rms = lambda v: np.sqrt(np.mean(v**2)) + print(f"{label:10s}: misses v2: root mean square {rms(v2):.2f}, mean {v2.mean():.2f}; " + f"v1: root mean square {rms(v1):.2f}, mean {v1.mean():.2f}; " + f"corr(v1, v2) = {np.corrcoef(v1, v2)[0, 1]:.2f}") +print(f"average unemployment over the sample: {est['C']['U'][2:].mean():.2f}") +``` + +就均方根而言,经典政府的误差是凯恩斯政府误差的两倍多。 + +两组误差的均值都为正,因为在很长的时间段内建议值都低于实际通货膨胀率。 + +由于 $v_1$ 与 $v_2$ 相关,$v_1$ 的均值也可能为正,而较低的 $U^*$ 与 $v_1$ 的正均值相结合,拟合效果几乎与较高的 $U^*$ 一样好;这大概就是为什么我们和该书都发现 $U^*$ 的估计值低于样本期平均失业率的原因。 + +## 建议与误差 + +该模型中通货膨胀的拟合值并非外部计量经济学家做出的预测:它正是政府自身的程序根据其所见数据给出的建议通货膨胀率。 + +接下来的两幅图重现了该书的图 9.1 和图 9.2a:每幅图都展示了建议值与实际通货膨胀率的对比,以及政府估计的菲利普斯曲线中通货膨胀系数之和。 + +当该系数之和在经典回归中为 $0$,在凯恩斯回归中为 $1$ 时,归纳假设({ref}`pa_induction`)成立。 + +```{code-cell} ipython3 +def plot_government(g, ref, title, sum_label, start='1958'): + f = g['frame'].loc[start:] + fig, axes = plt.subplots(2, 1, figsize=(9, 7), sharex=True) + axes[0].plot(f.index, f['y'], 'C0--', lw=1, label='actual') + axes[0].plot(f.index, f['yhat'], 'C1', lw=1.8, label='recommended') + axes[0].axhline(0, color='k', lw=0.5) + axes[0].set_ylabel('inflation (percent)') + axes[0].legend(frameon=False) + axes[1].plot(f.index, f['sum_y'], 'C2', lw=1.5) + axes[1].axhline(ref, color='k', ls=':', lw=1, label='induction hypothesis') + axes[1].set_ylabel(sum_label) + axes[1].legend(frameon=False) + axes[0].set_title(title) + plt.tight_layout() + plt.show() +``` + +首先来看经典政府。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: "Classical government: recommended and actual inflation, and the sum of coefficients on current and lagged inflation (book Figure 9.1)" + name: fig-ppe-classical +--- +plot_government(gov['C'], 0, 'Classical identification', + 'sum on current and lagged $y$') +``` + +经典政府几乎始终建议低于零的通货膨胀率,仅在 1970 年前后短暂升至零以上。 + +正如该书所言:"经典模型甚至未能匹配 1970 年之前通货膨胀的加速过程。" + +其以当期及滞后通货膨胀对失业率所做的回归发现,通货膨胀系数之和很小,并且从 20 世纪 70 年代初开始接近于零。 + +这样的政府几乎看不到任何可利用的权衡,因此费尔普斯问题指示它追求低通货膨胀。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: "Keynesian government: recommended and actual inflation, and the sum of coefficients on lagged inflation (book Figure 9.2a)" + name: fig-ppe-keynesian +--- +plot_government(gov['K'], 1, 'Keynesian identification', 'sum on lagged $y$') +``` + +凯恩斯政府的建议更好地反映了通货膨胀模式,部分匹配了 20 世纪 60 年代末的加速过程。 + +然而,从 20 世纪 70 年代初开始,这些建议明显低于实际通货膨胀率,并且在此后约二十年的大部分时间里都低于实际值。 + +下方的面板解释了原因。 + +滞后通货膨胀的权重之和从 20 世纪 60 年代远低于 1 的水平,攀升至 20 世纪 70 年代中期的约 1,并在此后保持在这一水平附近。 + +到那时,凯恩斯政府已经学会了索洛-托宾版本的自然率假说,费尔普斯问题指示它降低通货膨胀。 + +### 归纳假设的形成 + +该书的图 9.2b 展示了数据如何逐渐消除政府的疑虑。 + +我们用 $\hat\sigma_t^2 \left(\sum_{s\le t}\lambda^{t-s} X_{K,s}X_{K,s}^\top\right)^{-1}$ 来近似政府对 $\beta_t$ 的不确定性,其中 $\hat\sigma_t^2$ 为贴现残差方差。 + +这正是实现常增益最小二乘法的卡尔曼滤波会赋予其估计值的协方差矩阵。 + +该图绘制了 1960 年、1965 年……1985 年各年第一季度,滞后通货膨胀权重之和与常数项的 95% 和 99% 置信椭圆。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: "Keynesian government: 95% and 99% confidence ellipses for the sum of weights on lagged inflation and the constant (book Figure 9.2b)" + name: fig-ppe-ellipses +--- +def ellipse(center, cov, level, n=200): + "Points on a confidence ellipse for a bivariate normal estimate." + w, Q = np.linalg.eigh(cov) + a = np.linspace(0, 2 * np.pi, n) + circle = np.vstack([np.cos(a), np.sin(a)]) + return center[:, None] + Q @ (np.sqrt(chi2.ppf(level, 2) * w)[:, None] * circle) + +g = gov['K'] +k = g['coef'].shape[1] +D = np.zeros((2, k)) +D[0, 1 + g['mU']:1 + g['mU'] + g['my']] = 1.0 # sum of weights on lagged y +D[1, -1] = 1.0 # constant + +fig, axes = plt.subplots(2, 3, figsize=(10, 6.5), sharex=True, sharey=True) +for ax, year in zip(axes.ravel(), range(1960, 1990, 5)): + t = g['frame'].index.get_loc(pd.Timestamp(f'{year}-01-01')) + center = D @ g['coef'][t] + cov = g['σ2'][t] * D @ np.linalg.inv(g['S'][t]) @ D.T + for level, ls in [(0.95, '-'), (0.99, '--')]: + e = ellipse(center, cov, level) + ax.plot(e[0], e[1], 'C0', ls=ls, lw=1) + ax.plot(*center, 'C0o', ms=3) + ax.axvline(1, color='k', ls=':', lw=1) + ax.set_title(f'{year}Q1') +for ax in axes[1]: + ax.set_xlabel('sum on lagged $y$') +for ax in axes[:, 0]: + ax.set_ylabel('constant') +plt.tight_layout() +plt.show() +``` + +这一模式与该书的图形以及第 8 章模拟中的置信椭圆相似。 + +20 世纪 60 年代,椭圆远离归纳假设(点线),但足够大,留有怀疑的余地。 + +20 世纪 70 年代期间,中心点移动到归纳假设线上并保持在那里,椭圆也比 20 世纪 60 年代初的更小,尽管不如该书中的那样小。 + +用该书的话说,点估计发生了移动,"使得椭球体的中心发生偏移,疑虑逐渐消散。" + +(ppe_misses)= +## 误差支持平反 + +若按逐期拟合效果来评判,这些适应性模型是令人失望的:即便对凯恩斯模型而言,20 世纪 70 年代也存在一长串低估通货膨胀的情况。 + +萨金特给出了不同的解读: + +> 但这样的误差不一定不能为计量经济政策评估正名。恰恰相反,估计模型的误差模式支持平反。记住适应性模型的拟合值就是政府随时间推移给出的建议,这就从计量经济学上的缺陷中提炼出了平反的含义。 + +这些误差表明,建议值系统性地*低于*实际发生的通货膨胀率:政府的程序一直在告诉它要实行反通胀政策,而实际政策并未这样做。 + +一步建议 $h(\gamma_{t-1})X_{t-1}$ 混合了两样东西:政府希望通货膨胀走向何方,以及它计划以多快的速度从继承而来的通货膨胀水平到达那里。 + +为了将两者分开,我们计算政府计划的稳态,即如果当前信念正确,费尔普斯规则会将经济引导至的长期通货膨胀率。 + +```{code-cell} ipython3 +def planned_long_run(γ, δ, mU, my): + "Steady-state inflation of the government's plan under its own beliefs." + h = phelps_h(γ, δ, mU, my) + A, B = lq_matrices(γ, mU, my) + M = A + B @ h[None, :] # believed closed loop + n = M.shape[0] - 1 # last state is the constant + s_bar = np.linalg.solve(np.eye(n) - M[:n, :n], M[:n, -1]) + return h @ np.r_[s_bar, 1.0] + +def long_run_path(g): + path = np.full(len(g['frame']), np.nan) + for t in range(1, len(path)): + β = g['coef'][t - 1] + if not np.isnan(β).any(): + γ = β if g['scheme'] == 'C' else γ_of_β(β) + path[t] = planned_long_run(γ, g['δ'], g['mU'], g['my']) + return pd.Series(path, index=g['frame'].index) + +for s in 'CK': + gov[s]['frame']['long_run'] = long_run_path(gov[s]) +``` + +下图将凯恩斯政府的计划与其一步建议、经典建议以及实际通货膨胀率并列呈现。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: "Actual inflation, the Keynesian government's recommendation, and the long-run inflation rate its plan aimed for" + name: fig-ppe-plans +--- +fK, fC = gov['K']['frame'].loc['1958':], gov['C']['frame'].loc['1958':] +fig, ax = plt.subplots(figsize=(9, 4.8)) +ax.plot(fK.index, fK['y'], 'C0--', lw=1, label='actual inflation') +ax.plot(fK.index, fK['yhat'], 'C1', lw=1.5, label='Keynesian recommendation') +ax.plot(fK.index, fK['long_run'], 'C3', lw=2, label='Keynesian planned long-run inflation') +ax.plot(fC.index, fC['yhat'], 'C2', lw=1, alpha=0.8, label='classical recommendation') +ax.axvline(pd.Timestamp('1979-08-01'), color='k', ls=':', lw=1) +ax.text(pd.Timestamp('1980-06-01'), -4, 'Volcker', fontsize=9) +ax.axhline(0, color='k', lw=0.5) +ax.set_ylabel('percent') +ax.legend(frameon=False, fontsize=9, loc='upper left') +plt.show() +``` + +五个时期的平均值对该图做了总结。 + +```{code-cell} ipython3 +eras = [('1958', '1965'), ('1966', '1972'), ('1973', '1979'), + ('1980', '1984'), ('1985', '1997')] +summary = pd.DataFrame( + {f'{a}-{b}': [fK['y'].loc[a:b].mean(), + fC['yhat'].loc[a:b].mean(), + fK['yhat'].loc[a:b].mean(), + fK['long_run'].loc[a:b].median()] + for a, b in eras}, + index=['actual inflation', 'classical recommendation', + 'Keynesian recommendation', 'Keynesian long-run plan (median)']) +summary.round(2) +``` + +从 1973 年到 1990 年,建议值大多低于实际通货膨胀率: + +```{code-cell} ipython3 +for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + m = gov[s]['frame']['miss'].loc['1973':'1990'] + print(f"{label:10s}: mean miss 1973-1990 = {m.mean():5.2f}, " + f"share of quarters with recommendation below actual = {(m > 0).mean():.0%}") +``` + +这一计算印证了该书的解读: + +> 计量经济学估计告诉我们,未经改造的凯恩斯菲利普斯曲线拟合者本会发现经验菲利普斯曲线出现了不利的偏移,并通过归纳假设结合费尔普斯问题本会建议降低通货膨胀率。这些量化政策评估者本不会认同 20 世纪 70 年代末流行的那种论证松散的说法,即预期中的长滞后使得反通胀的代价过高。我们的结果表明,经典识别方案下的建议本会更加及时。 + +整个 20 世纪 60 年代,凯恩斯政府的目标是将长期通货膨胀率定在百分之二到三之间。 + +一旦其估计的滞后通货膨胀权重之和接近 1,其目标就降到了约百分之一或更低,并在整个 20 世纪 80 年代初一直保持在这一水平,而实际通货膨胀率则远高于此。 + +它在 20 世纪 70 年代末的一步建议约为百分之四,呼吁将通货膨胀大幅降至继承而来的水平之下。 + +沃尔克反通胀之后,权重之和略有下降,计划的长期通货膨胀率回到了百分之二到三,接近实际通货膨胀率。 + +即使在 20 世纪 60 年代末的加速期,经典政府的建议也接近于零,此后更是低于零:这正是其建议"本会更加及时"的含义所在。 + +该书第 1 章得出了这样的结论:"计量经济学估计提出了一个谜团:为什么稳定政策被推迟了。" + +### 这些误差有多稳健? + +由于该书没有报告其滞后阶数或转换为季度数据的方法,下表对滞后阶数、季度取样方式以及频率进行了变化处理。 + +月度数据栏使用 $\lambda^{1/3}$ 和 $\delta^{1/3}$,以保持相同的记忆长度和相同的日历时间贴现率。 + +```{code-cell} ipython3 +specs = [('end of quarter', 'last', 1, 2), ('end of quarter', 'last', 2, 2), + ('quarterly average', 'avg', 1, 2), ('quarterly average', 'avg', 2, 2), + ('monthly', 'monthly', 1, 2), ('monthly', 'monthly', 2, 2)] +rows = [] +for label, how, mU, my in specs: + d = make_data(how) + λ, δ = (0.985**(1/3), 0.999**(1/3)) if how == 'monthly' else (0.985, 0.999) + g = {s: government(d, s, λ=λ, δ=δ, mU=mU, my=my) for s in 'CK'} + e = {s: estimate(g[s]) for s in 'CK'} + fk = g['K']['frame'] + fk['long_run'] = long_run_path(g['K']) + β_U = pd.Series(g['K']['coef'][:, 0], index=fk.index) + m = fk['miss'].loc['1973':'1990'] + rows.append([label, f'({mU}, {my})', + e['K']['loglik'] - e['C']['loglik'], + e['K']['params'][0], + g['C']['frame']['yhat'].loc['1973':'1979'].mean(), + β_U.loc['1973':'1979'].mean(), + fk['yhat'].loc['1973':'1979'].mean(), + (m > 0).mean(), + fk['sum_y'].loc['1975':'1984'].mean(), + fk['long_run'].loc['1973':'1984'].median()]) +robust = pd.DataFrame(rows, columns=[ + 'data', '(m_U, m_y)', 'log L: K minus C', 'K estimate of θ', + 'C recommendation 1973-79', 'K coefficient on U_t, 1973-79', + 'K recommendation 1973-79', 'K share of misses > 0, 1973-90', + 'K sum on lagged y, 1975-84', 'K long-run plan 1973-84']) +robust.set_index(['data', '(m_U, m_y)']).round(2).T +``` + +一些发现在每一列中都成立:凯恩斯方案拟合得更好,经典政府在 20 世纪 70 年代建议低于零的通货膨胀率。 + +无论滞后阶数或取样方式如何,只要使用季度数据,凯恩斯政府滞后通货膨胀权重之和在 1975 年后都接近 1,其长期计划在 1973–1984 年间呼吁实行约百分之一或更低的通货膨胀率。 + +*一步*凯恩斯建议则更为脆弱,对 $\theta$ 的估计也是如此。 + +原因在于凯恩斯回归中当期失业率的系数 $\beta_1$,政府通过对其求逆得到其短期权衡 $1/\beta_1$。 + +使用一期失业率滞后时,1973–1979 年间该系数明显为负;使用两期滞后时,季末取样下该系数约为原来的一半,而季度平均取样下则约为零。 + +{cite:t}`Sims1971`(在 {doc}`approximation_errors` 中有所描述)表明,点取样和平均取样会将同一个连续时间关系投影到不同的离散时间滞后分布上。 + +对曲线求逆时就要除以一个接近零的数,于是所信奉的失业率动态变得不稳定,政府对继承的通货膨胀的短期反应也随之剧烈波动;这就是这些列中一步误差变小的原因。 + +月度数据失败的原因更为根本。 + +两期月度通货膨胀滞后仅跨越两个月,其系数之和远达不到 1,因此月度凯恩斯政府从未激活归纳假设,其长期计划随通货膨胀上升而非下降。 + +一个足以捕捉归纳假设的分布滞后,需要跨越若干季度,而不是若干个月。 + +### 这是一个实证结论,而非规范性结论 + +萨金特并未将这些估计结果当作背书。 + +{doc}`phillips_learning` 中的模拟表明,均值动态最终会将适应性政府拉回自我确认均衡,因此一段时期的良好建议并不能保证政策长期良好。 + +该书第 10 章结尾写道: + +> 最后,虽然我们的模拟和计量经济学证据支持计量经济政策评估得到平反的故事,但我们希望这是一个错误的故事。我们反而希望政策制定者以某种方式已经学会了自然率假说的正确的理性预期版本,并致力于实行低通货膨胀。 + +## 后续发展 + +第 9 章固定了增益。 + +{ref}`olg_ex7` 提出了钟(Chung)的问题,即在有界理性系列模型的模拟数据上估计增益本身,其中增益被称为 $\gamma$,信念被称为 $\alpha$;下文的 {ref}`ppe_ex1` 则在本讲座的数据上探讨了同样的问题。 + +{ref}`pbr_compliment` 解释了为何一个不消失的增益使得这类学习参数是可估计的。 + +{cite:t}`SargentWilliamsZha2006` 是本章内容的现代版本。 + +他们的政府在漂移的菲利普斯曲线系数上运行卡尔曼滤波({doc}`kalman`),即 Sims–Chung 设定,并且与第 9 章一样,通货膨胀的系统性部分在政府当前的估计下求解费尔普斯问题。 + +与第 9 章不同,他们使用贝叶斯马尔可夫链蒙特卡洛算法,将设定政府增益的漂移协方差与真实模型的参数一起联合估计。 + +{doc}`phillips_priors` 讨论了他们的估计以及 {cite:t}`CarboniEllison2009` 的改进方法,后者利用美联储的绿皮书预测来约束政府的信念。 + +{doc}`phillips_lost_conquest` 就 21 世纪 20 年代的美联储提出了钟的问题。 + +在本讲座中,政府的信念在似然函数中没有留下任何自由参数。 + +下一讲,{doc}`phillips_drifts_volatilities`,采取了相反的方法:它拟合了一个简约式向量自回归,其系数会漂移,其冲击具有随机波动率。 + +它探讨了平反故事所认为处于战后通货膨胀核心的漂移信念,是否在数据中留下了该故事所预测的痕迹。 + +## 练习 + +```{exercise-start} +:label: ppe_ex1 +``` + +该书将 $\lambda = .985$ 固定不变。 + +计算增益的廓线似然:对于从 $.95$ 到 $1$ 的 $\lambda$ 网格,重建政府的信念和建议,重新估计 $(\theta, U^*, \rho_1, \rho_2)$,并绘制两种识别方案下最大化的 $\log L$ 对 $\lambda$ 的图。 + +注意 $\lambda = 1$ 即为最小二乘法,其增益以 $1/t$ 的速率衰减。 + +数据偏好哪些 $\lambda$ 值?这一答案对该书中"为什么稳定政策被推迟"这一谜团有何启示? + +```{exercise-end} +``` + +```{solution-start} ppe_ex1 +:class: dropdown +``` + +```{code-cell} ipython3 +λ_grid = [0.95, 0.96, 0.97, 0.975, 0.98, 0.985, 0.99, 0.995, 1.0] +profile = {s: [] for s in 'CK'} +mean_K = [] +for λ in λ_grid: + for s in 'CK': + g = government(data, s, λ=λ) + profile[s].append(estimate(g)['loglik']) + if s == 'K': + mean_K.append(g['frame']['yhat'].loc['1973':'1979'].mean()) + +fig, ax = plt.subplots(figsize=(8, 4.5)) +for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + ax.plot(λ_grid, np.array(profile[s]) - max(profile[s]), 'o-', label=label) +ax.axvline(0.985, color='k', ls=':', lw=1) +ax.set_xlabel(r'forgetting factor $\lambda$') +ax.set_ylabel(r'$\log L - \max_\lambda \log L$') +ax.legend(frameon=False) +plt.show() + +print(" λ log L (C) log L (K) K recommendation 1973-79") +for λ, lc, lk, m in zip(λ_grid, profile['C'], profile['K'], mean_K): + print(f"{λ:5.3f} {lc:9.1f} {lk:9.1f} {m:8.2f}") +``` + +经典似然函数在 $\lambda$ 高于 .97 时几乎是平坦的,因为无论记忆长度如何,经典政府都建议实行低通货膨胀。 + +随着 $\lambda$ 趋近于 1,凯恩斯似然函数稳步上升:数据更偏好记忆衰减最慢的政府。 + +打印出来的平均值解释了原因。 + +记忆更长的政府会赋予 20 世纪 50 年代和 60 年代更大的权重,而当时的回归显示存在长期权衡,因此该政府更晚激活归纳假设,在 20 世纪 70 年代建议更高的通货膨胀率,更接近实际发生的通货膨胀率。 + +由于似然函数只有在建议值更接近实际通货膨胀率时才能对增益给予奖励,因此它偏好学习速度最慢的政府。 + +这是陈述该书谜团的另一种方式:实际政策的表现仿佛比该书中常增益政府更晚才学会自然率假说。 + +在 {ref}`olg_ex7` 的模拟经济中,政府确实遵循其建议,似然函数能恢复出真实的增益;而在这里,对缓慢学习的偏好在一定程度上衡量了实际政策相对于该程序滞后了多少。 + +```{solution-end} +``` + +```{exercise-start} +:label: ppe_ex2 +``` + +{cite:t}`Sims1988` 给其政府设定了一条*静态*菲利普斯曲线,$U_t = \gamma_0 y_t + \gamma_c + \varepsilon_t$,不含滞后项。 + +在两种识别方案下估计该静态模型($m_U = m_y = 0$),并与本讲座中的分布滞后模型进行比较。 + +对这四个模型中的每一个,报告最大化的 $\log L$、1973–1979 年间的平均建议值,以及建议通货膨胀率与实际通货膨胀率之间的相关性。 + +静态经典模型是否失败?滞后结构与拟合方向,哪一个因素更为重要? + +```{exercise-end} +``` + +```{solution-start} ppe_ex2 +:class: dropdown +``` + +```{code-cell} ipython3 +rows = [] +for mU, my, lag_label in [(0, 0, 'static'), (1, 2, 'distributed lag')]: + for s, label in [('C', 'classical'), ('K', 'Keynesian')]: + g = government(data, s, mU=mU, my=my) + f = g['frame'].loc['1958':] + rows.append([lag_label, label, estimate(g)['loglik'], + f['yhat'].loc['1973':'1979'].mean(), + f[['y', 'yhat']].corr().iloc[0, 1]]) +pd.DataFrame(rows, columns=['lags', 'scheme', 'log L', 'recommendation 1973-79', + 'corr(recommended, actual)'] + ).set_index(['lags', 'scheme']).round(2) +``` + +静态经典模型确实失败了:它在 20 世纪 70 年代建议接近零的通货膨胀率,其建议与实际通货膨胀率呈负相关。 + +但增加滞后项并不能挽救经典方案:分布滞后经典政府的建议甚至更低,其似然值也低于静态模型。 + +拟合方向比滞后结构更为重要,并且两个凯恩斯模型的拟合效果都远优于两个经典模型。 + +在以通货膨胀对失业率所做的回归中,季度通货膨胀中的噪声会使通货膨胀系数产生衰减偏误,因此经典政府只能看到微弱的权衡;而对以失业率对通货膨胀所做的回归求逆,则会得到一个陡峭的权衡关系。 + +对于凯恩斯方案,滞后结构也很重要:分布滞后模型具有更高的似然值,其建议对实际通货膨胀率的追踪也要紧密得多。 + +只有分布滞后结构才能让政府发现归纳假设;静态凯恩斯政府的模型中不含滞后通货膨胀,因此它无法以索洛-托宾形式学习自然率假说。 + +该书从 {cite:t}`KingWatson1994` 那里采用了这两种识别方案及其名称,并指出凯恩斯方向更好的拟合效果正是美国菲利普斯曲线文献采纳该方向的原因。 + +```{solution-end} +``` + +```{exercise-start} +:label: ppe_ex3 +``` + +取凯恩斯政府在 1979 年第二季度末、即保罗·沃尔克就任美联储主席之前的信念。 + +计算该政府为接下来二十个季度*计划*的通货膨胀率和失业率路径:即从 1979 年第三季度的状态出发,将所有未来冲击设为零,根据其费尔普斯规则和自己估计的菲利普斯曲线所隐含的路径。 + +对经典政府做同样的计算,并将两种计划与实际发生的情况进行对比绘图。 + +凯恩斯计划与实际的反通胀过程相比如何?两个政府分别预期为此要付出多大的失业率上升代价? + +```{exercise-end} +``` + +```{solution-start} ppe_ex3 +:class: dropdown +``` + +```{code-cell} ipython3 +def planned_paths(g, date, H=20): + "Inflation and unemployment the government planned from `date` on." + t = g['frame'].index.get_loc(pd.Timestamp(date)) + β = g['coef'][t - 1] + γ = β if g['scheme'] == 'C' else γ_of_β(β) + h = phelps_h(γ, g['δ'], g['mU'], g['my']) + A, B = lq_matrices(γ, g['mU'], g['my']) + s = g['states'][t].copy() + y_plan, U_plan = [], [] + for _ in range(H): + y = h @ s + y_plan.append(y) + U_plan.append(γ[0] * y + γ[1:] @ s) + s = A @ s + B[:, 0] * y + index = g['frame'].index[t:t + H] + return pd.DataFrame({'y': y_plan, 'U': U_plan}, index=index[:H]) + +date = '1979-07-01' +plans = {s: planned_paths(gov[s], date) for s in 'CK'} +actual = data.loc[date:].iloc[:20] + +fig, axes = plt.subplots(1, 2, figsize=(11, 4.2)) +for ax, var, ylabel in [(axes[0], 'y', 'inflation'), (axes[1], 'U', 'unemployment')]: + ax.plot(actual.index, actual[var], 'k--', lw=1.2, label='actual') + ax.plot(plans['K'].index, plans['K'][var], 'C1', lw=2, label='Keynesian plan') + ax.plot(plans['C'].index, plans['C'][var], 'C2', lw=2, label='classical plan') + ax.set_ylabel(f'{ylabel} (percent)') + ax.tick_params(axis='x', rotation=30) +axes[0].legend(frameon=False) +plt.tight_layout() +plt.show() + +print(f"1979Q2: inflation {data.loc['1979-04-01', 'y']:.1f}, " + f"unemployment {data.loc['1979-04-01', 'U']:.1f}") +paths = {'Keynesian plan': plans['K'], 'classical plan': plans['C'], 'actual': actual} +print(f"{'':16s} {'y, 1st qtr':>10s} {'y, 4th qtr':>10s} {'y, 20th qtr':>11s} {'peak U':>7s}") +for label, p in paths.items(): + print(f"{label:16s} {p['y'].iloc[0]:10.1f} {p['y'].iloc[3]:10.1f} " + f"{p['y'].iloc[-1]:11.1f} {p['U'].max():7.1f}") +``` + +在沃尔克获任命的前夕,凯恩斯政府计划立即削减通货膨胀率,从两位数降至几个百分点,然后缓慢将其进一步降至零。 + +它预期这一削减会付出代价:在其计划中,失业率跳升至远高于 1979 年水平的程度,之后再缓慢下降。 + +这正是该书第 5 章({doc}`phillips_adaptive`)中费尔普斯问题的模式,即政府"人为制造了一场重大衰退,并立即将通货膨胀降低到超过其最终极限值一半以上的水平。" + +经典政府计划实行温和的通货紧缩,并预期代价很小,因为它估计的曲线几乎未显示出通货膨胀对失业率的短期影响。 + +实际政策的推进比这两个计划都要缓慢:通货膨胀率在一年多的时间里一直居高不下,直到 1982–1983 年才降至 20 世纪 80 年代的水平,而白人男性失业率则在 1982 年底达到峰值。 + +两个政府的计量经济学都主张立即反通胀,而凯恩斯政府即使预期反通胀代价高昂,也仍然建议实行反通胀。 + +两者都不会接受 20 世纪 70 年代末流行的那种论点,即预期中的长滞后使得反通胀的尝试代价过高。 + +```{solution-end} +``` \ No newline at end of file From d2d840cc0f404cdc3e38f93dba50a523ddecafe0 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:45 +1100 Subject: [PATCH 20/28] Update translation: .translate/state/phillips_policy_evaluation.md.yml --- .translate/state/phillips_policy_evaluation.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/phillips_policy_evaluation.md.yml diff --git a/.translate/state/phillips_policy_evaluation.md.yml b/.translate/state/phillips_policy_evaluation.md.yml new file mode 100644 index 00000000..1d4886b2 --- /dev/null +++ b/.translate/state/phillips_policy_evaluation.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 10 +tool-version: 0.33.0 From 92004f411fbdcb7752d3e0cf4094d5adf172d201 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:46 +1100 Subject: [PATCH 21/28] Update translation: lectures/sargent_surico.md --- lectures/sargent_surico.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/lectures/sargent_surico.md b/lectures/sargent_surico.md index ddf20edd..3c47afb9 100644 --- a/lectures/sargent_surico.md +++ b/lectures/sargent_surico.md @@ -181,6 +181,8 @@ $$ (eq:ss_h0) 怀特曼证明了当 $\beta \to 1$ 时,$\bar y_t(\beta)$ 对 $\bar z_t(\beta)$ 的回归系数收敛于 $h(0)$。 +{doc}`approximation_errors` 将使用经过滤波数据的最小二乘法描述为一种投影,它按回归量经过滤波后的谱密度对每个频率赋予权重;卢卡斯所用的滤波器几乎把全部权重都放在了零频率上。 + 因此卢卡斯的两个例证实际上是主张 $$ @@ -2069,4 +2071,4 @@ $h_{\pi,\Delta m}(0)$ 所能达到的范围没有变化,从政策到 $h(0)$ 论文所主张的是一个更弱的说法,即这种量级的冲击方差变化,不足以替代政策的变化。 ```{solution-end} -``` \ No newline at end of file +``` From 44bdf431adc72057dc18235276d99eb917df78da Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:47 +1100 Subject: [PATCH 22/28] Update translation: .translate/state/sargent_surico.md.yml --- .translate/state/sargent_surico.md.yml | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/.translate/state/sargent_surico.md.yml b/.translate/state/sargent_surico.md.yml index 4f434128..77622045 100644 --- a/.translate/state/sargent_surico.md.yml +++ b/.translate/state/sargent_surico.md.yml @@ -1,6 +1,6 @@ -source-sha: f3fdcbcc564961a25c77a01f5e12638e70522552 -synced-at: "2026-08-01" +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" model: claude-sonnet-5 -mode: NEW +mode: UPDATE section-count: 16 -tool-version: 0.24.0 +tool-version: 0.33.0 From e883478ef1418d961dd2a9425cdaf6a4aa334104 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:48 +1100 Subject: [PATCH 23/28] Update translation: lectures/specification_tests.md --- lectures/specification_tests.md | 775 ++++++++++++++++++++++++++++++++ 1 file changed, 775 insertions(+) create mode 100644 lectures/specification_tests.md diff --git a/lectures/specification_tests.md b/lectures/specification_tests.md new file mode 100644 index 00000000..e4006161 --- /dev/null +++ b/lectures/specification_tests.md @@ -0,0 +1,775 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.4 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 设定检验 + headings: + Overview: 概览 + Wu's statistic: 吴氏统计量 + Hausman's lemma: 豪斯曼引理 + Testing independence of irrelevant alternatives: 检验无关备择方案的独立性 + Hansen and Sargent's test of exogeneity: 汉森和萨金特的外生性检验 + Comparing frequency bands: 比较频段 + Concluding remarks: 结语 + Exercises: 练习 +--- + +(specification_tests)= +```{raw} jupyter + +``` + +# 设定检验 + +```{contents} Contents +:depth: 2 +``` + +## 概览 + +本讲座中的设定检验比较了两个估计量。 + +当模型设定正确时,两个估计量都会收敛到真实参数。 + +当模型设定错误时,这两个估计量会收敛到 {doc}`information_projections` 意义上的两个 m-投影:即真实分布在两个不同模型上的投影,或者是真实分布衍生出的两个分布在同一模型上的投影。 + +在大样本情形下,只有当设定误差使得这两个投影的参数产生差异时,检验才对该设定误差具有检验力;对于接近原假设的备择假设,其检验力随着这两个投影之间的距离增大而增大,该距离用我们下面定义的度量 $V(\hat q)^{-1}$ 来衡量。 + +本讲座即围绕这一思路组织展开。 + +{doc}`approximation_errors` 计算了设定错误的时间序列模型的伪真值;本讲座描述了比较两个伪真值的检验方法。 + +* {cite:t}`Wu1973` 比较了普通最小二乘法与工具变量法。在方差保持固定的情况下,他的统计量是一个直角三角形两条直角边长度平方之比,这正是 {doc}`information_projections` 中毕达哥拉斯定理意义下的比值。 +* {cite:t}`Hausman1978` 比较了一个有效估计量与一个在备择假设下仍保持一致性的估计量。他的引理指出,有效估计量与两估计量之差不相关,这使得该差的方差在渐近协方差所定义的内积下构成一个毕达哥拉斯定理。 +* {cite:t}`HausmanMcFadden1984` 比较了多项逻辑模型的两个估计量。在他们的三选项示例中,似然比统计量是 KL 散度的某个倍数,而拉格朗日乘数统计量和豪斯曼统计量则是该散度在不同坐标系下二次近似的相同倍数。 +* {cite:t}`HanSar1980` 通过比较两个拟合模型,提出了一个检验理性预期模型中变量严格外生性的检验方法。 +* 我们构造了一个检验,用于比较使用全部频率的频域最大似然估计量与删去季节性频段后的估计量。 + +{doc}`turbulence_inference` 将投影比较应用于一个经过校准的搜寻模型。 + +我们使用以下导入项。 + +```{code-cell} ipython3 +import numpy as np +import matplotlib.pyplot as plt +from scipy.optimize import minimize_scalar +from scipy.signal import lfilter +from scipy.stats import chi2, ncx2, binom +from scipy.stats import f as f_dist +``` + +(st_wu_section)= +## 吴氏统计量 + +{cite:t}`Wu1973` 研究了回归方程 $y = Y_2 \beta + Z_1 \gamma + u$,其中 $Y_2$ 中的 $G$ 个回归量可能与扰动项 $u$ 相关,而 $Z_1$ 中的 $K_1$ 个回归量是外生的。 + +这些回归量满足 $Y_{i2} = \mu_i + V_i$,其中 $\mu_i$ 是未知的非随机向量,$(u_i, V_i)$ 服从联合正态分布;在联立方程系统中,$\mu_i$ 是一组包含 $Z_{i1}$ 的工具变量向量 $Z_i$ 的线性函数。 + +原假设是 $Y_2$ 与 $u$ 相互独立,即 $E[V_i u_i] = 0$。 + +令 $\sigma_{11} = \operatorname{Var}(u_i)$,$\delta = E[V_i u_i]$,$\Sigma_{22} = \operatorname{Var}(V_i)$。 + +在备择假设下,联合正态性使得 $E[u_i \mid V_i] = V_i^\top \alpha$,其中 $\alpha = \Sigma_{22}^{-1} \delta$,因此扰动项 $u_i - V_i^\top \alpha$ 独立于 $V_i$ 以及 $Y_{i2}$。 + +{cite:t}`Hausman1978` 在他的方程(2.18)–(2.23)中,将吴氏的比较表示为一个回归。 + +他将 $Y_2$ 拆分为对工具变量回归所得的拟合值(在两种假设下均渐近地与 $u$ 不相关)以及该回归的残差矩阵 $\hat V$。 + +然后他将 $y$ 对 $Y_2$、$Z_1$ 和 $\hat V$ 进行回归,并检验 $\hat V$ 的系数 $\alpha$ 是否为零;该回归中 $Y_2$ 的系数即为工具变量估计量。 + +他给出的一般版本(2.23)用拟合值代替了 $\hat V$;这两个回归具有相同的拟合值和相同的 $\alpha = 0$ 检验。 + +{doc}`ols` 将这种回归应用于阿西莫格鲁、约翰逊和鲁滨逊的数据中,其中有一个内生回归量。 + +考虑给定回归量下 $y$ 的条件正态分布的两个族,二者方差均固定为 $\sigma_{11}$: + +* 原假设模型,均值为 $Y_2 \beta + Z_1 \gamma$;以及 +* 更大的模型,均值为 $Y_2 \beta + Z_1 \gamma + \hat V \alpha$。 + +在备择假设下,更大模型的扰动项 $u_i - V_i^\top \alpha$ 的方差小于 $\sigma_{11}$;将两个方差都固定为 $\sigma_{11}$ 使得这两个族具有共同方差且相互嵌套。 + +这是两个嵌套的指数族,而原假设模型正是 $\alpha = 0$ 时的指数子族。 + +普通最小二乘法以及 $y$ 对 $Y_2$、$Z_1$ 和 $\hat V$ 的最小二乘回归,分别是这两个族中的最大似然估计量,因此它们是数据在这两个族上的 m-投影。 + +{doc}`information_projections` 中的毕达哥拉斯定理 {eq}`ip_pythagoras_m`,以适用于连续结果的对数似然形式 {eq}`ip_lr_kl` 表示,因此适用,并且在此高斯情形下,它就是最小二乘法的毕达哥拉斯定理: + +$$ +Q_4 = Q_2 + Q^* . +$$ (st_wu) + +我们沿用吴氏的下标记号。 + +这里,$Q_4$ 是普通最小二乘法的残差平方和,$Q_2$ 是更大回归的残差平方和,$Q^*$ 是两个拟合值向量之间的平方距离。 + +除以 $\sigma_{11}$ 后,$Q_4 - Q_2$ 即为两种拟合的对数似然比的两倍,而 $Q^*$ 是各观测值上两个拟合条件分布之间 KL 散度之和的两倍;{eq}`ip_lr_kl` 使二者相等。 + +吴氏从普通最小二乘估计量 $b_1$ 与 $\beta$ 的工具变量估计量 $b_2$ 之差计算出 $Q^*$: + +$$ +Q^* = (b_1 - b_2)^\top \left[ (Y_2^\top A_2 Y_2)^{-1} - (Y_2^\top A_1 Y_2)^{-1} \right]^{-1} (b_1 - b_2) , +$$ + +其中 $Z = [Z_1, Z_2]$ 是包含全部 $K_1 + K_2$ 个工具变量的 $N \times (K_1 + K_2)$ 矩阵,$A_1 = I - Z_1(Z_1^\top Z_1)^{-1}Z_1^\top$,$A_2 = Z(Z^\top Z)^{-1}Z^\top - Z_1(Z_1^\top Z_1)^{-1}Z_1^\top$。 + +吴氏将 $Q_2 = Q_4 - Q^*$ 定义为他的方程(2.19),并证明在原假设下且以 $Y_2$ 为条件时,$Q^*/\sigma_{11}$ 和 $Q_2/\sigma_{11}$ 是相互独立的卡方变量。 + +$Q_2$ 同时也是豪斯曼更大回归的残差平方和。 + +在剔除 $Z_1$ 的影响后,回归量 $A_1 Y_2$ 被拆分为正交的两部分 $A_2 Y_2$ 和 $\hat V$,而豪斯曼的方程(2.21)表明,对 $\alpha = 0$ 的检验恰恰重现了 $Q^*$。 + +吴氏统计量 + +$$ +T_2 = \frac{Q^* / G}{Q_2 / (N - K_1 - 2G)} +$$ + +是直角三角形 {eq}`st_wu` 两条直角边长度平方(各自除以自由度)之比,其中 $N$ 为观测数。 + +吴氏证明,在原假设下,只要 $N - K_1 > 2G$,$T_2$ 就服从自由度为 $G$ 和 $N - K_1 - 2G$ 的 $F$ 分布。 + +他的统计量 $T_4$ 和 $T_3$ 分别用最小二乘法和工具变量法对 $\sigma_{11}$ 的估计值去除 $Q^*$。 + +他证明,比值 $G T_2 / T_4$ 和 $T_4 / T_3$ 依概率收敛到大于等于1的常数,且仅当 $\delta = 0$ 时等于1。 + +因此,在他对检验力函数的大样本近似中,在相同的 $\chi^2_G$ 临界值下,$G T_2$ 的拒绝频率至少与 $T_4$ 一样高,而 $T_4$ 的拒绝频率至少与 $T_3$ 一样高。 + +吴氏全文都假设工具变量数多于内生回归量数,即 $K_2 > G$;只有他的统计量 $T_1$(分母自由度为 $K_2 - G$)需要这一假设。 + +下面的代码检验了 {eq}`st_wu` 式以及一个模型精确的 $F$ 分布,该模型 $Y_2$ 中仅有一个回归量,$Z_1$ 中无回归量,仅有一个工具变量,且 $N = 25$ 个观测值。 + +```{code-cell} ipython3 +N, β_true, Π = 25, 1.0, 0.6 +rng = np.random.default_rng(0) +z_inst = rng.normal(size=N) # nonstochastic instrument + + +def wu_statistics(y, x, z_inst): + x_hat = z_inst * (z_inst @ x) / (z_inst @ z_inst) + b1, b2 = (x @ y) / (x @ x), (x_hat @ y) / (x_hat @ x) + Q_star = (b1 - b2)**2 / (1 / (x_hat @ x_hat) - 1 / (x @ x)) + X = np.column_stack([x, x - x_hat]) + coef = np.linalg.lstsq(X, y, rcond=None)[0] + fit0, fit1 = b1 * x, X @ coef + Q4, Q2 = np.sum((y - fit0)**2), np.sum((y - fit1)**2) + return Q_star, Q4, Q2, np.sum((fit1 - fit0)**2) + + +u = rng.normal(size=N) +x = Π * z_inst + rng.normal(size=N) +Q_star, Q4, Q2, dist2 = wu_statistics(β_true * x + u, x, z_inst) +print(f"Q4 = {Q4:.6f}, Q2 + Q* = {Q2 + Q_star:.6f}, Q* = {Q_star:.6f}, " + f"squared distance between fits = {dist2:.6f}") + +R = 20_000 +T2 = np.empty(R) +for r in range(R): + u = rng.normal(size=N) + x = Π * z_inst + rng.normal(size=N) + Q_star, _, Q2, _ = wu_statistics(β_true * x + u, x, z_inst) + T2[r] = Q_star / (Q2 / (N - 2)) +crit = f_dist.ppf(0.95, 1, N - 2) +print(f"fraction of T2 above the 5% critical value of F(1, {N - 2}): " + f"{np.mean(T2 > crit):.4f}") +``` + +(st_hausman_section)= +## 豪斯曼引理 + +{cite:t}`Hausman1978` 将此比较推广到任意一对估计量 $\hat \beta_0$ 和 $\hat \beta_1$,只要在原假设下两者都是一致且渐近正态的,且 $\hat \beta_0$ 是渐近有效的,而在备择假设下只有 $\hat \beta_1$ 保持一致性。 + +他的引理2.1陈述如下: + +> 考虑两个都一致且渐近正态分布的估计量 $\hat\beta_0$、$\hat\beta_1$,其中 $\hat\beta_0$ 达到渐近克拉美-罗下界,从而 $\sqrt{T}(\hat\beta_0 - \beta) \overset{A}{\sim} N(0, V_0)$,而 $\sqrt{T}(\hat\beta_1 - \beta) \overset{A}{\sim} N(0, V_1)$,其中 $V_0$ 是费舍尔信息矩阵的逆。考虑 $\hat q = \hat\beta_1 - \hat\beta_0$。那么 $\sqrt{T}(\hat\beta_0 - \beta)$ 与 $\sqrt{T}\hat q$ 的极限分布具有零协方差,$C(\hat\beta_0, \hat q) = 0$,即一个零矩阵。 + +豪斯曼给出了理由:“若非如此,便可以取 $\hat\beta_0$ 与 $\hat q$ 的某个线性组合,得到一个一致估计量 $\hat\beta_*$,其渐近方差会小于被假定为渐近有效的 $\hat\beta_0$。” + +由此可推出豪斯曼的推论2.6:$\hat\beta_1 = \hat\beta_0 + \hat q$ 中的两项不相关,因此它们的方差相加, + +$$ +V_1 = V_0 + V(\hat q) . +$$ (st_hausman_pythagoras) + +以渐近协方差作为内积,{eq}`st_hausman_pythagoras` 就是一个毕达哥拉斯定理:有效估计量与两估计量之差正交。 + +当 $\hat\beta_1$ 是嵌套了原假设模型的某个模型的最大似然估计量时(如吴氏情形中那样),{eq}`st_hausman_pythagoras` 即为 {doc}`information_projections` 中毕达哥拉斯定理的局部形式。 + +设更大的模型具有参数 $(\beta, \psi)$,原假设模型施加 $\psi = \psi_0$ 的约束。 + +{doc}`exponential_families` 表明,在真实分布附近,KL 散度约等于费舍尔信息矩阵下的一个二次型的一半,因此到原假设模型的 m-投影变成费舍尔内积下的正交投影。 + +受约束估计量 $\hat\theta_0$ 于是近似地等于无约束估计量 $\hat\theta_1$ 到原假设模型上的正交投影,而该直角三角形的直角边 $\hat\theta_1 - \hat\theta_0$ 与原假设模型正交;其 $\beta$-坐标即为 $\hat q$。 + +向量 $\Delta = \sqrt{T}(\hat\theta_1 - \theta)$ 的协方差矩阵为 $\mathcal{I}^{-1}$,所以对任意向量 $a$ 和 $b$,有 $\operatorname{Cov}(a^\top \mathcal{I}\Delta, \, b^\top \mathcal{I}\Delta) = a^\top \mathcal{I} b$:$\Delta$ 中在费舍尔内积 $\langle a, b \rangle = a^\top \mathcal{I} b$ 下正交的分量不相关。 + +沿原假设模型方向及与其正交方向上的分量,其 $\beta$-坐标分别为 $\sqrt{T}(\hat\beta_0 - \beta)$ 和 $\sqrt{T}\hat q$。 + +对于一般的一致估计量 $\hat\beta_1$,该引理在两估计量展开式的主导线性项上也表达了相同的结论:有效估计量所对应的项与两项之差不相关。 + +豪斯曼在其方程(2.7)中称之为 $m$ 的统计量为 $H = T \hat q^\top \tilde V^{-1} \hat q$,其中 $\tilde V$ 是 $V(\hat q) = V_1 - V_0$ 的一致估计。 + +他的定理2.1指出,在原假设下 $H$ 渐近地服从 $\chi^2_K$ 分布,其中 $K$ 是 $\beta$ 中的参数个数;他的脚注12指出,在其工具变量示例中,只有当工具变量足够多时,$V(\hat q)$ 才是非奇异的。 + +在吴氏模型中,$\hat \beta_0$ 是普通最小二乘,$\hat \beta_1$ 是工具变量法,以最小二乘法估计 $u$ 的方差计算出的 $H$ 等于 $Q^*$ 除以该估计值。 + +豪斯曼在其脚注11中指出,这一选择给出了该检验的拉格朗日乘数形式,而用工具变量法估计方差则给出沃尔德形式。 + +这两种形式正是吴氏的 $T_4$ 和 $T_3$。 + +下面的仿真检验了原假设下的 {eq}`st_hausman_pythagoras` 式,并展示了当原假设为假时这两个估计量各自收敛到的值。 + +恰好识别的工具变量估计量没有有限矩,因此我们将仿真得到的方差解读为对渐近方差的近似;在一阶段系数为 $0.6$、$n = 400$ 个观测值的情形下,这些近似是准确的。 + +```{code-cell} ipython3 +def ols_iv(σ_uv, rng, n=400, R=20_000, chunk=5_000): + b_ols, b_iv = [], [] + for start in range(0, R, chunk): # chunks limit memory use + size = min(chunk, R - start) + z_ = rng.normal(size=(size, n)) + u_ = rng.normal(size=(size, n)) + v_ = σ_uv * u_ + np.sqrt(1 - σ_uv**2) * rng.normal(size=(size, n)) # V + x_ = Π * z_ + v_ + y_ = β_true * x_ + u_ + b_ols.append((x_ * y_).sum(axis=1) / (x_ * x_).sum(axis=1)) + b_iv.append((z_ * y_).sum(axis=1) / (z_ * x_).sum(axis=1)) + return np.concatenate(b_ols), np.concatenate(b_iv) + + +rng_h = np.random.default_rng(1) +b_ols, b_iv = ols_iv(0.0, rng_h) +q = b_iv - b_ols +print(f"Var(IV) = {b_iv.var():.3e}, " + f"Var(OLS) + Var(IV - OLS) = {b_ols.var() + q.var():.3e}") +print(f"correlation of OLS with IV - OLS: {np.corrcoef(b_ols, q)[0, 1]:.4f}") + +b_ols, b_iv = ols_iv(0.3, rng_h) +print(f"\nwith Cov(u, V) = 0.3: mean OLS = {b_ols.mean():.4f} " + f"(pseudo-true value {β_true + 0.3 / (Π**2 + 1):.4f}), " + f"mean IV = {b_iv.mean():.4f}") +``` + +当 $u$ 与 $V$ 相关时,普通最小二乘法收敛到伪真值 $\beta + \operatorname{Cov}(u, x)/\operatorname{Var}(x)$,即真实分布投影到假定独立模型上的 m-投影系数,而工具变量法则收敛到 $\beta$。 + +在一系列局部备择假设下,$H$ 渐近服从非中心 $\chi^2$ 分布,其非中心参数等于 $T$ 乘以两估计量概率极限之间在度量 $V(\hat q)^{-1}$ 下的平方距离。 + +豪斯曼检验所检测的是,感兴趣的参数是否取决于真实分布被投影到哪个模型上,而非检测模型本身是否为真;若某种设定误差使得两个概率极限相等,该检验对此没有检验力。 + +豪斯曼的脚注13给出了一个例子:在没有滞后因变量的回归中,序列相关的扰动项不会影响普通最小二乘法和自回归估计量的一致性,因此 $\hat q$ 的概率极限为零。 + +(st_iia_section)= +## 检验无关备择方案的独立性 + +{doc}`exponential_families` 中的多项逻辑模型给出了决策者从选择集 $C$ 中选择方案 $i$ 的概率为 + +$$ +P(i \mid z, C, \beta) = \frac{\exp(z_i^\top \beta)}{\sum_{j \in C} \exp(z_j^\top \beta)} , +$$ + +其中 $z_j$ 是方案 $j$ 的属性向量。 + +这些概率构成了一个以 $\beta$ 为参数、以 $z_i$ 为充分统计量的指数族。 + +逻辑模型具有**无关备择方案独立性**的性质: + +$$ +P(i \mid z, C, \beta) = P(i \mid z, A, \beta) \cdot P(A \mid z, C, \beta) +$$ + +对于 $C$ 的子集 $A$ 中的选择 $i$,其中 $P(i \mid z, A, \beta)$ 是仅应用于 $A$ 中方案的逻辑公式。 + +{cite:t}`HausmanMcFadden1984` 比较了由全部选择计算得到的最大似然估计量 $\hat\beta_C$ 与仅由落入 $A$ 的选择计算得到的条件最大似然估计量 $\hat\beta_A$。 + +这两个估计量分别是两个分布的 m-投影:全部选择的分布在逻辑模型上的投影,以及 $A$ 内选择的条件分布在限制于 $A$ 的逻辑模型上的投影。 + +当逻辑模型设定正确时,两个估计量都收敛到真实的 $\beta$。 + +当真实模型是嵌套逻辑模型(即同一分支中方案的未观测效用相关)时,这两个估计量收敛到不同的值。 + +豪斯曼和麦克法登给出了一个三选项示例,其中方案2和方案3具有相同的属性,因此在逻辑模型下它们具有相同的选择概率。 + +设 $n_1, n_2, n_3$ 分别为各方案被选中的次数,$m = n_2 + n_3$,$s = n_2 / m$。 + +豪斯曼和麦克法登推导出一个似然比统计量、一个拉格朗日乘数统计量,以及一个通过删去方案3而计算得到的豪斯曼统计量: + +$$ +LR = 2 n_2 \log \frac{2 n_2}{n_2 + n_3} + 2 n_3 \log \frac{2 n_3}{n_2 + n_3} , +\quad +LM = \frac{(n_3 - n_2)^2}{n_2 + n_3} , +\quad +H_3 = \left( \log \frac{2 n_2}{n_2 + n_3} \right)^2 (n_2 + n_3) . +$$ + +若改为删去方案2,则得到 $H_2 = \left( \log \frac{2 n_3}{n_2 + n_3} \right)^2 (n_2 + n_3)$。 + +以 $m$ 为条件,$n_2$ 服从以 $m$ 为试验次数、以 $\pi_2 = p_2/(p_2 + p_3)$ 为成功概率的二项分布,$s$ 是 $\pi_2$ 的最大似然估计量。 + +原假设设定 $\pi_2 = \frac{1}{2}$。 + +由 {doc}`information_projections` 中的 {eq}`ip_lr_kl` 式可知,似然比统计量等于 $2m$ 乘以参数为 $s$ 的伯努利分布相对于参数为 $\frac{1}{2}$ 的伯努利分布的 KL 散度。 + +拉格朗日乘数统计量是该散度在期望参数坐标 $s$ 下二次近似的 $2m$ 倍。 + +豪斯曼统计量 $H_3$ 是该散度在坐标 $\log s$(既非自然参数 $\log(s/(1 - s))$ 也非期望参数 $s$)下二次近似的 $2m$ 倍,而 $H_2$ 则是该散度在坐标 $\log(1 - s)$ 下二次近似的 $2m$ 倍。 + +$\pi_2 = \frac{1}{2}$ 处关于 $\pi_2$ 的费舍尔信息量为 $1/(\pi_2(1-\pi_2)) = 4$,而关于 $\log \pi_2$ 的费舍尔信息量为 $\pi_2/(1 - \pi_2) = 1$,二者分别给出二次近似 $2(s - \frac{1}{2})^2$ 和 $\frac{1}{2}(\log 2s)^2$。 + +```{code-cell} ipython3 +def bernoulli_kl(s, p=0.5): + return s * np.log(s / p) + (1 - s) * np.log((1 - s) / (1 - p)) + + +for n2, n3 in ((230, 270), (180, 320)): + m, s = n2 + n3, n2 / (n2 + n3) + LR = 2 * n2 * np.log(2 * n2 / m) + 2 * n3 * np.log(2 * n3 / m) + LM = (n3 - n2)**2 / m + H3 = np.log(2 * n2 / m)**2 * m + print(f"n2, n3 = {n2}, {n3}: LR = {LR:.4f} = 2m KL = " + f"{2 * m * bernoulli_kl(s):.4f}; LM = {LM:.4f} = " + f"{2 * m * 2 * (s - 0.5)**2:.4f}; H3 = {H3:.4f} = " + f"{2 * m * 0.5 * np.log(2 * s)**2:.4f}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: KL divergence and its quadratic approximations + name: fig-st-iia +--- +s_vals = np.linspace(0.2, 0.8, 300) +fig, ax = plt.subplots() +ax.plot(s_vals, bernoulli_kl(s_vals), lw=3, label="KL divergence (LR)") +ax.plot(s_vals, 2 * (s_vals - 0.5)**2, "--", label=r"quadratic in $s$ (LM)") +ax.plot(s_vals, 0.5 * np.log(2 * s_vals)**2, ":", + label=r"quadratic in $\log s$ ($H_3$)") +ax.plot(s_vals, 0.5 * np.log(2 * (1 - s_vals))**2, "-.", + label=r"quadratic in $\log(1 - s)$ ($H_2$)") +ax.set_xlabel("$s = n_2 / (n_2 + n_3)$") +ax.set_ylabel("divergence per choice of alternative 2 or 3") +ax.set_ylim(0, 0.3) +ax.legend(loc="upper center", fontsize=9) +plt.show() +``` + +在原假设以及局部备择假设下,这四个统计量具有相同的渐近分布,但在有限样本中彼此不同。 + +豪斯曼和麦克法登列表给出了这些检验以及嵌套逻辑模型中参数为 $\lambda$ 的 $\lambda = 1$ 沃尔德检验的精确拒绝概率。 + +他们的备择模型是 $\lambda < 1$ 的嵌套逻辑模型,其中方案1和方案2属于同一分支,因此 $p_2 < p_3$。 + +在他们的表III.2和表III.3中,沃尔德检验和 $H_3$ 检验力最强,其次是似然比检验和拉格朗日乘数检验,而 $H_2$ 检验力最弱。 + +他们的正文中有四处将表中显示为 $H_3$ 的行标注为 $H_2$,又有一处将显示为 $H_2$ 的行标注为 $H_3$;他们在第1233页陈述的排序 WALD > H3 > LR > LM > H2 与表格一致。 + +他们报告了两个“相当出人意料的结果”: + +> (i) 所谓的“神圣三位一体”渐近检验中的三种检验,即使在名义显著性水平相同的情况下,它们的操作特性也存在明显差异。(ii) 沃尔德检验和豪斯曼类型检验的检验力大致相当。其次是似然比检验和拉格朗日乘数检验。这两个结果很可能是因为我们考虑的是非局部的备择假设。 + +他们补充道:“样本量可能不足以可靠地应用渐近理论。” + +{doc}`exponential_families` 比较了泊松族中在自然坐标和期望坐标下对 KL 散度的二次近似。 + +{ref}`st_ex_iia` 计算了精确的显著性水平和检验力。 + +(st_hs_section)= +## 汉森和萨金特的外生性检验 + +{cite:t}`HanSar1980` 推导出企业劳动力需求的理性预期模型对就业人数 $n_t$ 与企业视为给定的变量向量 $x_t$ 的联合过程所施加的跨方程约束。 + +企业观测到一个计量经济学家观测不到的冲击 $a_t$。 + +在就业不格兰杰引起 $x_t$ 的前提下,当且仅当一个回归系数向量 $v$ 为零时,向量 $x_t$ 在企业决策规则中才是严格外生的,这等价于要求 $x_t$ 中的新息与 $a_t$ 中的新息不相关。 + +他们写道: + +> 这后一种检验在精神上与吴氏(1973)在经典联立方程设定中提出的外生性检验相似。 + +并补充道,他们的设定与吴氏的设定不同,“因为我们允许扰动项存在序列相关,并且我们是通过理性预期假设所隐含的非线性跨方程约束来实现参数识别的。” + +他们提议用准最大似然法对该模型估计两次,一次令 $v$ 自由,另一次令 $v = 0$,并用一个在原假设下渐近服从 $\chi^2$ 分布的似然比统计量来比较两个似然值。 + +第二种方法是用 $\hat v$ 的估计协方差矩阵检验 $v = 0$。 + +他们还提议通过将该模型嵌套于一个不施加这些约束、设定更为宽松的模型中,来对跨方程约束本身进行检验。 + +{doc}`hansen_singleton_1983` 将这样一种检验应用于消费欧拉方程对向量自回归所施加的跨方程约束。 + +利用 {doc}`approximation_errors` 中的频域似然 {eq}`ae_whittle` 式,每个对数似然(在不依赖于模型的某一项之外)等于各频率上 $N(0, I(\omega_j))$ 相对于 $N(0, G(\omega_j, \delta))$ 的交叉熵之和的负值。 + +因此每个似然比统计量都是各频率上取值之和。 + +一般而言,无约束模型和受约束模型都不是指数族,而跨方程约束使得受约束模型成为无约束模型中的一个曲面子集。 + +因此,毕达哥拉斯分解式 {eq}`ip_pythagoras_m` 仅在二阶意义上成立,而这恰恰是渐近 $\chi^2$ 分布所使用的阶数。 + +(st_band_section)= +## 比较频段 + +我们构造了一个豪斯曼检验,用以比较使用全部频率的频域最大似然估计量与删去季节性频段后的估计量。 + +{doc}`approximation_errors` 表明,如 {eq}`ae_hs_ideal` 式所示,从汉森-萨金特的判据中删去某些频段,相当于将过程中落在这些频段之外的部分投影到模型中落在这些频段之外的部分上。 + +当模型设定正确时,两个估计量收敛到相同的参数,且使用全部频率的估计量是有效的,因此豪斯曼引理适用。 + +当模型在季节性频率处设定错误时,两个估计量收敛到不同的投影。 + +在 {doc}`approximation_errors` 的季节性示例中,季节性成分的方差为非季节性成分方差的四分之一,AR(1)投影在使用全部频率时为 $\rho^* = 0.62$,而在删去宽度为 $\pi/8$ 的频段后为 $\rho^* = 0.87$。 + +在下面使用1%占比的情形下,{ref}`st_ex_power` 的解答计算出的值分别为 $0.885$ 和 $0.899$。 + +对于一个高斯过程以及一个谱密度为 $g(\omega; \theta)$ 的设定正确的标量模型,使用集合 $K$ 中频率的频域最大似然估计量误差乘以 $\sqrt{T}$,具有渐近协方差矩阵 $\mathcal{I}_K(\theta)^{-1}$,其中 + +$$ +\mathcal{I}_K(\theta) = \frac{1}{4\pi} \int_{K} \nabla_\theta \log g(\omega; \theta) \, \nabla_\theta \log g(\omega; \theta)^\top \, d\omega . +$$ + +如 {doc}`exponential_families` 所述,$\mathcal{I}_K(\theta)$ 是某个 KL 散度的曲率:它是散度率 {eq}`ae_kl_rate` 式(限制在 $K$ 上)在 $\theta' = \theta$ 处关于 $g(\cdot\,; \theta')$ 对 $g(\cdot\,; \theta)$ 的黑塞矩阵。 + +由 {eq}`st_hausman_pythagoras` 式可知,删去频段后的估计量与全频段估计量之差具有渐近协方差矩阵 $\mathcal{I}_K(\theta)^{-1} - \mathcal{I}(\theta)^{-1}$,其中 $\mathcal{I}$ 使用全部频率。 + +删去这些频段是 {doc}`blackwell_kihlstrom` 意义下的一种信息扰乱,因此由费舍尔信息形式的数据处理不等式可知 $\mathcal{I}_K(\theta) \preceq \mathcal{I}(\theta)$;求逆会使矩阵序反转,因此该协方差矩阵是半正定的。 + +我们将该检验应用于一个参数为 $\theta = (\rho, \sigma^2)$、拟合了 $T = 400$ 个季度观测值的一阶自回归模型,删去 $\pi/2$ 和 $\pi$ 附近宽度为 $\pi/8$ 的频段,并仅检验 $\rho$,利用这些矩阵的 $(1, 1)$ 元素。 + +每个估计量都使用傅里叶频率 $\omega_j = 2\pi j / T$,$j = 1, \ldots, T - 1$,因为样本均值被去除,所以省略 $j = 0$;我们也在相同的这些频率上计算 $\mathcal{I}_K$,使得 $\frac{1}{4\pi} \int_K$ 变为 $\frac{1}{2T} \sum_{j \in K}$。 + +省略 $j = 0$ 会在 $T = 400$ 时去掉关于 $\rho$ 约10%的信息,这是因为 $x_t$ 的谱密度在零频率处有一个狭窄的峰值;$\mathcal{I}^{-1}$ 的 $(1, 1)$ 元素是 $0.21$ 而非 $1 - \rho^2 = 0.19$。 + +在每个样本中,我们在全频段估计的 $\rho$ 处对两个信息矩阵求值。 + +在原假设下,数据来自 $x_t = 0.9 x_{t-1} + e_t$。 + +在备择假设下,我们加入 {doc}`approximation_errors` 中的季节性成分,此处称为 $w_t$(因为 $s$ 已用来表示豪斯曼-麦克法登的份额):$(1 + \varphi L + \varphi^2 L^2 + \varphi^3 L^3) w_t = \eta_t$,其中 $\eta_t$ 为白噪声,$\varphi = 0.98$。 + +我们对 $\eta_t$ 进行缩放,使得 $w_t$ 的方差分别为 $x_t$ 方差的0.5%、1%或2%。 + +```{code-cell} ipython3 +T_obs, ρ_x, φ = 400, 0.9, 0.98 +ω_T = 2 * np.pi * np.arange(1, T_obs) / T_obs +z_T = np.exp(-1j * ω_T) + + +def seasonal_keep(ω_set, Δ): + """True outside bands of width Δ centered on π/2, π, and 3π/2.""" + def dist(c): + return np.minimum(np.abs(ω_set - c), 2 * np.pi - np.abs(ω_set - c)) + inside = ((dist(np.pi / 2) < Δ / 2) | (dist(np.pi) < Δ / 2) + | (dist(3 * np.pi / 2) < Δ / 2)) + return ~inside + + +keep_all = np.ones(T_obs - 1, bool) +keep_band = seasonal_keep(ω_T, np.pi / 8) +var_x = 1 / (1 - ρ_x**2) +ω_fine = 2 * np.pi * (np.arange(2**14) + 0.5) / 2**14 +z_fine = np.exp(-1j * ω_fine) +var_w_unit = np.mean(1 / np.abs(1 + φ * z_fine + φ**2 * z_fine**2 + + φ**3 * z_fine**3)**2) + + +def whittle_ar1(I, keep): + """Frequency-domain ML estimate of ρ in an AR(1), over the frequencies in keep.""" + def criterion(ρ): + a2 = np.abs(1 - ρ * z_T[keep])**2 + return np.log(np.mean(I[keep] * a2)) - np.mean(np.log(a2)) + return minimize_scalar(criterion, bounds=(-0.999, 0.999), method="bounded", + options={"xatol": 1e-8}).x + + +def ar1_information(ρ, keep): + """(1/4π) ∫_K ∇log g ∇log g' dω at the Fourier frequencies, θ = (ρ, σ²), σ² = 1.""" + d = np.vstack([2 * (np.cos(ω_T) - ρ) / np.abs(1 - ρ * z_T)**2, + np.ones(T_obs - 1)]) + return 0.5 * (d[:, keep] @ d[:, keep].T) / T_obs + + +def band_test(share, seed, R=1000, burn=200): + rng = np.random.default_rng(seed) + stats, ρ_full, ρ_band = np.empty(R), np.empty(R), np.empty(R) + scale = np.sqrt(share * var_x / var_w_unit) + for r in range(R): + x_ = lfilter([1], [1, -ρ_x], rng.normal(size=T_obs + burn)) + w_ = lfilter([1], [1, φ, φ**2, φ**3], rng.normal(size=T_obs + burn)) + y_ = (x_ + scale * w_)[burn:] + I = np.abs(np.fft.fft(y_ - y_.mean()))[1:]**2 / T_obs + ρ_full[r] = whittle_ar1(I, keep_all) + ρ_band[r] = whittle_ar1(I, keep_band) + V_full = np.linalg.inv(ar1_information(ρ_full[r], keep_all))[0, 0] + V_band = np.linalg.inv(ar1_information(ρ_full[r], keep_band))[0, 0] + stats[r] = T_obs * (ρ_band[r] - ρ_full[r])**2 / (V_band - V_full) + return stats, ρ_full, ρ_band + + +crit_1 = chi2.ppf(0.95, 1) +stats, ρ_full, ρ_band = band_test(0.0, seed=2) +print(f"null: Var(band) = {ρ_band.var():.3e}, Var(full) + Var(band - full) = " + f"{ρ_full.var() + (ρ_band - ρ_full).var():.3e}") +print(f"null: rejection frequency at 5%: {np.mean(stats > crit_1):.3f}") +V_full_0 = np.linalg.inv(ar1_information(ρ_x, keep_all))[0, 0] +V_band_0 = np.linalg.inv(ar1_information(ρ_x, keep_band))[0, 0] +print(f"V_band - V_full = {V_band_0 - V_full_0:.4f}, V_full = {V_full_0:.4f}") + +# the same seed for every share gives common random numbers +simulated_power, band_draws = {}, {} +for share in (0.005, 0.01, 0.02): + stats, ρ_full, ρ_band = band_test(share, seed=3) + simulated_power[share] = np.mean(stats > crit_1) + band_draws[share] = (ρ_full, ρ_band) + print(f"seasonal variance {share:.3f} of Var(x): mean ρ_full = " + f"{ρ_full.mean():.3f}, mean ρ_band = {ρ_band.mean():.3f}, " + f"rejection frequency {simulated_power[share]:.3f}") +``` + +在原假设下,仿真方差满足豪斯曼恒等式 {eq}`st_hausman_pythagoras`,且该检验的拒绝频率接近其名义水平。 + +方差为 $x_t$ 方差1%或2%的季节性成分,足以将全频段估计值拉低于删去频段后的估计值,使得该检验在大多数样本中都能拒绝原假设;而当方差占比为0.5%时,该检验在不到一半的样本中拒绝原假设。 + +该检验之所以检验力强,是因为对该模型而言,删去季节性频段对关于 $\rho$ 的信息损失很小,而 $\rho$ 的信息主要集中在低频:$\mathcal{I}_K(\theta)^{-1} - \mathcal{I}(\theta)^{-1}$ 的 $(1, 1)$ 元素约为 $\mathcal{I}(\theta)^{-1}$ 的 $(1, 1)$ 元素的2%。 + +用 {doc}`approximation_errors` 中 {ref}`ae_garbling_section` 的语言来说,该统计量的分子 $T(\hat\rho_{\text{band}} - \hat\rho_{\text{full}})^2$ 等于 $T$ 乘以删去频段所引起的 m-投影偏移量的平方,再加上抽样噪声,而分母则衡量了删去这些频段所损失的信息,因此当偏移量相对于损失的信息较大时,该检验具有检验力。 + +{ref}`st_ex_power` 根据两个投影之间的距离计算了该检验的渐近检验力,而 {doc}`turbulence_inference` 将同样的计算应用于对收入不稳定性上升的两种解释。 + +## 结语 + +本讲座中的每个设定检验都比较了两个估计量,当模型设定正确时,这两个估计量的概率极限重合;而对于使两个概率极限保持相等的某种设定误差,每个检验都没有检验力。 + +在方差保持固定的情况下,吴氏统计量是一个直角三角形两条直角边长度平方之比,而该三角形的毕达哥拉斯定理正是嵌套指数族上 m-投影的毕达哥拉斯定理。 + +豪斯曼引理是渐近协方差所定义的内积下的一个毕达哥拉斯定理,并且当那个非有效估计量是嵌套了原假设模型的某个模型的最大似然估计量时,它正是 m-投影毕达哥拉斯定理的局部形式。 + +在豪斯曼和麦克法登的三选项示例中,似然比、拉格朗日乘数和豪斯曼统计量分别是 $2m$ 乘以某个 KL 散度及其在坐标 $s$、$\log s$ 和 $\log(1 - s)$ 下二次近似的结果。 + +在我们的例子中,当 $T = 400$ 个季度观测值、非季节性 AR(1) 系数为 $0.9$、季节性频段宽度为 $\pi/8$ 时,比较全频率估计量与季节性频段之外频率估计量的检验,在季节性成分方差至少为非季节性成分方差1%时,在大多数样本中都能拒绝原假设。 + +{doc}`turbulence_inference` 比较了一个经过校准的搜寻模型以及数据在一个辅助统计模型上的投影,而 {doc}`gallant_tauchen` 将此类比较描述为间接推断。 + +## 练习 + +```{exercise} +:label: st_ex_iia + +{cite:t}`HausmanMcFadden1984` 通过枚举一个选择样本的所有可能结果,计算出其检验的精确拒绝概率。 + +在三选项示例中,设原假设下的选择概率为 $p_1 = 0.5$、$p_2 = p_3 = 0.25$,样本量为 $N = 100$。 + +1. 以 $m = n_2 + n_3$ 为条件,$n_2$ 的分布是什么?利用它计算 $LR$、$LM$、$H_3$ 和 $H_2$ 统计量超过 $\chi^2_1$ 分布5%临界值的精确概率。将无穷大的统计量视为拒绝,并忽略 $m = 0$ 的样本(其概率为 $0.5^{100}$)。 +2. 豪斯曼和麦克法登所用的备择假设是方案1和方案2共享同一分支的嵌套逻辑模型。设参数为 $\lambda$、$\beta = \log 2$,令 $a = \beta/\lambda$、$\Pi_1 = e^a/(e^a + 1)$、$p = (e^a + 1)^\lambda / (1 + (e^a + 1)^\lambda)$;则 $p_1 = \Pi_1 p$、$p_2 = (1 - \Pi_1) p$、$p_3 = 1 - p$,而 $\lambda = 1$ 时给出原假设下的各概率。对 $\lambda = 0.8$ 重复该计算,并将你的结果与他们的表III.3进行比较。 +3. 将这四个检验之间的差异与 {numref}`fig-st-iia` 联系起来。 +``` + +```{solution-start} st_ex_iia +:class: dropdown +``` + +下面给出一种解答。 + +给定 $m$,$n_2$ 服从以 $m$ 为试验次数、以 $p_2/(p_2 + p_3)$ 为成功概率的二项分布,而 $m$ 服从以 $N$ 为试验次数、以 $p_2 + p_3$ 为成功概率的二项分布。 + +这四个统计量都只依赖于 $m$ 和 $n_2$。 + +```{code-cell} ipython3 +def iia_statistics(n2, m): + """LR, LM, H3, and H2 for an array of values of n2, given m = n2 + n3.""" + n3 = m - n2 + with np.errstate(divide="ignore", invalid="ignore"): + LR = 2 * (np.where(n2 > 0, n2 * np.log(2 * n2 / m), 0) + + np.where(n3 > 0, n3 * np.log(2 * n3 / m), 0)) + H3 = np.where(n2 > 0, np.log(2 * n2 / m)**2 * m, np.inf) + H2 = np.where(n3 > 0, np.log(2 * n3 / m)**2 * m, np.inf) + LM = (n3 - n2)**2 / m + return np.array([LR, LM, H3, H2]) + + +def rejection_probabilities(p2, p3, N=100, level=0.05): + crit = chi2.ppf(1 - level, 1) + probs = np.zeros(4) + for m in range(1, N + 1): + n2 = np.arange(m + 1) + weights = binom.pmf(m, N, p2 + p3) * binom.pmf(n2, m, p2 / (p2 + p3)) + probs += (iia_statistics(n2, m) > crit) @ weights + return probs + + +def nested_logit(λ, β=np.log(2)): + """Choice probabilities with alternatives 1 and 2 in one nest.""" + a = β / λ + Π_1 = np.exp(a) / (np.exp(a) + 1) + p = (np.exp(a) + 1)**λ / (1 + (np.exp(a) + 1)**λ) + return Π_1 * p, (1 - Π_1) * p, 1 - p + + +for λ in (1.0, 0.8): + p1, p2, p3 = nested_logit(λ) + print(f"λ = {λ}: p = ({p1:.4f}, {p2:.4f}, {p3:.4f}); LR, LM, H3, H2 reject " + f"with probabilities {np.round(rejection_probabilities(p2, p3), 4)}") +``` + +在原假设下,精确显著性水平为:似然比检验为 $0.050$,拉格朗日乘数检验为 $0.049$,两个豪斯曼检验均为 $0.055$;$H_3$ 与 $H_2$ 显著性水平相同,是因为在原假设下 $n_2$ 和 $n_3$ 具有相同的分布。 + +豪斯曼和麦克法登的表III.3在 $\lambda = 1$ 时报告两个豪斯曼检验的值均为 $0.054$;精确枚举给出的值为 $0.055$,而他们在5%水平下关于 $\lambda < 1$ 的条目与精确枚举结果在五位小数内一致。 + +当 $\lambda = 0.8$ 时,检验力分别为 $0.135$、$0.134$、$0.193$ 和 $0.084$,与豪斯曼和麦克法登表III.3中的数值一致。 + +这一排序可以从 {numref}`fig-st-iia` 中看出。 + +在此备择假设下 $p_2 < p_3$,因此大多数样本满足 $s < \frac{1}{2}$。 + +当 $s < \frac{1}{2}$ 时,坐标 $\log s$ 下的二次近似位于 KL 散度上方,而坐标 $\log(1 - s)$ 下的二次近似位于其下方,因此 $H_3$ 大于 $LR$,而 $H_2$ 较小;坐标 $\log(1 - s)$ 下的二次近似也位于坐标 $s$ 下的二次近似之下,因此 $H_2$ 小于 $LM$。 + +在每个样本中都有 $LR \ge LM$,这是因为由平斯克不等式 $D(\text{Bern}(s) \| \text{Bern}(\frac{1}{2})) \ge 2(s - \frac{1}{2})^2$ 可知:坐标 $s$ 下的二次近似位于 KL 散度下方。 + +```{solution-end} +``` + +```{exercise} +:label: st_ex_power + +频段比较检验的检验力取决于两个投影之间的距离。 + +1. 对于季节性方差占比 $0.005$、$0.01$ 和 $0.02$,计算伪真值 $\rho^*_{\text{full}}$ 和 $\rho^*_{\text{band}}$,即过程 $y_t = x_t + w_t$ 在使用全部频率以及删去季节性频段后的 AR(1) 投影。 +2. 计算非中心参数 $\nu = T (\rho^*_{\text{band}} - \rho^*_{\text{full}})^2 / (V_{\text{band}} - V_{\text{full}})$,其中方差在 $\rho^*_{\text{full}}$ 处求值,以及渐近检验力 $P(\chi^2_1(\nu) > 3.84)$。 +3. 将渐近检验力与仿真拒绝频率进行比较,并解释二者的差异。 +``` + +```{solution-start} st_ex_power +:class: dropdown +``` + +下面给出一种解答。 + +我们在样本量为 $T$ 的傅里叶频率上计算这些投影,用 $y_t$ 的谱密度代替周期图。 + +```{code-cell} ipython3 +def spectral_density_y(share): + f_x = 1 / np.abs(1 - ρ_x * z_T)**2 + f_w = 1 / np.abs(1 + φ * z_T + φ**2 * z_T**2 + φ**3 * z_T**3)**2 + return f_x + share * var_x / var_w_unit * f_w + + +projections = {} +print("share ρ*_full ρ*_band ν asymptotic power simulated power") +for share in (0.005, 0.01, 0.02): + f_y = spectral_density_y(share) + ρ_f, ρ_b = whittle_ar1(f_y, keep_all), whittle_ar1(f_y, keep_band) + V_full = np.linalg.inv(ar1_information(ρ_f, keep_all))[0, 0] + V_band = np.linalg.inv(ar1_information(ρ_f, keep_band))[0, 0] + projections[share] = (ρ_f, ρ_b, V_full, V_band) + nc = T_obs * (ρ_b - ρ_f)**2 / (V_band - V_full) + power = ncx2.sf(crit_1, 1, nc) + print(f"{share:5.3f} {ρ_f:8.3f} {ρ_b:8.3f} {nc:7.1f} {power:12.2f} " + f"{simulated_power[share]:17.2f}") +``` + +渐近检验力随着两个投影之间平方距离的增大而增大。 + +在最小和最大占比处,它与仿真检验力接近,而在中间占比处则偏高。 + +非中心 $\chi^2$ 近似所使用的是原假设下两个估计量之差的方差。 + +下面的代码将该差的仿真均值和标准差,与两个投影之间的距离以及由原假设下方差所隐含的标准差进行了比较。 + +```{code-cell} ipython3 +print("share mean difference distance SD null SD ratio " + "corr(ρ_full, difference)") +for share in (0.005, 0.01, 0.02): + ρ_f, ρ_b, V_full, V_band = projections[share] + ρ_full, ρ_band = band_draws[share] + difference = ρ_band - ρ_full + sd_null = np.sqrt((V_band - V_full) / T_obs) + print(f"{share:5.3f} {difference.mean():13.4f} {ρ_b - ρ_f:12.4f} " + f"{difference.std():8.4f} {sd_null:7.4f} {difference.std() / sd_null:7.2f} " + f"{np.corrcoef(ρ_full, difference)[0, 1]:12.2f}") +``` + +在每个占比下,仿真之差的均值都接近两个投影之间的距离,但其标准差约为原假设下方差所隐含值的1.5、2和3倍。 + +在这些备择假设下,AR(1) 模型是设定错误的,豪斯曼引理不再适用:$\hat\rho_{\text{full}}$ 与该差之间的仿真相关系数分别为 $-0.34$、$-0.50$ 和 $-0.67$。 + +全频段估计量使用了季节性峰值处的周期图纵坐标值,其方差与该处谱密度的平方成正比;而删去频段后的估计量则不使用这些值。 + +这些纵坐标值提高了 $\hat\rho_{\text{full}}$ 以及该差的方差,因此 $V_{\text{band}} - V_{\text{full}}$ 低估了该差的真实方差。 + +于是该检验统计量近似地等于某个非中心 $\chi^2$ 变量的某个倍数,其非中心参数比近似所用的值要小。 + +在占比最大时,两种检验力都接近1;而在占比最小时,较大的离散程度与较小的非中心参数大致相互抵消。 + +在中间占比处,较小的非中心参数占主导,近似高估了检验力。 + +豪斯曼和麦克法登的示例则显示出相反的误差:“当 $\lambda$ 小于.9时,所有检验的精确检验力都大于渐近近似所给出的预测值。” + +一旦备择假设是非局部的,该近似可能向任一方向出错。 + +{doc}`approximation_errors` 中的公式 {eq}`ae_sandwich` 给出了每个估计量在备择假设下的渐近协方差矩阵,这使上述解释得以量化。 + +这两个估计量在频段之外共用相同的周期图纵坐标值,因此 $\sqrt{T}$ 乘以两个估计量误差之间的渐近协方差矩阵为 $\mathcal{H}^{-1} \mathcal{J}_{\text{cross}} \mathcal{H}_K^{-1}$,其中 + +$$ +\mathcal{J}_{\text{cross}} = \frac{1}{4\pi} \int_K \nabla \log g_{\text{full}} \, \nabla \log g_{\text{band}}^\top \, \frac{f^2}{g_{\text{full}} \, g_{\text{band}}} \, d\omega , +$$ + +$g_{\text{full}}$ 和 $g_{\text{band}}$ 分别是两个投影的谱密度,而 $\mathcal{H}$ 和 $\mathcal{H}_K$ 分别是 {eq}`ae_sandwich` 式中对应全部频率和频段之外频率的矩阵 $\mathcal{H}_K$,各自在其自身投影处求值。 + +下面的代码从这些矩阵出发,计算了该差的标准差与原假设标准差之比、$\hat\rho_{\text{full}}$ 与该差之间的相关系数,以及当该统计量由 $V_{\text{diff}} / (V_{\text{band}} - V_{\text{full}})$ 乘以一个非中心参数为 $T (\rho^*_{\text{band}} - \rho^*_{\text{full}})^2 / V_{\text{diff}}$ 的非中心 $\chi^2_1$ 变量来近似时所得的检验力,其中 $V_{\text{diff}}$ 是该差在备择假设下的渐近方差。 + +```{code-cell} ipython3 +def ar1_derivatives(ρ, σ2): + """∇ log g and ∇² log g at the Fourier frequencies, θ = (ρ, σ²).""" + d1 = np.vstack([2 * (np.cos(ω_T) - ρ) / np.abs(1 - ρ * z_T)**2, + np.ones(T_obs - 1) / σ2]) + d2 = np.zeros((2, 2, T_obs - 1)) + d2[0, 0] = 2 * np.real(z_T**2 / (1 - ρ * z_T)**2) + d2[1, 1] = -1 / σ2**2 + return d1, d2 + + +def projection_parts(f, keep): + """AR(1) projection over keep, the inverse of H, ∇ log g, and f/g on keep.""" + ρ = whittle_ar1(f, keep) + σ2 = np.mean((f * np.abs(1 - ρ * z_T)**2)[keep]) + d1, d2 = ar1_derivatives(ρ, σ2) + r = np.where(keep, f * np.abs(1 - ρ * z_T)**2 / σ2, 0.0) + H = 0.5 * ((d1 * r) @ d1.T + + (d2 * np.where(keep, 1 - r, 0.0)).sum(axis=2)) / T_obs + return ρ, np.linalg.inv(H), d1, r + + +def score_covariance(d_a, r_a, d_b, r_b): + return 0.5 * ((d_a * r_a * r_b) @ d_b.T) / T_obs + + +print("share SD ratio corr(ρ_full, difference) power simulated power") +for share in (0.005, 0.01, 0.02): + f_y = spectral_density_y(share) + ρ_f, H_f, d_f, r_f = projection_parts(f_y, keep_all) + ρ_b, H_b, d_b, r_b = projection_parts(f_y, keep_band) + V_f = (H_f @ score_covariance(d_f, r_f, d_f, r_f) @ H_f)[0, 0] + V_b = (H_b @ score_covariance(d_b, r_b, d_b, r_b) @ H_b)[0, 0] + C_fb = (H_f @ score_covariance(d_f, r_f, d_b, r_b) @ H_b)[0, 0] + V_diff = V_f + V_b - 2 * C_fb + _, _, V_full, V_band = projections[share] + V_null = V_band - V_full + power = ncx2.sf(crit_1 * V_null / V_diff, 1, T_obs * (ρ_b - ρ_f)**2 / V_diff) + print(f"{share:5.3f} {np.sqrt(V_diff / V_null):9.2f} " + f"{(C_fb - V_f) / np.sqrt(V_f * V_diff):19.2f} {power:15.2f} " + f"{simulated_power[share]:12.2f}") +``` + +备择假设下的协方差矩阵给出的比值为 $1.42$、$1.96$ 和 $2.96$,相关系数为 $-0.34$、$-0.51$ 和 $-0.68$,与仿真得到的 $1.48$、$2.02$、$3.01$ 以及 $-0.34$、$-0.50$、$-0.67$ 接近。 + +利用这些值所得的检验力近似给出 $0.47$、$0.77$ 和 $0.92$,而仿真检验力分别为 $0.43$、$0.78$ 和 $0.98$:它纠正了中间占比处的误差,在最小占比处比原假设近似稍微偏离仿真结果更远,而在最大占比处则低估了检验力。 + +```{solution-end} +``` \ No newline at end of file From 701e8fbc3d7a4bc28fc55bd60a639abfee772082 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:49 +1100 Subject: [PATCH 24/28] Update translation: .translate/state/specification_tests.md.yml --- .translate/state/specification_tests.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/specification_tests.md.yml diff --git a/.translate/state/specification_tests.md.yml b/.translate/state/specification_tests.md.yml new file mode 100644 index 00000000..db572bf2 --- /dev/null +++ b/.translate/state/specification_tests.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 8 +tool-version: 0.33.0 From 09e9791cb3440ea72aec16e19c5323476773239d Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:50 +1100 Subject: [PATCH 25/28] Update translation: lectures/turbulence_inference.md --- lectures/turbulence_inference.md | 1192 ++++++++++++++++++++++++++++++ 1 file changed, 1192 insertions(+) create mode 100644 lectures/turbulence_inference.md diff --git a/lectures/turbulence_inference.md b/lectures/turbulence_inference.md new file mode 100644 index 00000000..aea910f7 --- /dev/null +++ b/lectures/turbulence_inference.md @@ -0,0 +1,1192 @@ +--- +jupytext: + text_representation: + extension: .md + format_name: myst + format_version: 0.13 + jupytext_version: 1.16.4 +kernelspec: + display_name: Python 3 (ipykernel) + language: python + name: python3 +translation: + title: 经济动荡、收入不稳定性与间接推断 + headings: + Overview: 概述 + Laissez-faire economy: 自由放任经济 + Laissez-faire economy::Workers: 工人 + Laissez-faire economy::Computation: 计算 + Laissez-faire economy::Artificial panels: 人工面板数据 + Gottschalk and Moffitt's decomposition: Gottschalk和Moffitt的分解方法 + Gottschalk and Moffitt's decomposition::Definitions: 定义 + Gottschalk and Moffitt's decomposition::Decomposition as information projection: 作为信息投影的分解方法 + Ljungqvist and Sargent's check: Ljungqvist和Sargent的检验 + Ljungqvist and Sargent's check::Histograms: 直方图 + Ljungqvist and Sargent's check::Binding function: 约束函数 + Layoff rates and turbulence: 裁员率与动荡性 + Covariance-structure model: 协方差结构模型 + Concluding remarks: 结束语 + Exercises: 练习 +--- + +(turbulence_inference)= +```{raw} jupyter + +``` + +# 经济动荡、收入不稳定性与间接推断 + +```{contents} Contents +:depth: 2 +``` + +## 概述 + +{cite:t}`LjungqvistSargent1998` 和 {cite:t}`LjungqvistSargent2008` 将1980年后欧洲持续高企的失业率归因于失业救济金与过去收入挂钩,和他们所称的**经济动荡**(即工作因裁员而终止时技能丧失的风险)增加之间的相互作用。 + +为了检验动荡性的增加是否与美国收入的证据相符,{cite:t}`LjungqvistSargent1998` 在两个动荡水平下,利用其模型的自由放任版本,生成了人工收入面板数据。 + +他们对这些面板数据应用了 {cite:t}`GottschalkMoffitt1994` 曾对收入动态研究面板(PSID)1970—78年和1979—87年男性数据所采用的、将收入分解为永久性成分和暂时性成分的分解方法,并将所得直方图与Gottschalk和Moffitt的结果进行比较。 + +{cite:t}`LjungqvistSargent2008` 在一个更丰富的模型中重复了这一检验,两个窗口期的动荡参数分别为 $0.1$ 和 $0.2$。 + +{cite:t}`LjungqvistSargent1998` 得出结论:"我们的动荡参数的增加使Gottschalk-Moffitt分解的两个成分的分布都朝观测到的方向扩散。"他们补充道: + +> 同样值得注意的是,我们图14b中更动荡时期收入变异性的增加,发生在比Gottschalk和Moffitt的研究结果更低的标准差水平上。在这方面,我们对1980年代参数化所代表的经济动荡增加,未能达到美国所记录的变化幅度。 + +在本讲座中,我们将他们的检验描述为信息投影的比较,并针对 {cite:t}`LjungqvistSargent1998` 的模型将其量化。 + +* Gottschalk和Moffitt的分解方法,在 {doc}`information_projections` 的意义上,是将一个男性在平衡面板中九年年度对数收入的分布向高斯随机效应模型做m-投影的结果。 +* Ljungqvist和Sargent的检验将数据中男性平均值和标准差的直方图与其模型在两个动荡参数值下的直方图进行比较;这些直方图的二阶矩就是投影的参数。在该参数的每个取值处计算模型的投影,就得到了 {cite:t}`GourierouxMonfortRenault1993` 所称的约束函数(binding function),而选择使两个投影一致的参数,就是 {doc}`gallant_tauchen` 所描述的间接推断方法。 +* 将1970—78年的动荡参数固定在Ljungqvist和Sargent使用的 $0.02$ 时,无论1979—87年的参数取何值,自由放任模型都无法实现Gottschalk和Moffitt测得的永久性方差增量的五分之一以上,或暂时性方差增量的约45%以上。若两个参数都自由取值,这两个上界分别约为三分之一和二分之一。 +* 这些上界取决于技能范围和技能转换的速度。仅将范围加倍,动荡性就能实现永久性方差增量的约46%,以及几乎全部的暂时性方差增量;若同时将转换概率加倍,则永久性份额又回落至约五分之一。 +* 裁员率的上升会使Gottschalk和Moffitt的两个统计量朝与动荡性增加相同的方向移动,而在Gottschalk和Moffitt样本规模的数据中,这两个统计量几乎无法区分这两种解释。 +* {cite:t}`MoffittGottschalk2011` 的协方差结构模型,作为第二个辅助模型,几乎将动荡性所造成的收入不稳定性全部归因于暂时性成分,而Gottschalk和Moffitt的分解方法则将其中约一半归因于永久性成分。 + +本讲座的结构如下。 + +* {ref}`ti_model_section` 描述 {cite:t}`LjungqvistSargent1998` 的自由放任经济,并重现其稳态统计量。 +* {ref}`ti_gm_section` 将Gottschalk和Moffitt的分解方法描述为一种信息投影。 +* {ref}`ti_check_section` 重现Ljungqvist和Sargent的检验并计算约束函数。 +* {ref}`ti_ident_section` 将动荡性与更高的裁员率进行比较。 +* {ref}`ti_mg_section` 描述第二个辅助模型。 + +本讲座建立在 {doc}`information_projections`、{doc}`gallant_tauchen` 和 {doc}`specification_tests` 的基础上。 + +{doc}`mccall_model` 和 {doc}`mccall_model_with_separation` 描述了更简单的搜寻模型。 + +我们使用以下导入。 + +```{code-cell} ipython3 +import numpy as np +import matplotlib.pyplot as plt +from collections import namedtuple +from scipy.stats import norm, chi2, ncx2 +from scipy.optimize import minimize +``` + +(ti_model_section)= +## 自由放任经济 + +### 工人 + +{cite:t}`LjungqvistSargent1998` 研究了连续统的风险中性工人。 + +一个时期为两周。 + +每个工人在各时期之间以概率 $\alpha$ 死亡,并最大化 $E_t \sum_{i=0}^\infty \beta^i (1 - \alpha)^i y_{t+i}$,其中 $y_t$ 为扣除搜寻负效用后的净收入。 + +新出生的工人以最低技能水平开始失业。 + +工人的技能 $h$ 取 $[1, 2]$ 上均匀分布的21个值之一。 + +受雇工人的收入为 $w h$,其中 $w$ 是该工作中单位技能的工资。 + +在每个时期开始时,受雇工人以概率 $\lambda$ 被裁员。 + +未被裁员的工人以概率 $0.1$ 提升一个技能水平,并保持工资 $w$ 直到被裁员、辞职或死亡。 + +失业工人的技能每期以概率 $0.2$ 下降一个水平,最低水平为吸收态。 + +失业工人以负效用 $c(s) = 0.5 s$ 选择搜寻强度 $s \in [0, 1]$,并以概率 $\pi(s) = s^{0.3}$ 在下一期收到一份工资报价。 + +工资报价来自均值为 $0.5$、方差为 $0.1$ 的正态分布,截断至 $[0, 1]$。 + +Ljungqvist和Sargent对动荡性的定义如下: + +> 经济动荡性是根据与裁员相关的技能损失的均值和方差来定义的。我们现在让一个刚被裁员工人的技能分布服从一个正态分布的左半部分,其范围从可能的最低技能水平开始,到该工人裁员前的技能水平结束。 + +他们通过取以 $0.5$ 为中心、限制在 $[0, 1]$ 内的正态分布的左半部分,将其拉伸到从最低水平到工人裁员前所持有水平的技能水平范围内,并进行归一化,从而获得该分布。 + +该正态分布的方差度量了动荡程度;我们称之为**动荡参数**。 + +当动荡参数为零时,被裁员的工人保持裁员前所持有的技能水平。 + +设 $\mu_e(h, h')$、$\mu_u(h, h')$ 和 $\mu_l(h, h')$ 分别为受雇工人、失业工人以及刚被裁员工人的技能转移概率。 + +自由放任经济中没有失业救济金,也没有税收。 + +持有或被提供工资为 $w$ 的工作、技能为 $h$ 的工人的价值 $V(w, h)$,以及失业工人的价值 $V_u(h)$,满足 + +$$ +V(w, h) = \max \left\{ w h + (1 - \alpha)\beta \left[ (1 - \lambda) \sum_{h'} \mu_e(h, h') V(w, h') + \lambda \sum_{h'} \mu_l(h, h') V_u(h') \right], \; V_u(h) \right\} +$$ + +以及 + +$$ +V_u(h) = \max_{s \in [0, 1]} \left\{ -c(s) + (1 - \alpha)\beta \sum_{h'} \mu_u(h, h') \left[ (1 - \pi(s)) V_u(h') + \pi(s) \int V(w, h') \, dF(w) \right] \right\} . +$$ + +$V(w, h)$ 中最大化的第二个参数,代表拒绝报价或辞职的选项。 + +设 $G(h) = (1 - \alpha)\beta \sum_{h'} \mu_u(h, h') [\int V(w, h') \, dF(w) - V_u(h')]$ 为报价的期望收益。 + +搜寻强度的一阶条件给出 $s(h) = \min\{1, (0.6 \, G(h))^{1/0.7}\}$。 + +在自由放任经济中,这个界约束有效,即每个技能水平下 $s(h) = 1$,正如Ljungqvist和Sargent所报告的。 + +Ljungqvist和Sargent设定 $\beta = 0.9985$(对应年利率4%)、$\alpha = 0.0009$(对应预期工作年限42.7年)以及 $\lambda = 0.009$(对应裁员前预期就业年限4.3年)。 + +### 计算 + +函数 `create_model` 存储了这些原始设定。 + +其参数 `h_max`、`up` 和 `down` 设定了技能范围以及技能提升和损失的概率,我们将在一个练习中改变这些参数。 + +```{code-cell} ipython3 +Model = namedtuple("Model", ("β", "α", "λ", "turbulence", "h_grid", "w_grid", + "f_w", "μ_e", "μ_u", "μ_l")) + + +def layoff_matrix(n_h, turbulence): + """Skill transitions at a layoff: the left half of a normal distribution + centered on 0.5, stretched over the skill levels up to the current one.""" + μ_l = np.eye(n_h) + if turbulence > 0: + for j in range(1, n_h): + x = 0.5 * np.arange(j + 1) / j + weights = np.exp(-(x - 0.5)**2 / (2 * turbulence)) + μ_l[j] = 0.0 + μ_l[j, :j + 1] = weights / weights.sum() + return μ_l + + +def create_model(turbulence=0.0, β=0.9985, α=0.0009, λ=0.009, + h_max=2.0, up=0.1, down=0.2, n_h=21, n_w=101): + h_grid = np.linspace(1, h_max, n_h) + w_grid = np.linspace(0, 1, n_w) + pdf = norm.pdf(w_grid, 0.5, np.sqrt(0.1)) + μ_e = np.eye(n_h) * (1 - up) + μ_e[np.arange(n_h - 1), np.arange(1, n_h)] = up + μ_e[-1, -1] = 1.0 + μ_u = np.eye(n_h) * (1 - down) + μ_u[np.arange(1, n_h), np.arange(n_h - 1)] = down + μ_u[0, 0] = 1.0 + return Model(β, α, λ, turbulence, h_grid, w_grid, pdf / pdf.sum(), + μ_e, μ_u, layoff_matrix(n_h, turbulence)) +``` + +该图展示了对于曾处于最高技能水平的工人,在裁员后技能的分布情况,对应Ljungqvist和Sargent用来代表1970—78年和1979—87年的两个动荡参数值。 + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Skill after a layoff from the top level + name: fig-ti-layoff +--- +fig, ax = plt.subplots() +for v in (0.02, 0.04): + m = create_model(turbulence=v) + ax.plot(m.h_grid, m.μ_l[-1], "o-", label=f"turbulence parameter {v}") +ax.set_xlabel("skill after the layoff") +ax.set_ylabel("probability") +ax.legend() +plt.show() +``` + +我们通过值迭代求解贝尔曼方程,并返回接受决策和搜寻强度。 + +```{code-cell} ipython3 +def solve_model(m, tol=1e-9, max_iter=100_000): + δ = (1 - m.α) * m.β + earnings = np.outer(m.w_grid, m.h_grid) + V = np.zeros_like(earnings) + V_u = np.zeros(len(m.h_grid)) + for _ in range(max_iter): + W = earnings + δ * ((1 - m.λ) * V @ m.μ_e.T + + m.λ * (m.μ_l @ V_u)[None, :]) + V_new = np.maximum(W, V_u[None, :]) + gain = δ * m.μ_u @ (m.f_w @ V - V_u) + s = np.clip((0.6 * np.maximum(gain, 0))**(1 / 0.7), 0, 1) + V_u_new = -0.5 * s + δ * m.μ_u @ V_u + s**0.3 * gain + error = max(np.abs(V_new - V).max(), np.abs(V_u_new - V_u).max()) + V, V_u = V_new, V_u_new + if error < tol: + break + accept = W >= V_u[None, :] # accept[w, h] + return accept, s +``` + +下一个函数计算工人在就业状态、工资和技能上的稳态分布,新出生的工人替代死亡的工人。 + +由此,我们计算失业率、平均失业持续时间,以及受雇工人的平均收入,Ljungqvist和Sargent将其称为平均生产率。 + +```{code-cell} ipython3 +def steady_state(m, accept, s, tol=1e-12, max_iter=200_000): + n_w, n_h = len(m.w_grid), len(m.h_grid) + E, U = np.zeros((n_w, n_h)), np.zeros(n_h) + U[0] = 1.0 + survive = 1 - m.α + for _ in range(max_iter): + E_kept = survive * (1 - m.λ) * E @ m.μ_e + quits = np.where(accept, 0.0, E_kept).sum(axis=0) + laid_off = survive * m.λ * E.sum(axis=0) @ m.μ_l + offers = survive * (U * s**0.3) @ m.μ_u + hires = np.outer(m.f_w, offers) * accept + E_new = np.where(accept, E_kept, 0.0) + hires + U_new = survive * U @ m.μ_u - hires.sum(axis=0) + quits + laid_off + U_new[0] += m.α + error = np.abs(E_new - E).max() + np.abs(U_new - U).max() + E, U = E_new, U_new + if error < tol: + break + inflow = quits.sum() + laid_off.sum() + m.α + earnings = np.outer(m.w_grid, m.h_grid) + return {"unemployment rate": U.sum(), + "duration (weeks)": 2 * U.sum() / inflow, + "average productivity": (E * earnings).sum() / E.sum()} +``` + +{cite:t}`LjungqvistSargent1998` 的表5报告了自由放任经济在四个动荡参数值下的这些统计量:失业率分别为6.28%、5.81%、5.77%和5.73%;平均持续时间分别为11.8周、10.6周、10.6周和10.7周;平均生产率分别为1.659、1.552、1.520和1.496。 + +```{code-cell} ipython3 +print("turbulence unemployment duration productivity search intensity") +for v in (0.0, 0.02, 0.03, 0.04): + m = create_model(turbulence=v) + accept, s = solve_model(m) + stats = steady_state(m, accept, s) + print(f"{v:9.2f} {100 * stats['unemployment rate']:12.2f}% " + f"{stats['duration (weeks)']:10.1f} {stats['average productivity']:13.3f}" + f" {s.min():.2f} to {s.max():.2f}") +``` + +我们的计算结果与他们的表格相符,失业率误差在0.11个百分点以内,持续时间误差在0.2周以内,生产率误差在0.002单位以内,且每个技能水平下的搜寻强度均等于一。 + +在自由放任经济中,动荡性降低了生产率,因为被裁员的工人会失去技能,但它对失业率的影响很小。 + +{cite:t}`LjungqvistSargent1998` 中福利国家模型——救济金与过去收入挂钩——的反应则大不相同:随着动荡参数从0升至0.04,其失业率从6.95%升至14.87%。 + +### 人工面板数据 + +{cite:t}`LjungqvistSargent1998` 描述了他们如何生成这些面板数据: + +> 对于自由放任经济,我们为两个不同的子时期分别生成了长度为9年、包含10,000个个体的人工面板数据:相对平静的经济时期和更动荡的时期,分别对应表5中方差为0.02和0.04的指标。前一个面板数据旨在代表Gottschalk-Moffitt研究中的1970—78年期间,后一个面板数据则对应1979—87年期间。对于这两个面板数据,我们使用已在劳动力市场中工作20年的工人的均衡分布作为初始条件。 + +我们通过模拟新出生工人20年(以其存活为条件)来生成这样的初始条件。 + +下面的函数记录两周收入、就业状态、裁员情况和技能水平。 + +```{code-cell} ipython3 +def draw_next(cum_rows, rows, u): + """Draw the next state for each worker from rows of cumulative probabilities.""" + return (u[:, None] > cum_rows[rows]).sum(axis=1) + + +def simulate_workers(m, accept, s, N, T, T_burn, seed=0): + rng = np.random.default_rng(seed) + cum_e, cum_u, cum_l = (np.cumsum(μ, axis=1) for μ in (m.μ_e, m.μ_u, m.μ_l)) + cum_w = np.cumsum(m.f_w) + n_w = len(m.w_grid) + emp, wi, hj = np.zeros(N, bool), np.zeros(N, int), np.zeros(N, int) + record = {"earn": np.zeros((N, T)), "emp": np.zeros((N, T), bool), + "laid": np.zeros((N, T), bool), "h": np.zeros((N, T), int)} + for t in range(T_burn + T): + u = rng.random((N, 4)) + new_emp, new_wi, new_hj = emp.copy(), wi.copy(), hj.copy() + laid = emp & (u[:, 0] < m.λ) + kept = emp & ~laid + new_hj[laid] = draw_next(cum_l, hj[laid], u[laid, 1]) + new_emp[laid] = False + new_hj[kept] = draw_next(cum_e, hj[kept], u[kept, 1]) + new_emp[kept & ~accept[wi, new_hj]] = False # quits + idle = ~emp + new_hj[idle] = draw_next(cum_u, hj[idle], u[idle, 1]) + offer = np.minimum((u[:, 2][:, None] > cum_w).sum(axis=1), n_w - 1) + hired = idle & (u[:, 3] < s[hj]**0.3) & accept[offer, new_hj] + new_emp[hired], new_wi[hired] = True, offer[hired] + emp, wi, hj = new_emp, new_wi, new_hj + if t >= T_burn: + k = t - T_burn + record["earn"][:, k] = np.where(emp, m.w_grid[wi] * m.h_grid[hj], 0.0) + record["emp"][:, k], record["laid"][:, k], record["h"][:, k] = emp, laid, hj + return record + + +def log_annual_earnings(record, years=9): + """Log annual earnings with year means removed, for workers with + positive earnings in every year.""" + annual = record["earn"].reshape(len(record["earn"]), years, 26).sum(axis=2) + positive = (annual > 0).all(axis=1) + y = np.log(annual[positive]) + return y - y.mean(axis=0), positive.mean() + + +def artificial_panel(turbulence, N=10_000, seed=0, **kwargs): + m = create_model(turbulence=turbulence, **kwargs) + record = simulate_workers(m, *solve_model(m), N=N, T=9 * 26, + T_burn=20 * 26, seed=seed) + return log_annual_earnings(record) +``` + +Gottschalk和Moffitt在分解对数收入前,剔除了一个共同的年龄效应。 + +人工面板数据中的所有工人都有相同的工作经验,所以我们仅剔除每年对数收入的均值。 + +全年失业的工人没有对数收入,我们剔除这些工人,约占面板数据的四分之一个百分点。 + +(ti_gm_section)= +## Gottschalk和Moffitt的分解方法 + +### 定义 + +{cite:t}`GottschalkMoffitt1994` 研究了PSID中年龄在20到59岁之间、作为户主且非学生、拥有正工资薪金收入的白人男性。 + +他们剔除了按年龄-教育-年份分组的收入分布中最高和最低的1%。 + +他们分别对1970—78年和1979—87年,用年龄的四次多项式对对数实际年收入进行回归,并将男性 $i$ 在第 $t$ 年的残差 $y_{it}$ 分解为 $y_{it} = \mu_i + \nu_{it}$。 + +他们将男性 $i$ 出现在窗口期中 $T_i$ 年内 $y_{it}$ 的平均值 $\bar y_i$ 作为永久性成分,将 $y_{it} - \bar y_i$ 的偏差作为暂时性成分。 + +他们的附录给出了公式 + +$$ +\sigma^2_\nu = \frac{1}{N} \sum_{i=1}^N \frac{1}{T_i - 1} \sum_{t=1}^{T_i} (y_{it} - \bar y_i)^2 , +\qquad +\sigma^2_\mu = \frac{1}{N - 1} \sum_{i=1}^N (\bar y_i - \bar y)^2 - \frac{\sigma^2_\nu}{\bar T} , +$$ (ti_gm) + +其中 $\bar y$ 是所有男性和所有年份上 $y_{it}$ 的均值,$\bar T$ 是 $T_i$ 的平均值。 + +暂时性方差 $\sigma^2_\nu$ 是男性各自收入围绕其自身平均值的方差的平均值。 + +永久性方差 $\sigma^2_\mu$ 是男性平均值的方差,减去暂时性成分对该方差的贡献部分。 + +他们的表1报告,永久性方差从1970—78年的 $0.201$ 升至1979—87年的 $0.284$,暂时性方差从 $0.104$ 升至 $0.148$。 + +他们写道:"收入分布扩大中,整整三分之一来自收入不稳定性的上升。" + +函数 `gm_decomposition` 计算公式 {eq}`ti_gm`,函数 `trim` 剔除每年对数收入中最高和最低的1%,这会使面板数据变为非平衡面板。 + +```{code-cell} ipython3 +gm_data = {"1970-78": np.array([0.201, 0.104]), + "1979-87": np.array([0.284, 0.148])} +gm_change = gm_data["1979-87"] - gm_data["1970-78"] + + +def gm_decomposition(y, keep=None): + """Permanent and transitory variances, formulas (ti_gm); keep marks the + years in which each man appears.""" + if keep is None: + keep = np.ones(y.shape, bool) + T_i = keep.sum(axis=1) + y_bar_i = np.where(keep, y, 0).sum(axis=1) / T_i + σ2_ν = (np.where(keep, (y - y_bar_i[:, None])**2, 0).sum(axis=1) + / (T_i - 1)).mean() + σ2_μ = ((y_bar_i - y[keep].mean())**2).sum() / (len(y) - 1) - σ2_ν / T_i.mean() + return np.array([σ2_μ, σ2_ν]) + + +def trim(y, q=0.01): + """Drop the top and bottom fraction q of each year's log earnings, remove + the year means again, and keep the men who remain in at least two years.""" + lo, hi = np.quantile(y, [q, 1 - q], axis=0) + keep = (y >= lo) & (y <= hi) + y = y - np.where(keep, y, 0).sum(axis=0) / keep.sum(axis=0) + two_years = keep.sum(axis=1) >= 2 + return y[two_years], keep[two_years] +``` + +### 作为信息投影的分解方法 + +设 $y_i = (y_{i1}, \ldots, y_{iT})$ 为某男性在 $T$ 年窗口期内对数收入的向量,并假设每个男性在窗口期的每一年都出现,如同在平衡面板数据中那样。 + +**随机效应模型**认为 $y_{it} = m + a_i + e_{it}$,其中 $a_i \sim N(0, \sigma^2_\mu)$,而 $e_{it} \sim N(0, \sigma^2_\nu)$ 彼此独立且随时间独立。 + +在此模型下,$y_i$ 服从均值为 $m \mathbf{1}$、协方差矩阵为 $\sigma^2_\mu \mathbf{1}\mathbf{1}^\top + \sigma^2_\nu I$ 的正态分布,其中 $\mathbf{1}$ 为全一向量。 + +该协方差矩阵的逆是 $I$ 和 $\mathbf{1}\mathbf{1}^\top$ 的线性组合,因此随机效应模型是一个指数族。 + +它的充分统计量是平均值 $\bar y_i$、其平方 $\bar y_i^2$,以及组内平方和 $W_i = \sum_t (y_{it} - \bar y_i)^2$。 + +按照 {doc}`approximation_errors` 的记号,$T \bar y_i^2$ 是某男性收入在频率零处的周期图值,而根据帕塞瓦尔恒等式,$W_i$ 是周期图在其余 $T - 1$ 个傅里叶频率 $2\pi j / T$ 处值的总和。 + +该模型的收入分布是离散的,所以它与每个正态分布的KL散度都是无穷大,正如 {doc}`information_projections` 所指出的。 + +{prf:ref}`ip_thm_m_projection` 的证明可转而应用于交叉熵 $-E[\log q_\theta(y_i)]$,它与KL散度的区别仅在于 $y_i$ 的熵(当 $y_i$ 具有密度时)。 + +对于均值在每年都相同、协方差矩阵非奇异且其非对角元素的平均值非负的 $y_i$ 的任意分布,使交叉熵最小化的参数会匹配充分统计量的期望值,从而设定 $m = E[\bar y_i]$ 和 + +$$ +E[W_i] = (T - 1) \sigma^2_\nu , +\qquad +T \operatorname{Var}(\bar y_i) = T \sigma^2_\mu + \sigma^2_\nu . +$$ + +求解得到 $\sigma^2_\nu = E[W_i]/(T - 1)$ 和 $\sigma^2_\mu = \operatorname{Var}(\bar y_i) - \sigma^2_\nu / T$。 + +我们将这个最小化器称为 $y_i$ 分布向随机效应模型的m-投影。 + +该投影将 $\sigma^2_\nu$ 设为非零傅里叶频率下期望周期图值的平均,而对于均值为零的 $y_i$(如我们按年去均值的面板数据),将 $T\sigma^2_\mu + \sigma^2_\nu$ 设为频率零处的期望周期图值。 + +*对于平衡面板数据,Gottschalk和Moffitt的永久性方差和暂时性方差正是将某男性收入分布向随机效应模型做m-投影所得的参数*:公式 {eq}`ti_gm` 就是以样本男性代替总体的上述表达式,只是平均值方差的除数是 $N - 1$。 + +无论随机效应模型是否能描述数据,该投影都是良定义的。 + +Gottschalk和Moffitt报告,连续暂时性成分之间的相关系数为0.14和0.18,并得出结论:这些成分"基本上不相关"。 + +在随机效应模型下,连续偏差 $y_{it} - \bar y_i$ 之间的相关系数为 $-1/(T - 1)$,即当 $T = 9$ 时为 $-0.125$。 + +因此,Gottschalk和Moffitt的相关系数比序列不相关的暂时性成分所产生的结果高约 $0.3$。 + +正态分布的交叉熵仅通过均值和协方差矩阵 $S$ 依赖于 $y_i$ 的分布,因此我们可以通过最小化 $N(0, S)$ 与随机效应模型的KL散度来计算该投影。 + +该投影的参数是 $S$ 的线性函数: + +$$ +\sigma^2_\nu = \frac{\operatorname{tr} S - \mathbf{1}^\top S \mathbf{1} / T}{T - 1} , +\qquad +\sigma^2_\mu = \frac{\mathbf{1}^\top S \mathbf{1}}{T^2} - \frac{\sigma^2_\nu}{T} . +$$ + +{ref}`ti_ex_projection` 推导了这些公式。 + +因此,如果对数收入是两个独立成分之和,那么总和的投影就是各投影之和。 + +随机效应协方差矩阵及其逆矩阵位于同一个由 $I$ 和 $\mathbf{1}\mathbf{1}^\top$ 张成的线性空间中。 + +充分统计量是具有空间内 $A$ 的二次型 $y_i^\top A y_i$,因此匹配其期望值会使 $S - \Sigma$ 在迹内积意义下与该空间正交。 + +由于 $\Sigma$ 位于该空间中,m-投影与 $S$ 向该空间的最小二乘投影一致,这使 $\sigma^2_\mu$ 等于 $S$ 的非对角元素平均值,$\sigma^2_\mu + \sigma^2_\nu$ 等于对角元素平均值。 + +仅仅协方差矩阵构成线性空间本身并不能使这两种投影一致:对称Toeplitz矩阵(包括平稳过程的协方差矩阵)构成了一个线性空间,但不包含它们的逆矩阵,而向该空间的两种投影是不同的。 + +下面的代码针对一个人工面板数据,检验这两种刻画方式以及周期图恒等式。 + +```{code-cell} ipython3 +def random_effects_cov(θ, T=9): + σ2_μ, σ2_ν = θ + return σ2_μ * np.ones((T, T)) + σ2_ν * np.eye(T) + + +def gaussian_kl(S, Σ): + """KL divergence of N(0, S) from N(0, Σ).""" + M = np.linalg.solve(Σ, S) + sign, logdet = np.linalg.slogdet(M) + return 0.5 * (np.trace(M) - len(S) - logdet) if sign > 0 else np.inf + + +def euclidean(S, Σ): + """Sum of squared differences of the distinct elements of S and Σ.""" + upper = np.triu_indices(len(S)) + return np.sum((S[upper] - Σ[upper])**2) + + +y02, kept = artificial_panel(0.02) +S = np.cov(y02.T) +for name, distance in (("KL", gaussian_kl), ("least squares", euclidean)): + res = minimize(lambda p: distance(S, random_effects_cov(np.exp(p))), + np.log([0.02, 0.05]), method="Nelder-Mead", + options={"xatol": 1e-10, "fatol": 1e-14}) + print(f"{name:14} projection: {np.round(np.exp(res.x), 5)}") +print(f"formulas (ti_gm): {np.round(gm_decomposition(y02), 5)}") +print(f"fraction of workers kept: {kept:.4f}") + +T = y02.shape[1] +periodogram = np.abs(np.fft.fft(y02, axis=1))**2 / T +W = ((y02 - y02.mean(axis=1, keepdims=True))**2).sum(axis=1) +print("largest Parseval discrepancies:", + np.abs(periodogram[:, 0] - T * y02.mean(axis=1)**2).max(), + np.abs(periodogram[:, 1:].sum(axis=1) - W).max()) +``` + +对于谱密度为 $f$(按照 {doc}`approximation_errors` 的约定)的平稳过程,以 $S$ 表示的公式给出 + +$$ +\sigma^2_\mu = \frac{1}{2\pi} \int_{-\pi}^{\pi} f(\omega) \, \frac{K_T(\omega) - 1}{T - 1} \, d\omega , +\qquad +\sigma^2_\nu = \frac{1}{2\pi} \int_{-\pi}^{\pi} f(\omega) \, \frac{T - K_T(\omega)}{T - 1} \, d\omega , +$$ (ti_fejer) + +其中 $K_T(\omega) = \sin^2(T\omega/2) / (T \sin^2(\omega/2))$ 为费耶尔核(Fejér kernel),即 $T$ 个一组成的序列在频率 $\omega$ 处的周期图值;频率零处的期望周期图值为 $\frac{1}{2\pi}\int_{-\pi}^{\pi} f(\omega) K_T(\omega) \, d\omega$。 + +$\sigma^2_\mu$ 中加在 $f$ 上的权重在频率零处等于一,积分为零,所以 $\sigma^2_\mu$ 衡量的是频率零附近谱密度超出其平均值的程度。 + +当 $T = 9$ 时,费耶尔核约有十分之九的权重位于频率 $|\omega| < 2\pi/T$ 处。 + +让我们针对两个自回归过程,检验 {eq}`ti_fejer` 与以 $S$ 表示的公式是否一致。 + +```{code-cell} ipython3 +n_grid = 2**14 +ω = 2 * np.pi * (np.arange(n_grid) + 0.5) / n_grid - np.pi +K = np.sin(T * ω / 2)**2 / (T * np.sin(ω / 2)**2) +for ρ in (0.7, -0.4): + f = 1 / np.abs(1 - ρ * np.exp(-1j * ω))**2 + lags = np.abs(np.subtract.outer(np.arange(T), np.arange(T))) + S_ar = ρ**lags / (1 - ρ**2) + σ2_ν = (np.trace(S_ar) - S_ar.sum() / T) / (T - 1) + print(f"ρ = {ρ:4}: Fejér form {np.mean(f * (K - 1)) / (T - 1):.6f}, " + f"{np.mean(f * (T - K)) / (T - 1):.6f}; " + f"formulas in S {S_ar.sum() / T**2 - σ2_ν / T:.6f}, {σ2_ν:.6f}") +print(f"share of the Fejér kernel's weight at |ω| < 2π/T: " + f"{np.mean(K * (np.abs(ω) < 2 * np.pi / T)):.3f}") +``` + +对于负自相关过程,这些公式给出了负的 $\sigma^2_\mu$,因为它的谱密度在频率零附近低于其平均值;其向随机效应模型的m-投影位于边界 $\sigma^2_\mu = 0$ 上。 + +该投影在 $S$ 上的线性性,为比较不同窗口期之间的变化提供了依据,即使模型和数据的水平不同。 + +模型中的工人在进入劳动力市场时是完全相同的,且该模型没有测量误差,所以其永久性方差和暂时性方差远低于Gottschalk和Moffitt的结果。 + +假设数据的对数收入是模型所描述的成分,加上一个在两个窗口期协方差矩阵相同的独立成分之和。 + +那么数据投影从1970—78年到1979—87年的变化,等于模型所描述成分的投影的变化。 + +{doc}`approximation_errors` 中Hansen和Sargent的理想季节调整方法遵循同样的策略:它将省略了数据某一特征的模型,仅在该省略特征消失之处与数据进行比较。 + +在那里,比较使用季节频带之外的频率;这里则使用窗口期之间的变化。 + +Gottschalk和Moffitt的证据对暂时性方差的支持程度,比对永久性方差的支持程度更强,因为该假设对前者更为成立。 + +测量误差会抬高他们的暂时性方差,他们写道:"问题在于这种偏差是否随时间发生了变化。我们没有发现有相关证据。" + +他们写道:"价格上涨'技能'或许是解释永久性工资离散程度变化的一个令人满意的解释",而Ljungqvist和Sargent模型中的工人事前是完全相同的,因此他们的模型没有在进入时就固定的教育或其他特征,其价格也就无从上升。 + +(ti_check_section)= +## Ljungqvist和Sargent的检验 + +### 直方图 + +{cite:t}`LjungqvistSargent1998` 使用Gottschalk和Moffitt的证据,"部分用来启发我们的模型,部分用来检验我们的模型"。 + +他们的检验将男性平均值 $\bar y_i$ 的直方图和围绕这些平均值的标准差的直方图进行了比较。 + +下图将Gottschalk和Moffitt的直方图——我们从他们的图2和图4中近似读取——绘制在我们动荡参数为 $0.02$ 和 $0.04$ 的人工面板数据的直方图之上。 + +```{code-cell} ipython3 +y04, _ = artificial_panel(0.04) + +gm_fig2_bins = np.arange(-1.75, 1.01, 0.25) +gm_fig2 = {"1970-78": [0.7, 0.4, 1.1, 2.9, 5.6, 11.3, 16.9, 21.5, 23.2, 10.9, 4.1, 1.3], + "1979-87": [1.1, 1.05, 1.95, 3.05, 6.2, 10.4, 15.1, 19.7, 18.7, 13.95, + 6.4, 2.0]} +gm_fig4_bins = np.arange(0.1, 1.21, 0.1) +gm_fig4 = {"1970-78": [42.4, 22.8, 12.6, 8.1, 6.05, 2.55, 1.65, 1.15, 1.0, 0.75, + 0.25, 0.45], + "1979-87": [36.4, 22.25, 12.75, 7.8, 6.3, 4.45, 3.05, 2.3, 1.4, 0.7, + 0.9, 1.15]} + + +def percent_histogram(x, centers): + width = centers[1] - centers[0] + edges = np.append(centers - width / 2, centers[-1] + width / 2) + return 100 * np.histogram(np.clip(x, edges[0], edges[-1] - 1e-9), edges)[0] / len(x) + + +model_mean_bins = np.arange(-0.5, 0.51, 0.1) +model_sd_bins = np.arange(0.1, 0.71, 0.1) +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Earnings histograms in the PSID and the model + name: fig-ti-histograms +--- +fig, axes = plt.subplots(2, 2, figsize=(11, 7)) +for ax, bins, data, title in ((axes[0, 0], gm_fig2_bins, gm_fig2, "PSID, average"), + (axes[0, 1], gm_fig4_bins, gm_fig4, + "PSID, standard deviation")): + width = bins[1] - bins[0] + ax.bar(bins - width / 5, data["1970-78"], width=0.4 * width, label="1970–78") + ax.bar(bins + width / 5, data["1979-87"], width=0.4 * width, label="1979–87") + ax.set_title(title) + ax.set_ylabel("percent") + ax.legend() + +for ax, bins, stat, title in ( + (axes[1, 0], model_mean_bins, lambda y: y.mean(axis=1), "model, average"), + (axes[1, 1], model_sd_bins, lambda y: y.std(axis=1, ddof=1), + "model, standard deviation")): + width = bins[1] - bins[0] + for shift, y, label in ((-1, y02, "turbulence 0.02"), (1, y04, "turbulence 0.04")): + ax.bar(bins + shift * width / 5, percent_histogram(stat(y), bins), + width=0.4 * width, label=label) + ax.set_title(title) + ax.set_ylabel("percent") + ax.legend() +plt.tight_layout() +plt.show() +``` + +{cite:t}`LjungqvistSargent1998` 的图14绘制了他们自己面板数据的同样直方图。 + +我们近似读取其柱状高度并与我们的结果进行比较。 + +```{code-cell} ipython3 +ls_fig14 = {"average": {0.02: [0.5, 1.7, 3.9, 9.0, 16.2, 27.0, 29.7, 10.8, 1.2, 0, 0], + 0.04: [0.8, 2.3, 5.3, 10.9, 15.0, 22.2, 25.3, 15.0, 3.4, 0, 0]}, + "standard deviation": {0.02: [44.8, 33.2, 14.5, 4.8, 1.9, 0.4, 0.3], + 0.04: [38.4, 35.3, 17.5, 5.3, 2.1, 0.7, 0.3]}} +for v, y in ((0.02, y02), (0.04, y04)): + gaps = [np.abs(percent_histogram(y.mean(axis=1), model_mean_bins) + - ls_fig14["average"][v]).max(), + np.abs(percent_histogram(y.std(axis=1, ddof=1), model_sd_bins) + - ls_fig14["standard deviation"][v]).max()] + print(f"turbulence {v}: largest gaps from their Figure 14, in percentage points, " + f"{gaps[0]:.1f} (averages) and {gaps[1]:.1f} (standard deviations)") +``` + +我们的直方图在每个区间内都与他们的结果相符,误差在约一个百分点以内。 + +将动荡参数从 $0.02$ 提高到 $0.04$,使两个分布都朝Gottschalk和Moffitt所发现的方向扩散。 + +Ljungqvist和Sargent指出,模型中平均值分布的跨度比数据的跨度小,这是因为他们模型中的工人事前是完全相同的,而且模型中标准差的增加发生在比数据中更低的标准差水平上。 + +### 约束函数 + +将动荡参数为 $v$ 的模型的收入进行Gottschalk和Moffitt分解,得到一对数值 $b(v) = (\sigma^2_\mu(v), \sigma^2_\nu(v))$,即模型收入分布向随机效应模型做m-投影所得的参数。 + +{cite:t}`GourierouxMonfortRenault1993` 称映射 $v \mapsto b(v)$ 为**约束函数**;{doc}`gallant_tauchen` 将其记为 $\theta^0(\rho)$。 + +Ljungqvist和Sargent计算了 $0.02$ 和 $0.04$ 处 $\bar y_i$ 和男性标准差的分布,这些分布的二阶矩确定了 $b(0.02)$ 和 $b(0.04)$,并将它们与1970—78年和1979—87年数据的分布进行了比较。 + +正如 {doc}`gallant_tauchen` 所述,间接推断选择能使模型投影与数据投影一致的参数值。 + +我们比较变化量 $b(v) - b(0.02)$ 与Gottschalk和Moffitt测得的变化量,因为Ljungqvist和Sargent将动荡参数 $0.02$ 赋予1970—78年,并且由于上述原因,两个投影的水平是不同的。 + +我们通过在一组动荡参数网格的每一点上,使用相同的随机数,模拟10,000名工人的面板数据来估计约束函数。 + +```{code-cell} ipython3 +v_grid = np.array([0.0, 0.01, 0.02, 0.03, 0.04, 0.06, 0.1, 0.2, 1.0]) +binding = np.array([gm_decomposition(artificial_panel(v)[0]) for v in v_grid]) +b02 = binding[v_grid == 0.02][0] +b_uniform = gm_decomposition(artificial_panel(np.inf)[0]) # uniform skill losses + +print("turbulence σ²_μ σ²_ν share of the measured change in σ²_μ, σ²_ν") +for v, b in zip(list(v_grid) + [np.inf], list(binding) + [b_uniform]): + share = (b - b02) / gm_change + print(f"{v:9.2f} {b[0]:8.4f} {b[1]:8.4f} {share[0]:6.0%} {share[1]:6.0%}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Binding function against the measured changes + name: fig-ti-binding +--- +fig, axes = plt.subplots(1, 2, figsize=(11, 4)) +for k, (ax, name) in enumerate(zip(axes, ("permanent variance", "transitory variance"))): + ax.semilogx(v_grid[1:], binding[1:, k] - b02[k], "o-", label="model") + ax.axhline(gm_change[k], color="k", ls="--", label="PSID, 1979–87 minus 1970–78") + ax.axhline(0, color="0.7", lw=0.8) + ax.set_xlabel("turbulence parameter") + ax.set_title(f"change in {name}") + ax.legend() +plt.tight_layout() +plt.show() +``` + +在Ljungqvist和Sargent赋予1979—87年的动荡参数 $0.04$ 下,模型实现了实测永久性方差增量的约8%和暂时性方差增量的约13%。 + +在不同的随机数种子下,后一个比例在约9%到13%之间变化,均值约为11%。 + +约束函数在动荡参数大于 $0.01$ 时随动荡性上升而上升,并随着动荡参数增大而趋于平缓,因为技能损失的分布逐渐趋近于从最低水平到工人当前水平这一区间内的均匀分布。 + +在我们网格中最大的值处,模型实现了永久性方差增量的约21%和暂时性方差增量的约43%。 + +在技能损失均匀分布的极限情形下,这两个比例约为21%和44%;在不同的随机数种子下,后一个比例在约44%到49%之间变化。 + +Gottschalk和Moffitt对其数据进行了剔除处理,而我们尚未对模型的面板数据进行剔除。 + +以同样的方式剔除模型面板数据中每年的对数收入,在动荡参数为 $0.04$ 时这两个比例大致不变,而在动荡参数最大时这两个比例都会降低。 + +```{code-cell} ipython3 +y_max, _ = artificial_panel(1.0) +b_trim = {v: gm_decomposition(*trim(y)) for v, y in ((0.02, y02), (0.04, y04), + (1.0, y_max))} +print(f"turbulence 0.02: σ²_ν {b02[1]:.4f} without trimming, " + f"{b_trim[0.02][1]:.4f} with trimming") +for v in (0.04, 1.0): + share = (b_trim[v] - b_trim[0.02]) / gm_change + print(f"turbulence {v}: shares of the measured changes with trimming " + f"{share[0]:.0%}, {share[1]:.0%}") +``` + +模型每年收入的1%尾部约占模型暂时性方差的三分之一,剔除处理使最大动荡参数下的暂时性份额在不同随机数种子下降至34%到37%之间。 + +这些份额还取决于技能的范围(它约束了技能损失的大小)以及技能转换的速度(它决定了损失持续的时间)。 + +{ref}`ti_ex_robust` 表明,当技能范围为 $[1, 3]$ 且转换概率保持原值时,动荡性能实现实测永久性方差增量的约46%,以及几乎全部的暂时性方差增量。 + +同时将转换概率加倍,则使永久性份额又回落至约五分之一,因为被裁员的工人恢复技能的速度加快了一倍。 + +将1970—78年的参数固定在 $0.02$ 这一点同样重要。 + +如果两个窗口期的动荡参数都可自由取值,模型能实现的最大变化量,就是约束函数最大值与最小值之差。 + +```{code-cell} ipython3 +points = np.vstack([binding, b_uniform]) +largest = (points.max(axis=0) - points.min(axis=0)) / gm_change +print(f"largest shares with both windows free: {largest[0]:.0%}, {largest[1]:.0%}") +``` + +没有任何动荡参数值能使模型投影的变化等于数据投影的变化。 + +基于这两个统计量的间接推断,会将动荡参数推向技能损失均匀分布的极限情形,但仍然存在差距。 + +Ljungqvist和Sargent观察到,其模型中变异性的增加发生在比数据更低的标准差水平上;约束函数衡量的正是两种方差增量大小之间的这种相关不足。 + +他们根据与Gottschalk和Moffitt、以及Jacobson、LaLonde和Sullivan的比较,得出结论: + +> 这些模拟结果表明,我们模型中产生高长期失业率的机制,在比美国所观测到的经济动荡程度低得多的水平上就能发挥作用。 + +我们对约束函数的估计支持了他们的推断,即数据所要求的动荡性超过 $0.04$。 + +这些估计还表明,在该模型中,无论动荡性多大都无法达到数据中的变化幅度,所以这些变化必定也来自模型所省略的成分。 + +将1970—78年的参数固定在 $0.02$ 时,两个统计量和一个自由参数留下一个过度识别约束。 + +{doc}`gallant_tauchen` 以这种方式检验结构模型:询问在最优参数值下投影之间仍存在的距离,是否超出了抽样变异所能允许的范围。 + +这里的检验是对一个联合假设的检验:模型能描述收入的变化,且模型所省略的收入成分没有发生变化。 + +Gottschalk和Moffitt提出的、技能价格上涨可能解释永久性工资离散程度扩大这一说法,使人对第二部分假设中关于永久性方差的部分产生怀疑。 + +(ti_ident_section)= +## 裁员率与动荡性 + +约束函数将一个标量参数映射为两个数值,而其他结构性变化也可能使这两个数值朝同一方向移动。 + +我们在动荡参数固定为 $0.02$ 且裁员率 $\lambda$ 更高的情况下,计算模型的投影。 + +```{code-cell} ipython3 +b04 = binding[v_grid == 0.04][0] +b_layoff = {λ: gm_decomposition(artificial_panel(0.02, λ=λ)[0]) + for λ in (0.012, 0.015, 0.018, 0.021)} +print("layoff rate change in σ²_μ, σ²_ν from the 1970–78 calibration") +for λ, b in b_layoff.items(): + print(f"{λ:11.3f} {b[0] - b02[0]:+.4f} {b[1] - b02[1]:+.4f}") +print(f"turbulence 0.04: {b04[0] - b02[0]:+.4f} {b04[1] - b02[1]:+.4f}") +``` + +将裁员率翻倍或略高于翻倍,使永久性方差的增幅大致等于将动荡参数从 $0.02$ 提高到 $0.04$ 所带来的增幅,在此次模拟中暂时性方差的增幅约为 $0.003$,而不是 $0.006$;在不同随机数种子下平均约为 $0.002$,而不是 $0.005$。 + +这两种解释投影到随机效应模型中相邻的两个点上。 + +这两种解释投影的相邻性,正是 {doc}`specification_tests` 中结论的识别对应物:投影的比较对使投影保持相等的备择假设没有检验力。 + +一个样本能否区分这两种解释,取决于数据中公式 {eq}`ti_gm` 的抽样变异性。 + +Gottschalk和Moffitt的样本包含2,730名男性。 + +暂时性方差 $\sigma^2_\nu$ 是男性平方标准差 $\hat s_i^2$ 的平均值,所以它在2,730名男性样本中的标准差约为 $\hat s_i^2$ 的标准差除以 $\sqrt{2730}$。 + +我们根据对Gottschalk和Moffitt图4的读数计算该标准差,并计算一个检验的检验力,该检验将暂时性方差的变化与每种解释所预测的变化进行比较。 + +```{code-cell} ipython3 +sd_ν = {} +for window, heights in gm_fig4.items(): + p = np.array(heights) / np.sum(heights) + s2 = gm_fig4_bins**2 + sd_ν[window] = np.sqrt((p @ s2**2 - (p @ s2)**2) / 2730) + print(f"{window}: σ²_ν implied by the figure {p @ s2:.3f}, " + f"standard deviation {sd_ν[window]:.4f}") +sd_change = np.hypot(*sd_ν.values()) +gap = (b04[1] - b02[1]) - (b_layoff[0.018][1] - b02[1]) +power = ncx2.sf(chi2.ppf(0.95, 1), 1, (gap / sd_change)**2) +print(f"standard deviation of the change {sd_change:.4f}, gap {gap:.4f}, " + f"power of a 5 percent test {power:.2f}") +``` + +我们对图形的读数得到的暂时性方差为 $0.103$ 和 $0.145$,与Gottschalk和Moffitt表1中的 $0.104$ 和 $0.148$ 接近。 + +两个窗口期之间变化量的标准差约为 $0.006$,所以两种解释在暂时性方差变化量上约 $0.003$ 的差异,约相当于半个标准差。 + +这一计算将两个窗口期视为2,730名男性的独立样本;Gottschalk和Moffitt的窗口期包含部分相同的男性,这会降低变化量的标准差,而每个窗口期所包含的男性少于2,730人,这又会提高该标准差。 + +利用 {ref}`st_ex_power` 的非中心性计算方法,半个标准差的分离度使5%水平的检验的检验力约为 $0.08$。 + +该计算所问的是,由一种解释生成的数据,能否拒绝另一种解释。 + +两种解释都比实测变化量 $0.044$ 低出六个以上的标准差,所以该计算衡量的是这两个统计量在模型内部能识别出什么,而非任何一种解释的拟合优度。 + +因此,Gottschalk和Moffitt的这两个统计量几乎无法区分更频繁的裁员和更大的技能损失。 + +{cite:t}`LjungqvistSargent2008` 还将其模型与 {cite:t}`JacobsonLaLondeSullivan1993` 所测得的被裁员工人的收入损失进行了比较。他们写道: + +> 我们承认,自1980年代以来美国被裁员工人所经历的巨大收入损失本身,并不能说明1950—60年代与1980年代之后之间动荡性是否增加,因为这需要来自1950—60年代类似被裁员工人研究的证据,而遗憾的是,这样的研究并不存在。 + +他们补充道:"相反,我们间接地从诸如Gottschalk和Moffitt(1994)之类的时间序列研究中,为我们关于动荡性增加的论述找到了支持依据,Katz和Autor(1999)的研究表明,Gottschalk和Moffitt的研究结论在各类研究和数据集中都具有稳健性。" + +每增加一个统计量,就会为辅助模型增加充分统计量,并缩小与数据投影一致的结构参数集合。 + +只有当两种解释在某统计量上的投影不同,且经济学家以相同方式从模型和数据中计算该统计量时,这个额外的统计量才能区分这两种解释。 + +{ref}`ti_ex_jls` 为这两种解释计算了被裁员工人的相关统计量。 + +(ti_mg_section)= +## 协方差结构模型 + +{cite:t}`MoffittGottschalk2011` 描述了分解方法 {eq}`ti_gm` 的一个局限性: + +> 然而,除了需要选择任意的日历时间区间外,如果永久性方差不是在区间端点处骤然变化,而是在区间内平滑上升,该方法就会出问题。在这种情况下,区间前段和后段相对于平均收入的偏差,会被错误地归因于暂时性收入。 + +用周期图的语言来说,在一个窗口期内发生变化的永久性成分,会在非零傅里叶频率处产生功率,而该投影将其计为暂时性成分。 + +他们转而拟合了一个描述收入整体协方差结构的模型,其中永久性成分服从随机游走,暂时性成分服从ARMA(1,1)过程: + +$$ +y_{it} = \mu_{it} + \nu_{it} , +\qquad +\mu_{it} = \mu_{i,t-1} + \omega_{it} , +\qquad +\nu_{it} = \rho \nu_{i,t-1} + \xi_{it} + \theta \xi_{i,t-1} , +$$ + +其中载荷和方差随时间呈趋势性变化。 + +当 $\rho = \theta = 0$ 时,暂时性成分为白噪声,该模型即为 {doc}`phillips_misspecified` 和 {doc}`lq_permanent_income` 所使用的 {cite:t}`Muth1960` 带噪声观测的随机游走模型。 + +他们采用最小距离法,以单位权重矩阵估计该模型,即通过最小二乘法使模型的自协方差与样本自协方差相拟合。 + +他们报告的卡方统计量在每个设定下都超过了1%的临界值,不过他们判断,具有ARMA(1,1)暂时性成分的随机游走模型"能够充分拟合我们的数据"。 + +我们将参数恒定的版本,分别用最小二乘法(如Moffitt和Gottschalk所做)以及最小化高斯KL散度的方法,拟合到我们人工面板数据九年期的协方差矩阵上。 + +其参数包括:窗口期前一年永久性成分的方差 $\sigma^2_0$、其增量的方差 $\sigma^2_\omega$,以及 $\rho$、$\theta$ 和暂时性成分创新项 $\xi_{it}$ 的方差 $\sigma^2_\xi$。 + +```{code-cell} ipython3 +def mg_cov(θ, T=9): + σ2_0, σ2_ω, ρ, ϑ, σ2_ξ = θ + t = np.arange(1, T + 1) + lag = np.abs(np.subtract.outer(t, t)) + γ0 = σ2_ξ * (1 + 2 * ρ * ϑ + ϑ**2) / (1 - ρ**2) + γ1 = σ2_ξ * (1 + ρ * ϑ) * (ρ + ϑ) / (1 - ρ**2) + transitory = np.where(lag == 0, γ0, γ1 * ρ**np.maximum(lag - 1, 0)) + return σ2_0 + σ2_ω * np.minimum.outer(t, t) + transitory + + +def mg_params(p): + return np.array([np.exp(p[0]), np.exp(p[1]), np.tanh(p[2]), np.tanh(p[3]), + np.exp(p[4])]) + + +def mg_projection(S, distance): + best = None + for p0 in ([np.log(0.02), np.log(0.002), 0.5, -0.3, np.log(0.02)], + [np.log(0.01), np.log(0.0005), 1.0, 0.0, np.log(0.04)]): + objective = lambda p: distance(S, mg_cov(mg_params(p))) + res = minimize(objective, p0, method="Nelder-Mead", + options={"maxiter": 40_000, "xatol": 1e-10, "fatol": 1e-15}) + res = minimize(objective, res.x, method="BFGS") + if best is None or res.fun < best.fun: + best = res + return mg_params(best.x) + + +print("turbulence distance σ²_0 σ²_ω ρ θ σ²_ξ " + "permanent transitory") +for v in (0.02, 0.04): + y_v = artificial_panel(v, N=40_000, seed=1)[0] + S = np.cov(y_v.T) + for name, distance in (("least sq.", euclidean), ("KL", gaussian_kl)): + θ = mg_projection(S, distance) + permanent = θ[0] + 5 * θ[1] # middle year of the window + transitory = mg_cov(θ)[4, 4] - permanent + print(f"{v:9.2f} {name:10} {θ[0]:8.4f} {θ[1]:8.5f} {θ[2]:7.3f} {θ[3]:7.3f} " + f"{θ[4]:8.4f} {permanent:9.4f} {transitory:10.4f}") + print(f" random effects (ti_gm): permanent {gm_decomposition(y_v)[0]:.4f}, " + f"transitory {gm_decomposition(y_v)[1]:.4f}") +``` + +协方差结构模型几乎将方差完全归因于暂时性成分,而不是永久性成分。 + +它将模型的收入不稳定性归因于一个年自回归系数介于 $0.63$ 和 $0.71$ 之间、移动平均系数约为 $-0.26$ 的暂时性成分。 + +Moffitt和Gottschalk在其表5中基于PSID的估计是 $\rho = 0.641$ 和 $\theta = -0.367$。 + +协方差结构模型将动荡参数从 $0.02$ 升至 $0.04$ 所带来的增量归因于暂时性成分。 + +对同一面板数据的随机效应投影 {eq}`ti_gm` 则将增量的约一半归因于永久性成分。 + +这两个辅助模型之所以意见不一致,是因为裁员时的技能损失较大、持续时间长,而且最终会被逆转。 + +一名损失了一半累积技能的工人,以平均每十个就业期恢复一个技能水平(即 $0.05$)的速度恢复技能,所以该工人的收入会在数年内保持低位。 + +在一个九年窗口期的早期发生这样一次损失,会降低该工人的平均值,并提高工人之间平均值的方差,而随机效应投影将此计为永久性成分。 + +用周期图的语言来说,一种持续数年的损失,会将其大部分功率集中在频率零处。 + +模型中收入的协方差随滞后期而下降,协方差结构模型用其暂时性成分来拟合这种下降,因此它将同样的损失计为暂时性成分。 + +Moffitt和Gottschalk也注意到了这个问题:"如果暂时性成分存在序列相关性,平均收入的方差将同时受到暂时性成分方差的影响。" + +模型中工人相对于其自身平均值的偏差,具有较小的序列相关性,与Gottschalk和Moffitt在PSID中的发现类似。 + +```{code-cell} ipython3 +for v, y in ((0.02, y02), (0.04, y04)): + d = y - y.mean(axis=1, keepdims=True) + r = np.corrcoef(d[:, :-1].ravel(), d[:, 1:].ravel())[0, 1] + print(f"turbulence {v}: correlation of successive deviations {r:.2f}") +``` + +$0.17$ 和 $0.22$ 的连续偏差相关系数,与自回归系数接近 $0.7$ 的暂时性成分是相容的,所以PSID中较小的相关系数并不能表明其暂时性成分接近序列不相关。 + +最小二乘投影和KL投影向协方差结构模型的投影在细节上有所不同。 + +该模型不是一个指数族:它的协方差矩阵构成一个弯曲的集合,使两种投影对随机效应模型一致的那个论证不适用于此。 + +## 结束语 + +Ljungqvist和Sargent对直方图的比较,是间接推断的一种非正式版本:他们直方图的二阶矩,正是数据和结构模型向同一辅助模型做m-投影所得的参数。 + +对于 {cite:t}`LjungqvistSargent1998` 的自由放任经济,Gottschalk和Moffitt分解方法的约束函数在动荡参数大于 $0.01$ 时随动荡性而上升。 + +将1970—78年的参数固定在他们所使用的 $0.02$,约束函数无法达到Gottschalk和Moffitt测得的变化量,而它能接近到何种程度,取决于技能的范围以及被裁员的工人恢复技能的速度。 + +同样的两个统计量对裁员率的上升也有类似的反应,因此它们只能较弱地识别动荡性。 + +关于不稳定性有多少属于永久性的问题,其答案取决于所用的辅助模型:随机效应分解方法和 {cite:t}`MoffittGottschalk2011` 的协方差结构模型,对同一模型生成的不稳定性给出了不同的划分结果。 + +## 练习 + +```{exercise} +:label: ti_ex_jls + +{cite:t}`JacobsonLaLondeSullivan1993` 将1982年第一季度被裁员、工龄为六年的工人的季度收入,与1986年底仍留在原雇主处工作的工人的收入进行了比较。 + +{cite:t}`LjungqvistSargent1998` 通过追踪100,000名已在劳动力市场工作20年的工人11年的情况,构建了模型中的对应统计量。他们将第7年的前12周称为1982年第一季度,并绘制了技能损失超过40%的离职者的情况。 + +1. 在动荡参数为 $0.04$ 的自由放任经济中,模拟100,000名这样的工人。识别出留任者,即每一期都受雇且从未被裁员的工人。识别出离职者,即在前六年中一直受雇且从未被裁员,而在第7年的前六个时期被裁员的工人。 +2. 计算每组的平均12周收入,以及离职者与留任者收入在最后两年的比率。分别对所有离职者,以及裁员时技能下降超过40%的离职者进行此计算。 +3. 在动荡参数为 $0.02$、裁员率为 $0.019$(这是永久性方差的变化大致匹配将动荡性提高至 $0.04$ 所带来变化的裁员率)的经济中,对所有离职者重复第2部分的计算,并计算在每种经济中,工龄六年的工人在第7年开始时被裁员的比例。 +4. 这些统计量中,哪些是经济学家能够从像Jacobson、LaLonde和Sullivan那样的数据中计算出来的?其中哪些能够区分这两种解释? +``` + +```{solution-start} ti_ex_jls +:class: dropdown +``` + +下面是一种解法。 + +```{code-cell} ipython3 +def displaced_worker_statistics(turbulence, λ=0.009, N=100_000, seed=3): + m = create_model(turbulence=turbulence, λ=λ) + rec = simulate_workers(m, *solve_model(m), N=N, T=11 * 26, T_burn=20 * 26, + seed=seed) + emp, laid, h = rec["emp"], rec["laid"], rec["h"] + k0 = 6 * 26 # first period of year 7 + tenured = emp[:, :k0].all(axis=1) & ~laid[:, :k0].any(axis=1) + stayers = emp.all(axis=1) & ~laid.any(axis=1) + separators = tenured & laid[:, k0:k0 + 6].any(axis=1) + rows = np.where(separators)[0] + k_lay = k0 + laid[rows, k0:k0 + 6].argmax(axis=1) + loss = np.round(1 - m.h_grid[h[rows, k_lay]] / m.h_grid[h[rows, k_lay - 1]], 9) + later = np.arange(laid.shape[1])[None, :] > k_lay[:, None] + big_loss = np.isin(np.arange(N), rows[loss > 0.4]) + + def quarterly(mask): + return rec["earn"][mask][:, :282].reshape(mask.sum(), 47, 6).sum(axis=2).mean(axis=0) + + stay = quarterly(stayers) + ratio = lambda mask: quarterly(mask)[-8:].mean() / stay[-8:].mean() + return {"stayers": stayers.sum(), "separators": separators.sum(), + "shares of separators with losses above 10, 20, 30, 40%": + np.round([(loss > c).mean() for c in (0.1, 0.2, 0.3, 0.4)], 3), + "displacement rate": separators.sum() / tenured.sum(), + "ratio, all separators": ratio(separators), + "separators with losses above 40%": (loss > 0.4).sum(), + "later layoffs per separator": (laid[rows] & later).sum(axis=1).mean(), + "ratio, losses above 40%": ratio(big_loss) if big_loss.any() else np.nan, + "paths": (stay, quarterly(separators), + quarterly(big_loss) if big_loss.any() else None)} + + +turbulent = displaced_worker_statistics(0.04) +more_layoffs = displaced_worker_statistics(0.02, λ=0.019) +for name, res in (("turbulence 0.04", turbulent), + ("turbulence 0.02, layoff rate 0.019", more_layoffs)): + print(name) + for key, value in res.items(): + if key != "paths": + print(f" {key}: {value:.3f}" if isinstance(value, float) + else f" {key}: {value}") +``` + +```{code-cell} ipython3 +--- +mystnb: + figure: + caption: Earnings of stayers and separators + name: fig-ti-jls +--- +fig, ax = plt.subplots() +stay, sep, big = turbulent["paths"] +quarters = np.arange(len(stay)) * 12 / 52 - 6 +ax.plot(quarters, stay, label="stayers") +ax.plot(quarters, sep, label="all separators") +ax.plot(quarters, big, label="separators with skill losses above 40%") +ax.set_xlabel("years from the start of year 7") +ax.set_ylabel("12-week earnings") +ax.legend(loc="lower left", fontsize=9) +plt.show() +``` + +Ljungqvist和Sargent在其100,000名工人中报告了2,889名留任者和629名离职者。 + +我们的模拟结果中,留任者数量约为其两倍,离职者数量约多出三分之二。 + +离职者中技能损失超过10%、20%、30%和40%的比例分别为55%、27%、10%和2.5%,而他们报告的比例分别为47%、25%、11%和3%。 + +我们尚未找到这一差异的来源。 + +在动荡参数为 $0.04$ 的情况下,所有离职者的收入在裁员后三到五年比留任者低约17%,而技能下降超过40%的少数离职者的收入则低约37%。 + +Ljungqvist和Sargent将Jacobson、LaLonde和Sullivan的发现描述为一种恢复,"最终达到比被裁员前工作所挣收入低约25%的水平"。 + +他们的数据是通过裁员这一事件而非技能损失的大小来识别被裁员工人的,所以数据所能提供的收入统计量,正是针对所有离职者的那个统计量。 + +他们的记录同时涵盖留任者和离职者,所以类似的数据也能提供离职率。 + +在裁员率更高的情况下,所有离职者的收入比留任者低约21%,因为在被裁员之后,他们再次被裁员的频率大约是动荡经济中离职者的两倍。 + +因此,收入损失这一统计量几乎无法区分这两种解释。 + +裁员率更高的经济中的离职率大约是动荡经济中离职率的两倍。 + +单从一期来衡量,该比率只有在我们信任模型的离职水平时才能区分这两种解释,而贯穿本讲座,我们比较的是变化量而非水平值。 + +两期之间离职率的变化可以区分这两种解释:当裁员率翻倍时,该变化也翻倍,而不随动荡性变化。 + +要测量这种变化,需要两个时期都具备可比的被裁员工人研究数据,而上文引用的 {cite:t}`LjungqvistSargent2008` 那段话正说明这正是所欠缺的。 + +```{solution-end} +``` + +```{exercise} +:label: ti_ex_projection + +设 $y_i$ 为 $\mathbb{R}^T$ 中均值为零的随机向量,具有正定协方差矩阵 $S$,其非对角元素的平均值非负,并考虑随机效应族 $N(0, \sigma^2_\mu \mathbf{1}\mathbf{1}^\top + \sigma^2_\nu I)$。 + +1. 证明 $\Sigma = \sigma^2_\mu \mathbf{1}\mathbf{1}^\top + \sigma^2_\nu I$ 的逆为 $\sigma_\nu^{-2} \left(I - c\,\mathbf{1}\mathbf{1}^\top\right)$,其中 $c = \sigma^2_\mu / (\sigma^2_\nu + T \sigma^2_\mu)$,并证明 $\log p(y_i)$ 是 $W_i$ 和 $T \bar y_i^2$ 的线性函数,加上一个只依赖于参数的函数。 +2. 对 $(\sigma^2_\mu, \sigma^2_\nu)$ 最小化 $N(0, S)$ 与 $N(0, \Sigma)$ 的高斯KL散度,并证明最小化器满足 $\sigma^2_\nu = (\operatorname{tr} S - \mathbf{1}^\top S \mathbf{1}/T)/(T - 1)$ 和 $\sigma^2_\mu = \mathbf{1}^\top S \mathbf{1}/T^2 - \sigma^2_\nu / T$。 +3. 证明 $S$ 向同一族的最小二乘投影给出相同的结果。 +``` + +```{solution-start} ti_ex_projection +:class: dropdown +``` + +下面是一种解法。 + +对于第1部分,将 $\Sigma$ 与 $\sigma_\nu^{-2}(I - c\,\mathbf{1}\mathbf{1}^\top)$ 相乘,并利用 $\mathbf{1}^\top \mathbf{1} = T$:其乘积为 $I + \sigma_\nu^{-2}\left[\sigma^2_\mu - c(\sigma^2_\nu + T\sigma^2_\mu)\right]\mathbf{1}\mathbf{1}^\top = I$。 + +于是 $y_i^\top \Sigma^{-1} y_i = \sigma_\nu^{-2}\left(y_i^\top y_i - c T^2 \bar y_i^2\right)$,且 $y_i^\top y_i = W_i + T \bar y_i^2$,所以 + +$$ +\log p(y_i) = -\frac{W_i}{2\sigma^2_\nu} - \frac{T \bar y_i^2}{2(\sigma^2_\nu + T\sigma^2_\mu)} - \frac{1}{2}\log\det(2\pi\Sigma) , +$$ + +因为 $1 - cT = \sigma^2_\nu / (\sigma^2_\nu + T\sigma^2_\mu)$。 + +对于第2部分,$N(0, S)$ 与 $N(0, \Sigma)$ 之间的KL散度,等于在 $N(0, S)$ 下 $\log p(y_i)$ 期望的相反数,加上一个常数。 + +$\Sigma$ 的特征值为 $\sigma^2_\nu + T\sigma^2_\mu$(对应特征向量 $\mathbf{1}$)以及 $\sigma^2_\nu$(重数为 $T - 1$),所以 $\log\det\Sigma = \log(\sigma^2_\nu + T\sigma^2_\mu) + (T - 1)\log\sigma^2_\nu$。 + +利用 $E[W_i] = \operatorname{tr} S - \mathbf{1}^\top S \mathbf{1}/T$ 和 $E[T\bar y_i^2] = \mathbf{1}^\top S \mathbf{1}/T$,目标函数可以分离为 $a = \sigma^2_\nu$ 的函数和 $d = \sigma^2_\nu + T\sigma^2_\mu$ 的函数: + +$$ +\frac{E[W_i]}{2a} + \frac{T-1}{2}\log a + \frac{E[T\bar y_i^2]}{2d} + \frac{1}{2}\log d . +$$ + +最小化给出 $a = E[W_i]/(T-1)$ 和 $d = E[T\bar y_i^2]$,即题目所述的公式。 + +对于第3部分,最小二乘问题 $\min \sum_{t \le s} (S_{ts} - \Sigma_{ts})^2$ 分离为对角元素(都等于 $\sigma^2_\mu + \sigma^2_\nu$)和非对角元素(都等于 $\sigma^2_\mu$)。 + +最小化器使 $\sigma^2_\mu + \sigma^2_\nu$ 等于对角元素平均值 $\bar s_d$,使 $\sigma^2_\mu$ 等于非对角元素平均值 $\bar s_o$。 + +由于 $\operatorname{tr} S = T \bar s_d$ 且 $\mathbf{1}^\top S \mathbf{1} = T\bar s_d + T(T - 1)\bar s_o$,第2部分的公式给出 $\sigma^2_\nu = \bar s_d - \bar s_o$ 和 $\sigma^2_\mu = \bar s_o$。 + +所以 $\sigma^2_\mu \geq 0$ 当且仅当 $S$ 的非对角元素平均值非负,这正是本题假设该条件成立的原因。 + +```{code-cell} ipython3 +S = np.cov(y04.T) +T = len(S) +s_d, s_o = np.mean(np.diag(S)), (S.sum() - np.trace(S)) / (T * (T - 1)) +print("least squares:", np.round([s_o, s_d - s_o], 6)) +σ2_ν = (np.trace(S) - S.sum() / T) / (T - 1) +print("KL formulas: ", np.round([S.sum() / T**2 - σ2_ν / T, σ2_ν], 6)) +``` + +```{solution-end} +``` + +```{exercise} +:label: ti_ex_robust + +{cite:t}`LjungqvistSargent1998` 报告:"在早期的模拟中,我们曾将技能范围以及持续受雇两期获得一个技能水平、持续失业两期失去一个技能水平的转换概率同时加倍,得到了类似的结果。" + +1. 将技能设定在 $[1, 3]$ 上,保持21个技能水平以及原有的转换概率,重新计算动荡参数为 $0.02$、$0.04$、$0.1$ 和 $1$ 时的约束函数。 +2. 同时还将技能提升的概率加倍为 $0.2$,技能下降的概率加倍为 $0.4$,重新计算约束函数。 + +第2部分是我们对他们这句话的理解;第1部分则将范围的影响与转换概率的影响区分开来。 + +在每种情形下,动荡性能够实现实测永久性方差和暂时性方差变化的多大比例?这两种情形为何会有所不同? +``` + +```{solution-start} ti_ex_robust +:class: dropdown +``` + +下面是一种解法。 + +```{code-cell} ipython3 +grid, ends = (0.02, 0.04, 0.1, 1.0), (0.02, 1.0) +cases = (("wider range", dict(h_max=3.0), grid), + ("wider range, faster transitions", dict(h_max=3.0, up=0.2, down=0.4), grid), + ("wider range, faster skill gains only", dict(h_max=3.0, up=0.2), ends), + ("wider range, faster skill losses only", dict(h_max=3.0, down=0.4), ends)) +for case, kwargs, v_wide in cases: + b_wide = np.array([gm_decomposition(artificial_panel(v, **kwargs)[0]) + for v in v_wide]) + print(case) + for v, b in zip(v_wide, b_wide): + share = (b - b_wide[0]) / gm_change + print(f" turbulence {v:5.2f}: σ²_μ {b[0]:.4f}, σ²_ν {b[1]:.4f}, " + f"shares of the measured changes {share[0]:.0%}, {share[1]:.0%}") +``` + +更宽的技能范围允许更大的技能损失。 + +当技能范围为 $[1, 3]$ 且转换概率保持原值时,动荡性能够实现实测永久性方差增量的高达约46%,以及几乎全部的暂时性方差增量。 + +同时将转换概率加倍,会使被裁员工人恢复所损失技能水平所需的时间减半。 + +技能损失在九年窗口期中所占的比重因而变小,并使工人的平均值下降得更少,所以随机效应投影将其中较少的部分计为永久性成分。 + +在这种情形下,动荡性最多只能实现永久性方差增量的约五分之一(与原始经济中一样),以及略高于全部的暂时性方差增量。 + +恢复速度的加快才是关键因素:仅将技能提升概率加倍,会使动荡参数为 $1$ 时的永久性份额降至约21%,而仅将技能下降概率加倍,则使其保持在约41%。 + +Ljungqvist和Sargent的那句话涉及的是其定性发现;而约束函数表明,仅改变技能范围时,永久性份额并不具有稳健性。 + +```{solution-end} +``` \ No newline at end of file From 96272282b5b0531e77aed31aa53213330c56f309 Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:51 +1100 Subject: [PATCH 26/28] Update translation: .translate/state/turbulence_inference.md.yml --- .translate/state/turbulence_inference.md.yml | 6 ++++++ 1 file changed, 6 insertions(+) create mode 100644 .translate/state/turbulence_inference.md.yml diff --git a/.translate/state/turbulence_inference.md.yml b/.translate/state/turbulence_inference.md.yml new file mode 100644 index 00000000..db572bf2 --- /dev/null +++ b/.translate/state/turbulence_inference.md.yml @@ -0,0 +1,6 @@ +source-sha: 220fb976b301d27c514e4e2c0a30693541ed71b2 +synced-at: "2026-11-22" +model: claude-sonnet-5 +mode: NEW +section-count: 8 +tool-version: 0.33.0 From e8e953616267eb123fe65b6a63eb04ed54b2a54e Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:52 +1100 Subject: [PATCH 27/28] Update translation: lectures/_toc.yml --- lectures/_toc.yml | 15 +++++++++++++-- 1 file changed, 13 insertions(+), 2 deletions(-) diff --git a/lectures/_toc.yml b/lectures/_toc.yml index fbe51679..0a3aec30 100644 --- a/lectures/_toc.yml +++ b/lectures/_toc.yml @@ -30,10 +30,15 @@ parts: - file: bayes_nonconj - file: ar1_bayes - file: ar1_turningpts -- caption: 统计与信息论 +- caption: 统计与信息论 numbered: true chapters: - file: divergence_measures + - file: exponential_families + - file: information_projections + - file: approximation_errors + - file: specification_tests + - file: turbulence_inference - file: likelihood_ratio_process - file: likelihood_ratio_process_2 - file: likelihood_var @@ -43,6 +48,7 @@ parts: - file: exchangeable - file: likelihood_bayes - file: blackwell_kihlstrom + - file: information_transfer - file: information_market_equilibrium - file: mix_model - file: navy_captain @@ -56,6 +62,7 @@ parts: chapters: - file: opt_transport - file: von_neumann_model + - file: houthakker_aggregation - caption: 动态系统导论 numbered: true chapters: @@ -145,8 +152,10 @@ parts: - file: phillips_learning - file: phillips_escaping_nash - file: phillips_priors - - file: phillips_lost_conquest + - file: phillips_policy_evaluation - file: phillips_drifts_volatilities + - file: phillips_drifts_volatilities_2 + - file: phillips_lost_conquest - caption: 最优增长 numbered: true chapters: @@ -161,6 +170,7 @@ parts: - file: endogenous_lake - file: rational_expectations - file: lucas_prescott_investment + - file: lucas_prescott_search - file: optimal_growth_uncertainty - file: re_with_feedback - file: markov_perf @@ -172,6 +182,7 @@ parts: - file: two_computation - file: social_security_depletion - file: lq_mean_field_games + - file: lq_mean_field_games_extensions - caption: 资产定价与金融 numbered: true chapters: From 5b4a88ca44ebcbd33a7c66440bd048a25fcf325f Mon Sep 17 00:00:00 2001 From: Matt McKay Date: Sun, 22 Nov 2026 13:39:53 +1100 Subject: [PATCH 28/28] Update translation: lectures/_static/quant-econ.bib --- lectures/_static/quant-econ.bib | 529 ++++++++++++++++++++++++++++++++ 1 file changed, 529 insertions(+) diff --git a/lectures/_static/quant-econ.bib b/lectures/_static/quant-econ.bib index a77683af..822da3ed 100644 --- a/lectures/_static/quant-econ.bib +++ b/lectures/_static/quant-econ.bib @@ -5922,3 +5922,532 @@ @article{anderson1951 pages = {327--351}, year = {1951} } + +@article{Sims1971, + author = {Sims, Christopher A.}, + title = {Discrete Approximations to Continuous Time Distributed Lags in Econometrics}, + journal = {Econometrica}, + volume = {39}, + number = {3}, + pages = {545--563}, + year = {1971} +} + +@article{Sims1974, + author = {Sims, Christopher A.}, + title = {Seasonality in Regression}, + journal = {Journal of the American Statistical Association}, + volume = {69}, + number = {347}, + pages = {618--626}, + year = {1974} +} + +@article{Sims1993, + author = {Sims, Christopher A.}, + title = {Rational Expectations Modeling with Seasonally Adjusted Data}, + journal = {Journal of Econometrics}, + volume = {55}, + number = {1--2}, + pages = {9--19}, + year = {1993} +} + +@book{Hannan1970, + author = {Hannan, E. J.}, + title = {Multiple Time Series}, + publisher = {Wiley}, + address = {New York}, + year = {1970} +} + +@article{Sims1972JASA, + author = {Sims, Christopher A.}, + title = {The Role of Approximate Prior Restrictions in Distributed Lag Estimation}, + journal = {Journal of the American Statistical Association}, + volume = {67}, + pages = {169--175}, + year = {1972} +} + +@incollection{Sargent1978Seasonal, + author = {Sargent, Thomas J.}, + title = {Comments on ``Seasonal Adjustment and Multiple Time Series Analysis'' by {K. F. Wallis}}, + booktitle = {Seasonal Analysis of Economic Time Series}, + editor = {Zellner, Arnold}, + pages = {361--363}, + publisher = {U.S. Department of Commerce, Bureau of the Census}, + address = {Washington, DC}, + year = {1978} +} + +@article{Singleton1988, + author = {Singleton, Kenneth J.}, + title = {Econometric Issues in the Analysis of Equilibrium Business Cycle Models}, + journal = {Journal of Monetary Economics}, + volume = {21}, + pages = {361--386}, + year = {1988} +} + +@article{HodrickPrescott1997, + author = {Hodrick, Robert J. and Prescott, Edward C.}, + title = {Postwar {U.S.} Business Cycles: An Empirical Investigation}, + journal = {Journal of Money, Credit and Banking}, + volume = {29}, + number = {1}, + pages = {1--16}, + year = {1997} +} + +@article{HansenSargent1983, + author = {Hansen, Lars Peter and Sargent, Thomas J.}, + title = {The Dimensionality of the Aliasing Problem in Models with Rational Spectral Densities}, + journal = {Econometrica}, + volume = {51}, + number = {2}, + pages = {377--387}, + year = {1983} +} + +@article{EspondaPouzo2016, + author = {Esponda, Ignacio and Pouzo, Demian}, + title = {{Berk--Nash} Equilibrium: A Framework for Modeling Agents with + Misspecified Models}, + journal = {Econometrica}, + year = {2016}, + volume = {84}, + number = {3}, + pages = {1093--1130} +} + +@article{Jaynes1957, + author = {Jaynes, Edwin T.}, + title = {Information Theory and Statistical Mechanics}, + journal = {Physical Review}, + year = {1957}, + volume = {106}, + number = {4}, + pages = {620--630}, + doi = {10.1103/PhysRev.106.620} +} + +@article{Nielsen2020, + author = {Nielsen, Frank}, + title = {An Elementary Introduction to Information Geometry}, + journal = {Entropy}, + year = {2020}, + volume = {22}, + number = {10}, + pages = {1100}, + doi = {10.3390/e22101100} +} + +@book{CoverThomas2006, + author = {Cover, Thomas M. and Thomas, Joy A.}, + title = {Elements of Information Theory}, + edition = {Second}, + publisher = {John Wiley \& Sons}, + address = {Hoboken, NJ}, + year = {2006} +} + +@incollection{Jaynes1963, + author = {Jaynes, Edwin T.}, + title = {Information Theory and Statistical Mechanics}, + booktitle = {Statistical Physics}, + series = {1962 Brandeis Lectures in Theoretical Physics}, + volume = {3}, + editor = {Ford, Kenneth W.}, + publisher = {W. A. Benjamin}, + address = {New York}, + year = {1963}, + pages = {181--218} +} + +@article{AndersonDePalmaThisse1988, + author = {Anderson, Simon P. and de Palma, Andr{\'e} and Thisse, Jacques-Fran{\c{c}}ois}, + title = {A Representative Consumer Theory of the Logit Model}, + journal = {International Economic Review}, + year = {1988}, + volume = {29}, + number = {3}, + pages = {461--466}, + doi = {10.2307/2526791} +} + +@article{MattssonWeibull2002, + author = {Mattsson, Lars-G{\"o}ran and Weibull, J{\"o}rgen W.}, + title = {Probabilistic Choice and Procedurally Bounded Rationality}, + journal = {Games and Economic Behavior}, + year = {2002}, + volume = {41}, + number = {1}, + pages = {61--78}, + doi = {10.1016/S0899-8256(02)00014-3} +} + +@article{ChooSiow2006, + author = {Choo, Eugene and Siow, Aloysius}, + title = {Who Marries Whom and Why}, + journal = {Journal of Political Economy}, + year = {2006}, + volume = {114}, + number = {1}, + pages = {175--201}, + doi = {10.1086/498585} +} + +@article{Csiszar1975, + author = {Csisz{\'a}r, Imre}, + title = {{I}-Divergence Geometry of Probability Distributions and Minimization Problems}, + journal = {Annals of Probability}, + year = {1975}, + volume = {3}, + number = {1}, + pages = {146--158}, + doi = {10.1214/aop/1176996454} +} + +@article{CsiszarShields2004, + author = {Csisz{\'a}r, Imre and Shields, Paul C.}, + title = {Information Theory and Statistics: A Tutorial}, + journal = {Foundations and Trends in Communications and Information Theory}, + year = {2004}, + volume = {1}, + number = {4}, + pages = {417--528}, + doi = {10.1561/0100000004} +} + +@article{Nielsen2018, + author = {Nielsen, Frank}, + title = {What is\ldots an Information Projection?}, + journal = {Notices of the American Mathematical Society}, + year = {2018}, + volume = {65}, + number = {3}, + pages = {321--324}, + doi = {10.1090/noti1647} +} + +@article{Sims2003, + author = {Sims, Christopher A.}, + title = {Implications of Rational Inattention}, + journal = {Journal of Monetary Economics}, + year = {2003}, + volume = {50}, + number = {3}, + pages = {665--690}, + doi = {10.1016/S0304-3932(03)00029-1} +} + +@article{VanCampenhoutCover1981, + author = {Van Campenhout, Jan M. and Cover, Thomas M.}, + title = {Maximum Entropy and Conditional Probability}, + journal = {IEEE Transactions on Information Theory}, + year = {1981}, + volume = {27}, + number = {4}, + pages = {483--489}, + doi = {10.1109/TIT.1981.1056374} +} + +@article{Csiszar1984, + author = {Csisz{\'a}r, Imre}, + title = {Sanov Property, Generalized {I}-Projection and a Conditional Limit Theorem}, + journal = {Annals of Probability}, + year = {1984}, + volume = {12}, + number = {3}, + pages = {768--793}, + doi = {10.1214/aop/1176993227} +} + +@book{Bacharach1970, + author = {Bacharach, Michael}, + title = {Biproportional Matrices and Input-Output Change}, + publisher = {Cambridge University Press}, + address = {Cambridge}, + year = {1970} +} + +@article{DemingStephan1940, + author = {Deming, W. Edwards and Stephan, Frederick F.}, + title = {On a Least Squares Adjustment of a Sampled Frequency Table When the Expected Marginal Totals are Known}, + journal = {Annals of Mathematical Statistics}, + year = {1940}, + volume = {11}, + number = {4}, + pages = {427--444}, + doi = {10.1214/aoms/1177731829} +} + +@book{StoneBrown1962, + author = {Stone, Richard and Brown, Alan}, + title = {A Computable Model of Economic Growth}, + series = {A Programme for Growth}, + volume = {1}, + publisher = {Chapman and Hall}, + address = {London}, + year = {1962} +} + +@article{IrelandKullback1968, + author = {Ireland, C. T. and Kullback, S.}, + title = {Contingency Tables with Given Marginals}, + journal = {Biometrika}, + year = {1968}, + volume = {55}, + number = {1}, + pages = {179--188}, + doi = {10.2307/2334462} +} + +@article{Sinkhorn1964, + author = {Sinkhorn, Richard}, + title = {A Relationship Between Arbitrary Positive Matrices and Doubly Stochastic Matrices}, + journal = {Annals of Mathematical Statistics}, + year = {1964}, + volume = {35}, + number = {2}, + pages = {876--879}, + doi = {10.1214/aoms/1177703591} +} + +@inproceedings{Cuturi2013, + author = {Cuturi, Marco}, + title = {Sinkhorn Distances: Lightspeed Computation of Optimal Transport}, + booktitle = {Advances in Neural Information Processing Systems}, + volume = {26}, + pages = {2292--2300}, + year = {2013} +} + +@article{GalichonSalanie2022, + author = {Galichon, Alfred and Salani{\'e}, Bernard}, + title = {Cupid's Invisible Hand: Social Surplus and Identification in Matching Models}, + journal = {Review of Economic Studies}, + year = {2022}, + volume = {89}, + number = {5}, + pages = {2600--2629}, + doi = {10.1093/restud/rdab090} +} + +@article{CominettiSanMartin1994, + author = {Cominetti, Roberto and San Mart{\'i}n, Jaime}, + title = {Asymptotic Analysis of the Exponential Penalty Trajectory in Linear Programming}, + journal = {Mathematical Programming}, + year = {1994}, + volume = {67}, + number = {1--3}, + pages = {169--187}, + doi = {10.1007/BF01582220} +} + +@article{Nielsen2013, + author = {Nielsen, Frank}, + title = {An Information-Geometric Characterization of {C}hernoff Information}, + journal = {IEEE Signal Processing Letters}, + year = {2013}, + volume = {20}, + number = {3}, + pages = {269--272}, + doi = {10.1109/LSP.2013.2243726} +} + +@article{CsiszarTusnady1984, + author = {Csisz{\'a}r, Imre and Tusn{\'a}dy, G{\'a}bor}, + title = {Information Geometry and Alternating Minimization Procedures}, + journal = {Statistics and Decisions}, + year = {1984}, + volume = {Supplement Issue 1}, + pages = {205--237} +} + +@article{Amari2001, + author = {Amari, Shun-ichi}, + title = {Information Geometry on Hierarchy of Probability Distributions}, + journal = {IEEE Transactions on Information Theory}, + year = {2001}, + volume = {47}, + number = {5}, + pages = {1701--1711}, + doi = {10.1109/18.930911} +} + +@article{KitamuraStutzer1997, + author = {Kitamura, Yuichi and Stutzer, Michael}, + title = {An Information-Theoretic Alternative to Generalized Method of Moments Estimation}, + journal = {Econometrica}, + year = {1997}, + volume = {65}, + number = {4}, + pages = {861--874}, + doi = {10.2307/2171942} +} + +@article{Owen1988, + author = {Owen, Art B.}, + title = {Empirical Likelihood Ratio Confidence Intervals for a Single Functional}, + journal = {Biometrika}, + year = {1988}, + volume = {75}, + number = {2}, + pages = {237--249}, + doi = {10.1093/biomet/75.2.237} +} + +@article{LucasPrescott1974, + author = {Lucas, Robert E., Jr. and Prescott, Edward C.}, + title = {Equilibrium Search and Unemployment}, + journal = {Journal of Economic Theory}, + volume = {7}, + number = {2}, + pages = {188--209}, + year = {1974}, + doi = {10.1016/0022-0531(74)90106-9} +} + +@book{PhelpsEtAl1970, + author = {Phelps, Edmund S. and others}, + title = {Microeconomic Foundations of Employment and Inflation Theory}, + publisher = {Norton}, + address = {New York}, + year = {1970} +} + +@article{LucasNeutrality1972, + author = {Lucas, Robert E., Jr.}, + title = {Expectations and the Neutrality of Money}, + journal = {Journal of Economic Theory}, + year = {1972}, + volume = {4}, + number = {2}, + pages = {103--124} +} + +@article{BaleyLjungqvistSargent2023, + author = {Baley, Isaac and Ljungqvist, Lars and Sargent, Thomas J.}, + title = {Cross-Phenomenon Restrictions: Unemployment Effects of Layoff Costs + and Quit Turbulence}, + journal = {Review of Economic Dynamics}, + volume = {50}, + pages = {43--60}, + year = {2023}, + doi = {10.1016/j.red.2023.07.004} +} + +@incollection{AlvarezVeracierto1999, + author = {Alvarez, Fernando and Veracierto, Marcelo}, + title = {Labor-Market Policies in an Equilibrium Search Model}, + booktitle = {NBER Macroeconomics Annual 1999}, + editor = {Bernanke, Ben S. and Rotemberg, Julio J.}, + volume = {14}, + pages = {265--304}, + publisher = {MIT Press}, + address = {Cambridge, MA}, + year = {1999} +} + +@article{LjungqvistSargent1998, + author = {Ljungqvist, Lars and Sargent, Thomas J.}, + title = {The {European} Unemployment Dilemma}, + journal = {Journal of Political Economy}, + year = {1998}, + volume = {106}, + number = {3}, + pages = {514--550} +} + +@article{BaleyLjungqvistSargent2025, + author = {Baley, Isaac and Ljungqvist, Lars and Sargent, Thomas J.}, + title = {Returns to Labour Mobility}, + journal = {The Economic Journal}, + volume = {135}, + number = {666}, + pages = {430--454}, + year = {2025}, + doi = {10.1093/ej/ueae054} +} + +@article{AlvarezVeracierto2001, + author = {Alvarez, Fernando and Veracierto, Marcelo}, + title = {Severance Payments in an Economy with Frictions}, + journal = {Journal of Monetary Economics}, + volume = {47}, + number = {3}, + pages = {477--498}, + year = {2001}, + doi = {10.1016/S0304-3932(01)00058-7} +} + +@article{Wu1973, + author = {Wu, De-Min}, + title = {Alternative Tests of Independence between Stochastic Regressors and Disturbances}, + journal = {Econometrica}, + volume = {41}, + number = {4}, + pages = {733--750}, + year = {1973} +} + +@article{Hausman1978, + author = {Hausman, Jerry A.}, + title = {Specification Tests in Econometrics}, + journal = {Econometrica}, + volume = {46}, + number = {6}, + pages = {1251--1271}, + year = {1978} +} + +@article{HausmanMcFadden1984, + author = {Hausman, Jerry and McFadden, Daniel}, + title = {Specification Tests for the Multinomial Logit Model}, + journal = {Econometrica}, + volume = {52}, + number = {5}, + pages = {1219--1240}, + year = {1984} +} + +@article{LjungqvistSargent2008, + author = {Ljungqvist, Lars and Sargent, Thomas J.}, + title = {Two Questions about European Unemployment}, + journal = {Econometrica}, + volume = {76}, + number = {1}, + pages = {1--29}, + year = {2008} +} + +@article{GottschalkMoffitt1994, + author = {Gottschalk, Peter and Moffitt, Robert}, + title = {The Growth of Earnings Instability in the {U.S.} Labor Market}, + journal = {Brookings Papers on Economic Activity}, + volume = {1994}, + number = {2}, + pages = {217--272}, + year = {1994} +} + +@article{MoffittGottschalk2011, + author = {Moffitt, Robert A. and Gottschalk, Peter}, + title = {Trends in the Covariance Structure of Earnings in the {U.S.}: 1969--1987}, + journal = {Journal of Economic Inequality}, + volume = {9}, + pages = {439--459}, + year = {2011} +} + +@article{JacobsonLaLondeSullivan1993, + author = {Jacobson, Louis S. and LaLonde, Robert J. and Sullivan, Daniel G.}, + title = {Earnings Losses of Displaced Workers}, + journal = {American Economic Review}, + volume = {83}, + number = {4}, + pages = {685--709}, + year = {1993} +}