Skip to content

Instantly share code, notes, and snippets.

@tomonari-masada
Last active March 20, 2026 04:47
Show Gist options
  • Select an option

  • Save tomonari-masada/88e9652c4177ee0e23a2bfa68a6e14b7 to your computer and use it in GitHub Desktop.

Select an option

Save tomonari-masada/88e9652c4177ee0e23a2bfa68a6e14b7 to your computer and use it in GitHub Desktop.
論文メモ: AI, Human Cognition and Knowledge CollapseのLemma 2の分岐条件の導出

Lemma 2の分岐条件の導出 (Claude.aiと相談しながら得た導出)

目標: $X \to 0$ の近傍で $F(X) \gtrless X$ のどちらが成り立つかを判定し、ゼロ固定点の局所安定性を決める分岐条件を導く。


準備:登場する関数の定義

$$G(X) := 2\Phi(\sqrt{X}) - 1, \quad g(Y) := G'(Y) = \frac{\phi(\sqrt{Y})}{\sqrt{Y}}$$

$$F(X) := \left[\Sigma^2 + \left(X + \lambda_G I \cdot e(X, \tau_A)\right)^{-1}\right]^{-1}$$

均衡努力 $e(X, \tau_A)$ は一階条件(論文のSection 3.5):

$$\Delta_X \cdot G(X) \cdot \lambda_I \cdot g(\sigma^{-2} + \lambda_I e + \tau_A) = e^{\alpha-1}$$

の唯一の解です。この一階条件を、以下では(FOC)と参照することにします。


Step 1: $X \to 0$ で $e \to 0$ の確認

$g(\cdot)$ は正の値を持ち、かつ単調減少な関数です(精度が上がるほど追加情報の価値は逓減するため)。したがって:

$$g(\sigma^{-2} + \lambda_I e + \tau_A) \leq g(\sigma^{-2} + \tau_A) =: c_{\max} < \infty$$

これを(FOC)に代入すると:

$$e^{\alpha-1} \leq \Delta_X \cdot \lambda_I \cdot c_{\max} \cdot G(X)$$

$X \to 0$ で右辺 $\to 0$ なので、 $e^{\alpha-1} \to 0$ 、したがって $e \to 0$。

$$\boxed{X \to 0 \implies e \to 0}$$


Step 2: $G(X)$ のテイラー展開

$G(X) = 2\Phi(\sqrt{X}) - 1$ を $\sqrt{X} \to 0$ で展開します。

論文の $G(X)$ 定義(Section 3.3)に戻ると:

$$G(\tau) := \Pr(|Z| \leq 1) = 2\Phi(\sqrt{\tau}) - 1, \quad Z \sim N(0, \tau^{-1})$$

ここで $\Phi$ は標準正規分布の累積分布関数です。 $X \to 0$ での挙動を求めたいので、 $\sqrt{X} \to 0$ の極限を考えます。

そこで、 $\Phi(u)$ を $u = 0$ の周りで展開します。

$$\Phi(u) = \frac{1}{2} + \frac{1}{\sqrt{2\pi}} u - \frac{1}{6\sqrt{2\pi}} u^3 + \cdots$$

これは $\Phi'(u) = \phi(u) = \frac{1}{\sqrt{2\pi}}e^{-u^2/2}$ を積分した結果で、 $u=0$ で $\phi(0) = \frac{1}{\sqrt{2\pi}}$ であることから来ています。

次に、 $G(X) = 2\Phi(\sqrt{X}) - 1$ に代入します。

$$G(X) = 2\Phi(\sqrt{X}) - 1 = 2\left(\frac{1}{2} + \frac{1}{\sqrt{2\pi}}\sqrt{X} + O(X^{3/2})\right) - 1$$

$$= \frac{2}{\sqrt{2\pi}}\sqrt{X} + O(X^{3/2})$$

$$= \sqrt{\frac{2}{\pi}} \cdot X^{1/2} + O(X^{3/2})$$

したがって $X \to 0$ で:

$$\boxed{G(X) = \Theta(X^{1/2})}$$

$G(X)$ の直感的な意味は「精度 $X$ の正規分布が区間 $[-1, 1]$ に収まる確率」です。

  • $X$ が大きい(精度が高い)→ 分布が鋭く尖っている → $[-1,1]$ に収まりやすい → $G(X) \to 1$
  • $X$ が小さい(精度が低い)→ 分布が広がっている → $[-1,1]$ に収まりにくい → $G(X) \to 0$

$X \to 0$ の近傍では、分布の裾が $[-1,1]$ にかかる確率が $\sqrt{X}$ に比例して増えていく、というのがこの展開の意味です。

なぜ $X^1$ ではなく $X^{1/2}$ なのかが少し非自明ですが、 $G(X)$ を $X$ で直接テイラー展開しようとすると:

$$G'(X) = g(X) = \frac{\phi(\sqrt{X})}{\sqrt{X}}$$

$X \to 0$ で $\phi(\sqrt{X}) \to \phi(0) = \frac{1}{\sqrt{2\pi}}$ ですが、 $\frac{1}{\sqrt{X}} \to \infty$ なので $G'(0)$ は発散します。つまり $G(X)$ は $X=0$ で微分不可能であり、通常の意味でのテイラー展開( $X$ の整数べき)は存在しません。代わりに $\sqrt{X}$ を変数として展開することで、 $X^{1/2}$ という非整数べきが自然に現れます。これは正規分布の確率密度が $u=0$ で正の値を持つことの直接的な帰結です。


Step 3:均衡努力のオーダーの決定

Step 1より $e \to 0$ が確認できたので、(FOC) の $g(\cdot)$ の引数は:

$$\sigma^{-2} + \lambda_I e + \tau_A \to \sigma^{-2} + \tau_A$$

したがって $g(\cdot) \to g(\sigma^{-2} + \tau_A) =: c_0 &gt; 0$(有限の正定数)。

Step 2の結果を使うと (FOC) は $X \to 0$ で:

$$\underbrace{\Delta_X \cdot \lambda_I \cdot c_0}_{=: C > 0} \cdot X^{1/2} \approx e^{\alpha - 1}$$

$e$ について解くと:

$$e(X, \tau_A) = \Theta\left(X^{\frac{1}{2(\alpha-1)}}\right)$$

指数を $\beta := \dfrac{1}{2(\alpha-1)}$ と置きます。


Step 4: $F(X) \gtrless X$ の判定

$F(X)$ を展開します:

$$F(X) = (X + \lambda_G I e)\left(1 - \Sigma^2(X + \lambda_G I e) + \cdots\right)$$

$$= (X + \lambda_G I e) - \Sigma^2(X + \lambda_G I e)^2 + \cdots$$

したがって:

$$F(X) - X = \underbrace{\lambda_G I \cdot e}_{\Theta(X^\beta)} - \underbrace{\Sigma^2(X + \lambda_G I e)^2}_{\Theta(X^{2\min(1,\beta)})} + \cdots$$

$X \to 0$ での主要項は第1項と第2項の競合で決まります。

第1項のオーダー: $\Theta(X^\beta)$

第2項のオーダー: $e = \Theta(X^\beta)$ と $X = \Theta(X^1)$ のうち小さい方が $(X + \lambda_G I e)$ を支配するので、 $\Theta(X^{2\min(1,\beta)})$

競合の結果:

  • $\beta &lt; 2\beta$(常に成立)かつ $\beta &lt; 1$ のとき:第1項が支配 → $F(X) - X &gt; 0$
  • $\beta &gt; 1$ かつ $\beta &lt; 2$(つまり $1 &lt; \beta &lt; 2$)のとき:第1項が支配 → $F(X) - X &gt; 0$
  • $\beta &gt; 2$ のとき:第1項 $\Theta(X^\beta)$ は第2項 $\Theta(X^2)$ より速くゼロへ → 第2項が支配 → $F(X) - X &lt; 0$

$\beta &lt; 1$ と $1 &lt; \beta &lt; 2$ は、いずれも第1項が支配的なので、まとめることができて、分岐点は $\beta = 2$:

$$\frac{1}{2(\alpha-1)} = 2 \implies \boxed{\alpha - 1 = \frac{1}{4}}$$


Step 5:局所安定性の結論

条件 $\beta$ $F(X) - X$ の符号 ゼロの安定性
$\alpha - 1 &gt; \frac{1}{4}$ $\beta &lt; 2$ $&gt; 0$ 不安定(知識崩壊は起きない)
$\alpha - 1 &lt; \frac{1}{4}$ $\beta &gt; 2$ $&lt; 0$ 安定(知識崩壊の罠が生まれる)

分岐条件の構造的な意味

分岐点 $\alpha - 1 = \frac{1}{4}$ は、二つの力が釣り合う点です。

$$\underbrace{\frac{1}{2(\alpha-1)}}_{\text{均衡努力の減衰速度}} = \underbrace{2}_{\text{知識維持に必要な努力の減衰速度}}$$

  • 左辺は $G(X) \sim X^{1/2}$(正規分布の裾の形)とコスト関数の曲率 $\alpha$ から来ます
  • 右辺はカルマン更新の非線形性から来ます

この二つが偶然ではなく、モデルの構造(正規分布+カルマンフィルタ+べき乗コスト)から必然的に生まれる組み合わせです。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment