定義

$e_{i}\in\mathbb R^d$ を $i$ 番目の基本ベクトルとする。

$\Delta_{d}$ を $d$ 次元確率単体とする。つまり

$$\Delta_{d} = \left\{ s \in\mathbb{R}^d \middle| \sum_{i=1}^d s_{i} = 1, \: \text{任意の $i$ で} s_{i}\ge 0 \right\}.$$

逆温度 $\lambda>0$ の softmax $\sigma_{\lambda}:\mathbb{R}^d\to\Delta_d$ を以下のように定義する

$$\sigma_{\lambda}(\mathbf x) = \frac{1}{\sum\limits_{i=1}^d\exp(\lambda x_i)} \begin{bmatrix} \exp(\lambda x_1) \\ \dots \\ \exp(\lambda x_d) \end{bmatrix}.$$

命題

任意の $1\le p,q\le\infty$ と $\sigma_{\lambda}$ について以下が成り立つ

$$\|\sigma_{\lambda}(x)-\sigma_{\lambda}(y)\|_{p} \le L_{p,q}\|x-y\|_{q}$$

ここで

$$L_{p,q} = \lambda 2^{-1 + \frac{1}{p} - \frac{1}{q}}$$

証明

$s=\sigma_{\lambda}(z)$ とするとヤコビ行列は以下のように書ける

$$J(z) = \nabla \sigma_{\lambda}(z) = \lambda(\mathrm{diag}(s)- ss^T).$$

平均値不等式より

$$\|\sigma_{\lambda}(x)-\sigma_{\lambda}(y)\|_{p} \le \left( \sup_{z} \sup_{\|u\|_{q}= 1} \|J(z) u\|_{p} \right) \|x-y\|_{q}.$$

したがって $\sup_{z}\|J(z)\|_{q\to p}$ を評価すれば十分である。

まず，標準基底 $\{e_i\}_{i=1}^d$ に対して恒等式 $\mathrm{diag}(s)-ss^T = \sum_{i<j}s_{i}s_{j}(e_{i}-e_{j})(e_{i}-e_{j})^T$ が成り立つから任意の $u\in\mathbb{R}^d$ で

$$J(z)u = \lambda \sum_{i<j} s_{i}s_{j}(u_{i}-u_{j})(e_{i}-e_{j}).$$

三角不等式と $\|e_i-e_j\|_{p}=2^{1/p}$（$i\neq j$）より

$$\begin{align*} \|J(z)u\|_{p} &\le \lambda \sum_{i<j} s_{i}s_{j} |u_{i}-u_{j}| \|e_{i}-e_{j}\|_{p} \\ &= \lambda 2^{1/p} \sum_{i<j} s_{i}s_{j} |u_{i}-u_{j}| \end{align*}$$

ここで $s=\sigma_\lambda(z)$ は単体の内点を走る。関数 $s\mapsto\sum_{i<j}s_is_j|u_i-u_j|$ は連続なので， 境界を含む閉単体 $\Delta_d$ 上の上限と一致する。 したがって

$$\begin{align*} \sup_{z} \sup_{\|u\|_{q}= 1} \|J(z) u\|_{p} &= \sup_{\|u\|_{q}=1} \sup_{z} \|J(z)u\|_{p} \\ &= \lambda 2^{1/p} \sup_{\|u\|_{q}=1} \sup_{s \in\Delta_{d}} \sum_{i<j} s_{i}s_{j}|u_{i}-u_{j}|. \end{align*}$$

$i_{min}=\argmin_{i}u_{i}, \: i_{max}=\argmax_{i}u_{i}$ とする。右辺について $s$ を $i_{min},i_{max}$ に集中させる場合が最も大きくなるから

$$\sup_{s \in \Delta_{d}} \sum_{i<j} s_{i}s_{j}|u_{i}-u_{j}| = |u_{i_{max}}-u_{i_{min}} | \max_{S \in[0,1]} S(1-S) = |u_{i_{max}}-u_{i_{min}} | /4.$$

等号成立条件は $s_{i_{min}}=s_{i_{max}}=\frac{1}{2}$。 次に、任意の実数 $a,b$ について $|a-b|^q \le 2^{q-1} (|a|^q + |b|^q)$ が成り立つから $a=u_{i_{max}},b=u_{j_{min}}$ に適用することで以下が成り立つ：

$$|u_{i_{max}}-u_{i_{min}}| \le 2^{1-1/q} (|u_{i_{max}}|^q + |u_{i_{min}}|^q)^{1/q} \le 2^{1-1/q}$$

等号成立条件は $u_{i_{max}}=2^{-1/q}, u_{i_{min}}=-2^{-1/q}$ 。 以上をまとめると

$$\sup_{z} \sup_{\|u\|_{q}= 1} \|J(z) u\|_{p} \le \lambda 2^{1/p} \cdot \frac{1}{4} \cdot 2^{1-1/q} = \lambda 2^{-1+1/p-1/q} =: L_{p,q}.$$

$\square$

具体例

• $(2,2)$ のとき $L_{2,2} = \lambda/2$
• $(1,1)$ のとき $L_{1,1} = \lambda/2$
• $(1,\infty)$ のとき $L_{1,\infty} = \lambda$

References

---