LogSumExp - LogSumExp

LogSumExp (aynı zamanda (LSE) RealSoftMax veya çok değişkenli SOFTPLUS ) fonksiyonu a, düz maksimum bir - düz yaklaşım için maksimum işlevi, esas olarak kullanılan makine öğrenme algoritmaları. Argümanların üstellerinin toplamının logaritması olarak tanımlanır :

${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=\log \left(\exp(x_{1})+\cdots +\exp(x_{n})\right ).}$

Özellikler

LogSumExp işlev alanı olan , gerçek alan koordinat ve onun değer kümesi olup , gerçek bir çizgi . Aşağıdaki sınırlarla maksimuma bir yaklaşımdır${\displaystyle \mathbb {R} ^{n}}$${\displaystyle \mathbb {R} }$${\displaystyle \max _{i}x_{i}}$

${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}\leq \mathrm {LSE} (x_{1},\dots ,x_{n})\leq \max {\ {x_{1},\dots ,x_{n}\}}+\log(n).}$

İlk eşitsizlik katı olmadıkça katıdır . Tüm argümanlar eşit olmadığı sürece ikinci eşitsizlik katıdır. (Kanıt: Let . O zaman . Logaritmayı eşitsizliğe uygulamak sonucu verir.) ${\görüntüleme stili n=1}$${\displaystyle m=\max _{i}x_{i}}$${\displaystyle \exp(m)\leq \sum _{i=1}^{n}\exp(x_{i})\leq n\exp(m)}$

Ek olarak, sınırları daha sıkı hale getirmek için işlevi ölçekleyebiliriz. Fonksiyonu düşünün . Sonra ${\displaystyle {\frac {1}{t}}\mathrm {LSE} (tx)}$

${\displaystyle \max {\{x_{1},\dots ,x_{n}\}}<{\frac {1}{t}}\mathrm {LSE} (tx)\leq \max {\{x_ {1},\dots ,x_{n}\}}+{\frac {\log(n)}{t}}.}$

(Kanıt: Her değiştirin ile bazıları için yukarıdaki eşitsizlikler, vermek ${\displaystyle x_{i}}$${\displaystyle tx_{i}}$${\görüntüleme stili t>0}$

${\displaystyle \max {\{tx_{1},\dots ,tx_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq \max {\{ tx_{1},\dots ,tx_{n}\}}+\log(n).}$

dan beri ${\görüntüleme stili t>0}$

${\displaystyle t\max {\{x_{1},\dots ,x_{n}\}}<\mathrm {LSE} (tx_{1},\dots ,tx_{n})\leq t\max { \{x_{1},\dots ,x_{n}\}}+\log(n).}$

son olarak, bölme sonucu verir.) ${\görüntüleme stili t}$

Ayrıca, bunun yerine negatif bir sayı ile çarparsak, elbette fonksiyonla bir karşılaştırma buluruz : ${\görüntüleme stili \dak }$

${\displaystyle \min {\{x_{1},\dots ,x_{n}\}}-{\frac {\log(n)}{t}}\leq {\frac {1}{-t} }\mathrm {LSE} (-tx)<\min {\{x_{1},\dots ,x_{n}\}}.}$

LogSumExp işlevi dışbükeydir ve etki alanında her yerde kesin olarak artar (ancak her yerde kesinlikle dışbükey değildir).

Yazma kısmi türev bulunmaktadır: ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}),}$

${\displaystyle {\frac {\partial }{\partial x_{i}}}{\mathrm {LSE} (\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{ j}\exp {x_{j}}}},}$

bu , LogSumExp'in gradyanının softmax işlevi olduğu anlamına gelir .

Dışbükey konjugat LogSumExp ait negatif entropi .

log-domain hesaplamaları için log-sum-exp hilesi

LSE işlevi, genellikle , log olasılığında olduğu gibi , olağan aritmetik hesaplamalar logaritmik bir ölçekte gerçekleştirildiğinde karşılaşılır .

Doğrusal ölçekte çarpma işlemlerinin log ölçeğinde basit eklemelere dönüşmesine benzer şekilde, doğrusal ölçekte bir toplama işlemi log ölçeğinde LSE olur:

${\displaystyle \mathrm {LSE} (\log(x_{1}),...,\log(x_{n}))=\log(x_{1}+\dots +x_{n})}$

Günlük etki alanı hesaplamalarını kullanmanın yaygın bir amacı, çok küçük veya çok büyük sayılar doğrudan sınırlı kesinlikli kayan nokta sayıları kullanılarak (yani doğrusal bir alanda) temsil edildiğinde doğruluğu artırmak ve taşma ve taşma sorunlarından kaçınmaktır.

Ne yazık ki, LSE'nin bu durumda doğrudan kullanılması yine taşma/yetersiz akış sorunlarına neden olabilir. Bu nedenle, bunun yerine aşağıdaki eşdeğer kullanılmalıdır (özellikle yukarıdaki 'maks' yaklaşımının doğruluğu yeterli olmadığında). Bu nedenle, IT++ gibi birçok matematik kitaplığı varsayılan bir LSE rutini sağlar ve bu formülü dahili olarak kullanır.

${\displaystyle \mathrm {LSE} (x_{1},\dots ,x_{n})=x^{*}+\log \left(\exp(x_{1}-x^{*})+\ cdots +\exp(x_{n}-x^{*})\sağ)}$

nerede ${\displaystyle x^{*}=\max {\{x_{1},\dots ,x_{n}\}}}$

Kesinlikle dışbükey bir log-sum-exp tipi işlev

LSE dışbükeydir ancak kesinlikle dışbükey değildir. Sıfıra fazladan bir argüman seti ekleyerek kesinlikle dışbükey log-sum-exp tipi bir fonksiyon tanımlayabiliriz:

${\displaystyle \mathrm {LSE} _{0}^{+}(x_{1},...,x_{n})=\mathrm {LSE} (0,x_{1},...,x_ {n})}$

Bu işlev, uygun bir Bregman üretecidir (kesinlikle dışbükey ve türevlenebilir ). Örneğin, çok terimli/binom ailesinin kümülatı olarak makine öğreniminde karşılaşılır.

Gelen tropikal analizde , bu toplamıdır günlük semiring .

Ayrıca bakınız

• logaritmik ortalama
• Günlük semiring
• Pürüzsüz maksimum
• Softmax işlevi

Referanslar