Kanonik korelasyon - Canonical correlation

Bir serinin parçası
Makine öğrenimi ve veri madenciliği
sorunlar sınıflandırma kümeleme regresyon Anomali tespiti AutoML Birliktelik kuralları pekiştirmeli öğrenme Yapılandırılmış tahmin Özellik mühendisliği Özellik öğrenme Çevrimiçi öğrenme Yarı denetimli öğrenme denetimsiz öğrenme Sıralamayı öğrenmek gramer indüksiyon
Denetimli öğrenme ( sınıflandırma  • regresyon ) Karar ağaçları Topluluklar Torbalama Artırma rastgele orman k -NN Doğrusal regresyon Naif bayanlar Yapay sinir ağları Lojistik regresyon Algılayıcı Uygunluk vektör makinesi (RVM) Destek vektör makinesi (SVM)
kümeleme HUSUS ÇARE Hiyerarşik k -anlamına gelir Beklenti-maksimizasyon (EM) DBSCAN OPTİK ortalama kayma
Boyutsal küçülme Faktor analizi CCA ICA LDA NMF PCA PGD t-SNE
Yapılandırılmış tahmin Grafik modeller Bayes ağı koşullu rastgele alan Gizli Markov
Anomali tespiti k -NN Yerel aykırı değer faktörü
Yapay sinir ağı otomatik kodlayıcı bilişsel bilgi işlem Derin öğrenme DeepDream çok katmanlı algılayıcı RNN LSTM GRU ESN Kısıtlı Boltzmann makinesi GAN SOM Evrişimli sinir ağı U-Net trafo Artan sinir ağı Memtransistör Elektrokimyasal RAM (ECRAM)
pekiştirmeli öğrenme Q-öğrenme SARSA Zamansal fark (TD)
teori Önyargı-varyans değiş tokuşu hesaplamalı öğrenme teorisi Ampirik risk minimizasyonu Occam öğrenme PAC öğrenimi istatistiksel öğrenme VC teorisi
Makine öğrenimi mekanları NeurIPS ICML makine öğrenimi JMLR ArXiv:cs.LG
İlgili Makaleler yapay zeka sözlüğü Makine öğrenimi araştırması için veri kümelerinin listesi Makine öğreniminin ana hatları
v T e

Gelen istatistik , kanonik korelasyon analizi ( CCA da denir), kanonik analiz dağılımı özellikleri , bilgi çıkarım bir yoludur çapraz kovaryans matrisleri . İki vektörleri ise X  = ( X ₁ , ...,  x _{, n} ) ve Y  = ( E ₁ , ...,  Y, _m ) ve rastgele değişkenler ve orada korelasyonlar değişkenler arasında, daha sonra standart-korelasyon analizi olacak X ve Y'nin birbirleriyle maksimum korelasyona sahip lineer kombinasyonlarını bulun . TR Knapp, "hemen hemen tüm yaygın olarak karşılaşılan parametrik önem testlerinin , iki değişken kümesi arasındaki ilişkileri araştırmak için genel prosedür olan kanonik korelasyon analizinin özel durumları olarak ele alınabileceğini" belirtiyor. Yöntem ilk olarak 1936'da Harold Hotelling tarafından tanıtıldı , ancak daireler arasındaki açılar bağlamında matematiksel kavram 1875'te Jordan tarafından yayınlandı.

Tanım

İki verilen sütun vektörlerinin ve bir rastgele değişken ile sonlu ikinci anlar , tek bir tanımlayabilir çapraz kovaryans için matris olan giriştir kovaryans . Pratikte, kovaryans matrisini ve (yani bir çift veri matrisinden) örneklenmiş verilere dayanarak tahmin ederiz . ${\displaystyle X=(x_{1},\dots ,x_{n})'}$${\displaystyle Y=(y_{1},\dots ,y_{m})'}$ ${\displaystyle \Sigma _{XY}=\operatöradı {cov} (X,Y)}$${\görüntüleme stili n\ kere m}$ ${\görüntüleme stili (i,j)}$ ${\displaystyle \operatör adı {cov} (x_{i},y_{j})}$${\görüntüleme stili X}$${\görüntüleme stili Y}$

Kanonik korelasyon analizi, ( ) ve ( ) vektörlerini , rastgele değişkenleri ve korelasyonu maksimize edecek şekilde arar . Rastgele değişkenler ve vardır kanonik değişkenlerin birinci çift . Daha sonra, birinci kanonik değişken çifti ile ilişkisiz olmaları kısıtlamasına tabi olarak aynı korelasyonu maksimize eden vektörler aranır; bu, ikinci kurallı değişken çiftini verir . Bu prosedür defalarca devam ettirilebilir . ${\görüntüleme stili bir}$${\displaystyle a\in \mathbb {R} ^{n}}$${\görüntüleme stili b}$${\displaystyle b\in \mathbb {R} ^{m}}$${\görüntüleme stili a^{T}X}$${\görüntüleme stili b^{T}Y}$ ${\displaystyle \rho =\operatöradı {düzeltmesi} (a^{T}X,b^{T}Y)}$${\ Displaystyle U=a^{T}X}$${\görüntüleme stili V=b^{T}Y}$${\displaystyle \dk\{m,n\}}$

$${\displaystyle (a',b')={\underset {a,b}{\operatöradı {argmax} }}\operatöradı {corr} (a^{T}X,b^{T}Y)}$$

Hesaplama

türetme

Let olmak çapraz kovaryans matrisi herhangi bir rasgele değişkenler için ve . Maksimize edilecek hedef fonksiyon ${\displaystyle \Sigma _{UV}}$${\görüntüleme stili U}$${\görüntüleme stili V}$

${\displaystyle \rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T }\Sigma _{YY}b}}}}.}$

İlk adım, bir temel değişikliği tanımlamak ve

${\displaystyle c=\Sigma _{XX}^{1/2}a,}$

${\displaystyle d=\Sigma _{YY}^{1/2}b.}$

Ve böylece biz varız

${\displaystyle \rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.}$

By Cauchy-Schwarz eşitsizliği , elimizdeki

${\displaystyle \sol(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\sağ)(d)\ leq \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\sağ)^{1/2}\sol(d^{T}d\sağ)^{1/2 },}$

${\displaystyle \rho \leq {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1})\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\sağ)^{1/2}}{\sol(c^{T}c\sağ)^{1/2}}} .}$

Vektörler ve doğrusal ise eşitlik vardır . Buna ek olarak, maksimum korelasyon halinde elde edilir olduğunu özvektör matrisi için maksimum özdeğer ile (bakınız , Rayleigh bölüm ). Sonraki çiftler, azalan büyüklüklerin özdeğerleri kullanılarak bulunur . Ortogonallik, korelasyon matrislerinin simetrisi ile garanti edilir. ${\görüntüleme stili d}$${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$${\görüntüleme stili c}$${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}}$

Bu hesaplama görüntüleme başka bir yolu olduğunu ve sol ve sağ olan tekil vektörler X ve Y en tekil değerine karşılık gelen bağıntı matrisinin. ${\görüntüleme stili c}$${\görüntüleme stili d}$

Çözüm

Çözüm bu nedenle:

• ${\görüntüleme stili c}$ bir özvektördür ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}}$
• ${\görüntüleme stili d}$ Orantılıdır ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c}$

Karşılıklı olarak da var:

• ${\görüntüleme stili d}$ bir özvektördür ${\displaystyle \Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}}$
• ${\görüntüleme stili c}$ Orantılıdır ${\displaystyle \Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}$

Koordinat değişimini tersine çevirdiğimizde,

• ${\görüntüleme stili bir}$özvektörüdür ,${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}}$
• ${\görüntüleme stili b}$ Orantılıdır ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}a;}$
• ${\görüntüleme stili b}$ bir özvektördür ${\displaystyle \Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},}$
• ${\görüntüleme stili bir}$ile orantılıdır .${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}b}$

Kanonik değişkenler şu şekilde tanımlanır:

${\displaystyle U=c'\Sigma _{XX}^{-1/2}X=a'X}$

${\displaystyle V=d'\Sigma _{YY}^{-1/2}Y=b'Y}$

uygulama

CCA, bir korelasyon matrisi üzerinde tekil değer ayrıştırması kullanılarak hesaplanabilir . içinde bir fonksiyon olarak mevcuttur.

• MATLAB olarak canoncorr ( aynı zamanda olarak Octave )
• Standart işlev olarak R cancor ve CCA ve vegan dahil olmak üzere diğer birçok paket . Kanonik korelasyon analizinde istatistiksel hipotez testi için CCP .
• Proc cancorr olarak SAS
• Python kütüphanesi içinde scikit-öğrenme olarak, Çapraz ayrışma ve statsmodels olarak, CanCorr .
• Ana yazılımla birlikte verilen makro CanCorr olarak SPSS
• Julia (programlama dili) içinde MultivariateStats.jl paketinde.

Kullanılarak CCA hesaplama tekil değer ayrışımı korelasyon matriks üzerinde ilgilidir kosinüs ait daireler arasında açılar . Kosinüs fonksiyonu olan kötü durumdaki sonlu olarak yüksek korelasyon başlıca vektörler çok yanlış hesaplamasına yol açan küçük açılar için hassas bir bilgisayar aritmetik . Bu sorunu gidermek için alternatif algoritmalar şurada mevcuttur:

• Lineer cebir fonksiyonu olarak SciPy subspace_angles
• MATLAB , FileExchange işlevi alt alanı olarak

Hipotez testi

Her satır, aşağıdaki yöntemle anlamlılık açısından test edilebilir. Korelasyonlar sıralandığından, satırın sıfır olduğunu söylemek, diğer tüm korelasyonların da sıfır olduğu anlamına gelir. Bir örneklemde bağımsız gözlemlerimiz varsa ve bunun için tahmin edilen korelasyon ise . İçin inci sıranın, Test istatistiği: ${\görüntüleme stili ben}$${\görüntüleme stili p}$${\ Displaystyle {\widehat {\rho }}_{i}}$${\displaystyle i=1,\dots ,\min\{m,n\}}$${\görüntüleme stili ben}$

${\displaystyle \chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),}$

büyük için serbestlik dereceleri ile ki-kare olarak asimptotik olarak dağıtılır . Tüm korelasyonların yana üzere mantıksal olarak sıfıra (ve aynı zamanda yolu olduğu tahmin) Bu noktadan sonra terimler için ürün önemsizdir. ${\ Displaystyle (m-i+1)(n-i+1)}$ ${\görüntüleme stili p}$${\displaystyle \dk\{m,n\}}$${\görüntüleme stili p}$

O zaman ile küçük örneklem boyutu limitinde , üst korelasyonların aynı şekilde 1 olacağının garanti edildiğini ve dolayısıyla testin anlamsız olduğunu unutmayın. ${\görüntüleme stili p<n+m}$${\displaystyle m+np}$

pratik kullanımlar

Kanonik bağıntının deneysel bağlamda tipik bir kullanımı, iki değişken kümesi almak ve iki küme arasında neyin ortak olduğunu görmektir. Örneğin, psikolojik testlerde, Minnesota Çok Yönlü Kişilik Envanteri (MMPI-2) ve NEO gibi iyi kurulmuş iki çok boyutlu kişilik testi yapılabilir . MMPI-2 faktörlerinin NEO faktörleriyle nasıl ilişkili olduğunu görerek, testler arasında hangi boyutların ortak olduğu ve ne kadar varyansın paylaşıldığı hakkında fikir sahibi olunabilir. Örneğin, bir dışadönüklük veya nevrotiklik boyutunun, iki test arasında önemli miktarda paylaşılan varyanstan sorumlu olduğu bulunabilir.

Kanonik korelasyon analizi, örneğin bir dizi performans ölçüsü ve bir dizi açıklayıcı değişken veya bir dizi çıktı ve girdi seti gibi iki değişken grubunu ilişkilendiren bir model denklemi üretmek için de kullanılabilir. Teorik gereksinimleri veya sezgisel olarak açık koşulları yansıtmasını sağlamak için böyle bir modele kısıtlama kısıtlamaları getirilebilir. Bu tür bir model, maksimum korelasyon modeli olarak bilinir.

Kanonik korelasyon sonuçlarının görselleştirilmesi, genellikle, önemli korelasyon gösteren kanonik değişken çiftleri için iki değişken kümesinin katsayılarının çubuk grafikleri aracılığıyla yapılır. Bazı yazarlar, bunların en iyi şekilde, her bir yarının iki değişken grubunu temsil ettiği, ışın benzeri çubuklara sahip dairesel bir format olan heliograflar olarak çizilerek görselleştirilebileceğini öne sürüyorlar.

Örnekler

Let sıfır ile beklenen değer , yani . Eğer , yani ve mükemmel bir şekilde bağıntılıysa, o zaman örn. ve , böylece ilk (ve yalnızca bu örnekte) kurallı değişken çifti ve olur . Eğer , ie ve mükemmel bir şekilde korelasyonluysa, o zaman örn. ve , böylece ilk (ve yalnızca bu örnekte) kurallı değişken çifti and olur . Her iki durumda da , kanonik korelasyon analizinin korelasyonlu ve antikorelasyonlu değişkenleri benzer şekilde ele aldığını gösterir. ${\görüntüleme stili X=x_{1}}$${\displaystyle \operatöradı {E} (X)=0}$${\görüntüleme stili Y=X}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili a=1}$${\görüntüleme stili b=1}$${\görüntüleme stili U=X}$${\görüntüleme stili V=Y=X}$${\görüntüleme stili Y=-X}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\görüntüleme stili a=1}$${\görüntüleme stili b=-1}$${\görüntüleme stili U=X}$${\görüntüleme stili V=-Y=X}$${\görüntüleme stili U=V}$

Asal açılara bağlantı

Varsayılarak ve sıfır olması beklenen değerler , yani , bunların kovaryans matrisi ve şekilde izlenebilir gram matrisleri bir in iç çarpım ait girişler için ve buna uygun olarak,. Bu yorumlama, rasgele değişkenler, girişler arasında ve içinde verilen bir iç ürün ile bir vektör alan elemanlar olarak kabul edilir kovaryans ; bkz. Kovaryans#İç çarpımlarla ilişki . ${\displaystyle X=(x_{1},\dots ,x_{n})'}$${\displaystyle Y=(y_{1},\dots ,y_{m})'}$${\displaystyle \operatöradı {E} (X)=\operatöradı {E} (Y)=0}$${\displaystyle \Sigma _{XX}=\operatöradı {Cov} (X,X)=\operatöradı {E} [XX']}$${\displaystyle \Sigma _{YY}=\operatöradı {Cov} (Y,Y)=\operatöradı {E} [YY']}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle x_{i}}$${\görüntüleme stili X}$${\görüntüleme stili y_{j}}$${\görüntüleme stili Y}$ ${\displaystyle \operatör adı {cov} (x_{i},y_{j})}$

Kanonik değişkenlerin tanımı ve daha sonra bu iç çarpım ve girişleri tarafından yayılan alt uzay çifti için ana vektörlerin tanımına eşdeğerdir . Kanonik korelasyonlar eşittir kosinüs ve ana açıları . ${\görüntüleme stili U}$${\görüntüleme stili V}$${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle \operatöradı {düzeltme} (U,V)}$

Beyazlatma ve olasılıksal kanonik korelasyon analizi

CCA da özel olarak görülebilir beyazlatma dönüşümü burada rasgele vektörler ve eş zamanlı olarak beyazlatılmış vektörleri arasındaki çapraz korelasyon bu şekilde transforme edilir ve köşegendir. Kanonik korelasyonlar sonra regresyon katsayısı bağlama olarak yorumlanır ve hem de negatif olabilir. CCA'nın regresyon görünümü ayrıca, paylaşılan ve paylaşılmayan değişkenliği temsil eden ilişkisiz gizli değişkenler ile CCA için bir gizli değişken olasılıklı üretici model oluşturmanın bir yolunu sağlar. ${\görüntüleme stili X}$${\görüntüleme stili Y}$${\displaystyle X^{CCA}}$${\ Displaystyle Y^{CCA}}$${\displaystyle X^{CCA}}$${\ Displaystyle Y^{CCA}}$

Ayrıca bakınız

• Genelleştirilmiş kanonik korelasyon
• Çokdoğrusal altuzay öğrenimi
• RV katsayısı
• Daireler arasındaki açılar
• Temel bileşenler Analizi
• Doğrusal diskriminant analizi
• Düzenli kanonik korelasyon analizi
• Tekil değer ayrışımı
• Kısmi en küçük kareler regresyonu

Referanslar

Dış bağlantılar

• Diskriminant Korelasyon Analizi (DCA) ( MATLAB )
• Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). "Kanonik Korelasyon Analizi: Öğrenme Yöntemlerine Uygulamaya Genel Bir Bakış". Sinirsel Hesaplama . 16 (12): 2639–2664. CiteSeerX  10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID  15516276 .
• İki sıralama puanı setinin sıralı kanonik korelasyon analizi hakkında bir not (Ayrıca bir FORTRAN programı sağlar)- Journal of Quantitative Economics 7(2), 2009, s. 173-199
• Temsil-Sınırlı Kanonik Korelasyon Analizi: Kanonik Korelasyon ve Temel Bileşen Analizlerinin Hibridizasyonu (Ayrıca bir FORTRAN programı sağlar)- Journal of Applied Economic Sciences 4(1), 2009, s. 115–124