Optik akış - Optical flow

Dönen bir gözlemcinin yaşadığı optik akış (bu durumda bir sinek). Her konumdaki optik akışın yönü ve büyüklüğü, her bir okun yönü ve uzunluğu ile temsil edilir.

Optik akış veya optik akış , bir gözlemci ile bir sahne arasındaki göreli hareketin neden olduğu görsel bir sahnedeki nesnelerin, yüzeylerin ve kenarların görünen hareketinin modelidir . Optik akış, bir görüntüdeki parlaklık deseninin görünür hareket hızlarının dağılımı olarak da tanımlanabilir. Optik akış kavramı , 1940'larda Amerikalı psikolog James J. Gibson tarafından dünyada hareket eden hayvanlara sağlanan görsel uyarıyı tanımlamak için tanıtıldı . Gibson , çevre içinde eylem olasılıklarını ayırt etme yeteneği olan satın alma algısı için optik akışın önemini vurguladı . Gibson'ın takipçileri ve onun psikolojiye ekolojik yaklaşımı , dünyadaki gözlemci tarafından hareketin algılanması için optik akış uyarıcısının rolünü daha da göstermiştir; dünyadaki nesnelerin şeklinin, mesafesinin ve hareketinin algılanması; ve hareket kontrolü.

Optik akış terimi aynı zamanda robotikçiler tarafından da kullanılır ve hareket algılama , nesne segmentasyonu , temas süresi bilgisi, genişleme hesaplamalarının odağı, parlaklık, hareket telafili kodlama ve stereo eşitsizlik ölçümü dahil olmak üzere görüntü işleme ve navigasyon kontrolünden ilgili teknikleri kapsar .

Tahmin

Sıralı görüntülerin dizileri, hareketin anlık görüntü hızları veya ayrık görüntü yer değiştirmeleri olarak tahmin edilmesini sağlar. Fleet ve Weiss, gradyan tabanlı optik akışa öğretici bir giriş sağlar. John L. Barron, David J. Fleet ve Steven Beauchemin, bir dizi optik akış tekniğinin performans analizini sağlar. Ölçümlerin doğruluğunu ve yoğunluğunu vurgular.

Optik akış yöntemleri, t zamanlarında ve her voksel konumunda alınan iki görüntü çerçevesi arasındaki hareketi hesaplamaya çalışır . Bu yöntemler , görüntü sinyalinin yerel Taylor serisi yaklaşımlarına dayandıkları için diferansiyel olarak adlandırılır ; yani, uzaysal ve zamansal koordinatlara göre kısmi türevler kullanırlar. ${\görüntüleme stili t+\Delta t}$

2B + için t boyutlu durumda (3D veya N -D durumlar benzerdir) konumda bir voksel yoğunluğuna sahip ile taşınmış olur , ve iki görüntü kareleri arasında ve aşağıdaki parlaklık sabitliği kısıtlama verilebilir: ${\görüntüleme stili (x,y,t)}$${\görüntüleme stili I(x,y,t)}$${\görüntüleme stili\Delta x}$${\görüntüleme stili\Delta y}$${\görüntüleme stili\Delta t}$

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Küçük olması hareketini varsayarsak, en görüntü kısıtlaması ile Taylor serisi almak için geliştirilebilir: ${\görüntüleme stili I(x,y,t)}$

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\kısmi I}{\partial x}}\Delta x+{\frac {\kısmi I}{\kısmi y}}\Delta y+{\frac {\kısmi I}{\kısmi t}}\Delta t+}$üst düzey terimler

Daha yüksek dereceli terimleri (doğrusallaştırmayı gerçekleştirir) keserek şu sonuç çıkar:

${\displaystyle {\frac {\kısmi I}{\kısmi x}}\Delta x+{\frac {\kısmi I}{\kısmi y}}\Delta y+{\frac {\kısmi I}{\kısmi t} }\Delta t=0}$

veya bölerek , ${\görüntüleme stili\Delta t}$

${\displaystyle {\frac {\kısmi I}{\kısmi x}}{\frac {\Delta x}{\Delta t}}+{\frac {\kısmi I}{\kısmi y}}{\frac { \Delta y}{\Delta t}}+{\frac {\kısmi I}{\kısmi t}}{\frac {\Delta t}{\Delta t}}=0}$

hangi sonuçlanır

${\displaystyle {\frac {\kısmi I}{\kısmi x}}V_{x}+{\frac {\kısmi I}{\kısmi y}}V_{y}+{\frac {\kısmi I}{ \kısmi t}}=0}$

burada vardır ve hız ya da optik akış bileşenleri ve , ve görüntünün türevleri altındadır karşılık gelen yönde. , ve türevler için aşağıdaki şekilde yazılabilir. ${\displaystyle V_{x},V_{y}}$${\görüntüleme stili x}$${\görüntüleme stili y}$${\görüntüleme stili I(x,y,t)}$${\displaystyle {\tfrac {\kısmi I}{\kısmi x}}}$${\displaystyle {\tfrac {\kısmi I}{\kısmi y}}}$${\displaystyle {\tfrac {\kısmi I}{\kısmi t}}}$${\görüntüleme stili (x,y,t)}$${\ Displaystyle I_{x}}$${\görüntüleme stili I_{y}}$${\ Displaystyle I_{t}}$

Böylece:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

veya

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Bu, iki bilinmeyenli bir denklemdir ve bu şekilde çözülemez. Bu, optik akış algoritmalarının açıklık problemi olarak bilinir . Optik akışı bulmak için, bazı ek kısıtlamalarla verilen başka bir denklem seti gereklidir. Tüm optik akış yöntemleri, gerçek akışı tahmin etmek için ek koşullar getirir.

Belirleme yöntemleri

• Faz korelasyonu – normalleştirilmiş çapraz güç spektrumunun tersi
• Blok tabanlı yöntemler – farkların karelerinin toplamını veya mutlak farkların toplamını en aza indirme veya normalleştirilmiş çapraz korelasyonu en üst düzeye çıkarma
• Görüntü sinyalinin kısmi türevlerine ve/veya aranan akış alanına ve daha yüksek mertebeden kısmi türevlere dayanan optik akışı tahmin etmenin diferansiyel yöntemleri, örneğin:
  • Lucas–Kanade yöntemi – görüntü yamaları ve akış alanı için afin bir modelle ilgili
  • Horn–Schunck yöntemi – parlaklık sabitliği kısıtlamasından kalan artıklara ve akış alanının beklenen düzgünlüğünü ifade eden belirli bir düzenlileştirme terimine dayalı bir işlevi optimize etme
  • Buxton–Buxton yöntemi – görüntü dizilerindeki kenarların hareketinin bir modeline dayanır
  • Black–Jepson yöntemi – korelasyon yoluyla kaba optik akış
  • Genel varyasyon yöntemleri – Horn-Schunck'in diğer veri terimlerini ve diğer düzgünlük terimlerini kullanan bir dizi değişiklik/uzantı.
• Ayrık optimizasyon yöntemleri – arama alanı nicelenir ve ardından görüntü eşleştirme, her pikselde etiket ataması yoluyla adreslenir, böylece karşılık gelen deformasyon kaynak ve hedef görüntü arasındaki mesafeyi en aza indirir. Optimal çözüm genellikle Max-flow min-cut teorem algoritmaları, doğrusal programlama veya inanç yayma yöntemleri aracılığıyla elde edilir.

Bunların çoğu, mevcut en gelişmiş algoritmalara ek olarak Middlebury Benchmark Veri Kümesi üzerinde değerlendirilir.

kullanır

Hareket tahmini ve video sıkıştırma , optik akış araştırmasının önemli bir yönü olarak gelişmiştir. Optik akış alanı, hareket tahmini tekniklerinden türetilen yoğun bir hareket alanına yüzeysel olarak benzer olsa da, optik akış yalnızca optik akış alanının kendisinin belirlenmesinin değil, aynı zamanda üç boyutlu doğayı tahmin etmede kullanımının da incelenmesidir. ve sahnenin yapısı, nesnelerin 3B hareketi ve sahneye göre gözlemci, çoğu Jacobian görüntüsünü kullanıyor .

Optik akış, robotik araştırmacıları tarafından nesne algılama ve izleme, görüntü baskın düzlem çıkarma, hareket algılama, robot navigasyonu ve görsel odometri gibi birçok alanda kullanılmıştır . Optik akış bilgisinin mikro hava araçlarını kontrol etmek için faydalı olduğu kabul edilmiştir.

Optik akışın uygulanması, yalnızca gözlemcinin ve sahnedeki nesnelerin hareketini değil, aynı zamanda nesnelerin ve çevrenin yapısını da çıkarma problemini içerir . Hareket farkındalığı ve çevremizin yapısının zihinsel haritalarının oluşturulması, hayvan (ve insan) görüşünün kritik bileşenleri olduğundan , bu doğuştan gelen yeteneğin bir bilgisayar yeteneğine dönüştürülmesi, makine görüşü alanında da benzer şekilde önemlidir .

Bir video dizisindeki hareketli bir nesnenin optik akış vektörü.

Bir görüş alanının sol alt köşesinden sağ üste doğru hareket eden bir topun beş karelik bir klibini düşünün. Hareket tahmin teknikleri, iki boyutlu bir düzlemde topun yukarı ve sağa hareket ettiğini belirleyebilir ve bu hareketi tanımlayan vektörler kare dizisinden çıkarılabilir. Video sıkıştırma amaçları için (örneğin, MPEG ), dizi şimdi olması gerektiği gibi açıklanmaktadır. Ancak yapay görme alanında, topun sağa mı yoksa gözlemcinin sola mı hareket ettiği sorusu bilinmez ancak kritik bir bilgidir. Beş karede durağan, desenli bir arka plan mevcut olsa bile, topun sağa doğru hareket ettiğini güvenle söyleyemeyiz, çünkü desen gözlemciye sonsuz bir mesafeye sahip olabilir.

Optik akış sensörü

Optik akış sensörü, optik akışı veya görsel hareketi ölçebilen ve optik akışa dayalı bir ölçüm çıktısı verebilen bir görüntü sensörüdür . Optik akış sensörlerinin çeşitli konfigürasyonları mevcuttur. Bir konfigürasyon, bir optik akış algoritmasını çalıştırmak üzere programlanmış bir işlemciye bağlı bir görüntü sensörü çipidir. Başka bir konfigürasyon, hem görüntü sensörüne hem de işlemciye aynı kalıp üzerinde sahip olan ve kompakt bir uygulamaya izin veren entegre bir devre olan bir görüntü çipi kullanır . Bunun bir örneği, bir kullanılan genel bir optik fare sensörüdür optik fare . Bazı durumlarda işleme devresi, minimum akım tüketimi kullanarak hızlı optik akış hesaplamasını sağlamak için analog veya karışık sinyal devreleri kullanılarak uygulanabilir.

Çağdaş araştırmaların bir alanı, optik akışa yanıt veren devreleri uygulamak için nöromorfik mühendislik tekniklerinin kullanılmasıdır ve bu nedenle bir optik akış sensöründe kullanım için uygun olabilir. Bu tür devreler, optik akışa benzer şekilde yanıt veren biyolojik sinir devrelerinden ilham alabilir.

Optik akış sensörleri, farenin bir yüzey boyunca hareketini ölçmek için ana algılama bileşeni olarak bilgisayar optik farelerinde yaygın olarak kullanılır .

Optik akış sensörleri , öncelikle robot ile robotun çevresindeki diğer nesneler arasındaki görsel hareketi veya bağıl hareketi ölçmeye ihtiyaç duyulan robotik uygulamalarda da kullanılmaktadır . İnsansız hava araçlarında (UAV'ler) stabilite ve engellerden kaçınma için optik akış sensörlerinin kullanımı da güncel bir araştırma alanıdır.

Ayrıca bakınız

• Ortam optik dizisi
• Optik fare
• Menzil görüntüleme
• Görüntü işleme birimi
• Süreklilik denklemi

Referanslar

Dış bağlantılar

• Optik Akışı Bulma
• fxguide.com'daki Optik Akış Sanatı makalesi (Görsel Efektlerde optik akış kullanılarak)
• Optik akış değerlendirmesi ve kesin doğruluk dizileri.
• Middlebury Optik akış değerlendirmesi ve kesin bilgi dizileri.
• mrf-registration.net - MRF aracılığıyla optik akış tahmini
• Fransız Havacılık ve Uzay Laboratuvarı: Lucas-Kanade tabanlı optik akışın GPU uygulaması
• CUVI tarafından CUDA Uygulaması (CUDA Vision & Imaging Library)
• Horn ve Schunck Optik Akışı: Horn ve Schunck yönteminin çevrimiçi demosu ve kaynak kodu
• TV-L1 Optik Akış: Zach ve ark.'nın çevrimiçi demosu ve kaynak kodu. yöntem
• Sağlam Optik Akış: Çevrimiçi demo ve Brox ve diğerlerinin kaynak kodu. yöntem