Google araştırmacıları, makine öğrenimi ile ikonik mekanları 3 boyutlu hale getiriyor

Google araştırmacıları, makine öğrenimi ile ikonik mekanları 3 boyutlu hale getiriyor

admin Ağustos 13, 2020

Google araştırmacıları, makine öğrenimi yardımıyla, internetten alınan fotoğrafları kullanarak dünya çapındaki ünlü yapıları inanılmaz derecede ayrıntılı 3 boyutlu videolara dönüştürdü. Araştırmacılar projenin GitHub sayfasında, Brandenburg Kapısı’nın, Trevi Çeşmesi’nin ve Sacré-Cœur’un 3 boyutlu görüntülerini paylaştı. Üstelik bu görüntüleri oluşturma için Flickr gibi online sitelerden alınan fotoğraflar kullanıldı. Sonuçlar, kameradan gelen görüntünün hareket ettirilebildiği ve sahnenin görünümünün farklı ışık efektleriyle değiştirilebildiği etkileyici görseller olarak karşımıza çıkıyor.

Araştırmacılar kısa süre önce yöntemlerini “NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections” başlıklı bir makalede bir araya getirdi. NeRF-W olarak adlandırdıkları yöntem, bir fotoğraf koleksiyonundan 3 boyutlu sahneleri yeniden oluşturmak için de kullanılabilen, ancak fotoğrafların kontrollü bir ortamın dışında çekilmesi durumunda zorlanabilen Nöral Parlaklık Alanları (NeRF) üzerine inşa ediliyor. 

Bu yaklaşım, bir sahnenin parlaklık alanını ve yoğunluğunu bir sinir ağının ağırlıkları içinde örtük olarak modelliyor. Araştırmacılar makalelerinde yazdıkları gibi, doğrudan hacim sunumunu yeni görünümleri sentezlemek için kullanılıyor ve ortaya çıkan sonuçta görseller, şimdiye kadar görülmemiş düzeyde bir aslına uygunluk gösteriyor. Ancak bu yöntem ışık efektlerinin sabit kaldığı ve sahnedeki tüm içeriğin statik olduğu durumlarda işe yarıyor; kısacası yalnızca kontrollü ortamlarda iyi çalışıyor.

Araştırmacılar, NeRF’ün bu parametrelerin dışında kalan görüntüleri kullanırken zorlanacağının altını çiziyor. Sonuç olarak kullanılacak görüntülerin hemen hemen aynı zaman diliminde çekilmiş olması ve fotoğrafı bozabilecek uçak, kuş, bisiklet, araba gibi nesneleri içermemesi gerekiyor.