Sebuah tim ilmuwan komputer baru-baru ini membuat rekonstruksi 3D panel relief yang hilang di Situs Warisan Dunia UNESCO menggunakan kecerdasan buatan.
Para peneliti mengembangkan jaringan saraf yang dapat mengambil foto 2D tunggal dari objek tiga dimensi dan menghasilkan rekonstruksi digital dalam tiga dimensi. Akibatnya, mereka mengembangkan stereoskop untuk abad ke-21. Tim mempresentasikan bukti konsepnya pada konferensi ACM Multimedia ke-32 bulan lalu.
Untuk keperluan penelitian mereka, para ilmuwan menggunakan gambar relief candi Borobudur di Indonesia, sebuah Situs Warisan Dunia UNESCO. Candi ini ditutupi 2.672 relief dasar, menjadikannya koleksi relief Budha terbesar di dunia. Pada akhir abad ke-19, penutup kaki candi dipasang kembali, menyembunyikan 156 relief di balik dinding batu, dan masih terkubur hingga saat ini. Namun sebelum dikuburkan, setiap panel diambil foto skala abu-abu. Jaringan saraf tim baru-baru ini berhasil merekonstruksi salah satu relief yang sekarang tersembunyi menggunakan foto hitam-putih lama dari 134 tahun lalu.
Upaya sebelumnya telah dilakukan, namun rekonstruksi sebelumnya tidak dapat meniru detail relief yang lebih baik. Detail tersebut hilang karena kompresi nilai kedalaman; dengan kata lain, relief tiga dimensi ini memiliki detail dari ukiran yang paling dekat dengan orang yang melihatnya dan yang paling jauh dari orang yang melihatnya, dan upaya rekonstruksi sebelumnya meratakan detail tersebut pada kedalaman yang berbeda-beda. Tim menyebut karakteristik yang hilang sebagai “tepi lunak”, dan mengembangkan peta tepi tersebut berdasarkan perubahan kelengkungan yang dihitung dalam ruang 3D.
Dalam makalah barunya, tim tersebut berpendapat bahwa peta tepi yang ada mengurangi keakuratan model, gagal menyampaikan perubahan kelengkungan 3D dengan benar, dan cara memasukkannya ke dalam jaringan membatasi dampaknya pada estimasi kedalaman. benda-benda fisik.
“Meskipun kami mencapai akurasi rekonstruksi 95%, detail yang lebih halus seperti wajah manusia dan dekorasi masih belum ada,” kata Satoshi Tanaka, peneliti di Universitas Ritsumeikan di Jepang dan salah satu penulis studi tersebut, dalam rilis universitasnya. “Hal ini disebabkan oleh tingginya kompresi nilai kedalaman pada gambar relief 2D, sehingga sulit untuk mengekstrak variasi kedalaman di sepanjang tepinya. Metode baru kami mengatasi hal ini dengan meningkatkan estimasi kedalaman, khususnya di sepanjang tepi lunak, menggunakan pendekatan deteksi tepi yang baru.”
Gambar di atas mewakili hasil eksperimen terbaik tim (baris bawah) untuk peta soft-edge (kiri) dan peta semantik (kanan) dari sampel relief, dibandingkan dengan data kebenaran dasar (baris atas). Peta tepinya hanya itu—melacak titik-titik di mana kurva pada relief memberikan kedalaman, yang membingungkan model sebelumnya.
Peta semantik—yang secara samar-samar mengingatkan pada Blue Green Red karya Ellsworth Kelly—menunjukkan bagaimana basis pengetahuan model mengaitkan konsep-konsep terkait. Pada gambar ini, model membedakan fitur latar depan (biru), sosok manusia (merah), dan latar belakang. Para peneliti juga memasukkan bagaimana model mereka dibandingkan dengan model canggih lainnya dalam kaitannya dengan gambaran kebenaran dasar.
AI mendapat banyak kritik, namun di bidang sains, AI terbukti sangat mahir dalam memecahkan masalah pengenalan gambar dan pelestarian warisan budaya. Pada bulan September, tim lain menggunakan jaringan saraf untuk mengidentifikasi detail yang sebelumnya tidak terlihat pada panel yang dilukis oleh Raphael, dan tim lain menggunakan jaringan saraf konvolusional untuk menggandakan jumlah garis Nazca yang diketahui—geoglyph terkenal di Peru.
Model ini mampu memahami multi-modal, artinya model ini mampu menyerap banyak saluran data untuk memahami objek targetnya. Dalam hal ini, detektor tepi lunak yang digunakan untuk mengukur kurva pada relief tidak hanya melihat sedikit perubahan kecerahan untuk melihat kedalaman, tetapi juga kurva pada ukiran itu sendiri. Penggunaan kedua saluran informasi memungkinkan model baru untuk menciptakan rekonstruksi relief yang lebih tajam dan rinci dibandingkan upaya sebelumnya.
“Teknologi kami memiliki potensi besar untuk melestarikan dan berbagi warisan budaya,” kata Tanaka. “Ini membuka peluang baru tidak hanya bagi para arkeolog tetapi juga untuk pengalaman virtual yang mendalam melalui teknologi VR dan metaverse, melestarikan warisan global untuk generasi mendatang.”
Warisan budaya perlu dilestarikan. Namun beberapa warisan budaya sangat terancam, dan meskipun rekonstruksi yang dihasilkan oleh AI ini tidak dapat menggantikan McCoy yang asli, namun ada manfaatnya. Jaringan saraf seperti yang dijelaskan dalam makalah baru-baru ini dapat menghidupkan kembali warisan yang hilang yang hanya ada dalam bentuk gambar—misalnya, Buddha Bamiyan, patung monumental yang diledakkan oleh Taliban pada tahun 2001—jika hanya dalam lingkungan augmented reality atau virtual reality.
Model-model tersebut juga dapat digunakan untuk melestarikan warisan budaya yang berada di ambang kehancuran, seperti ukiran penduduk asli berusia berabad-abad pada pohon boab di Gurun Tanami, Australia.
Warisan budaya mendefinisikan siapa kita melalui komunitas dan budaya yang ada sebelum kita. Jika model AI ini membantu sejarawan seni dan pelestari seni menyelamatkan hanya satu bagian sejarah, maka mereka telah melakukan hal yang baik. Tentu saja, model AI juga memerlukan energi dalam jumlah besar, yang dapat berkontribusi terhadap hilangnya warisan budaya secara tangensial. Namun meskipun cara AI diberdayakan masih bermasalah, penggunaan teknologi untuk tujuan baik adalah hal yang wajar dalam sejarah—terutama dalam hal artefak.