Vol. 12 No. 101 (2023)

Research Article

A Study on the Use of Deep Learning in the Cinema Industry

Published 2023-01-31

Cilt 12 Sayı 101 kapak

Öz

Derin Öğrenme'nin Sinema Sektöründe Kullanımına İlişkin Bir İnceleme

Kameranın icadıyla başlayan sinema sektörü teknolojik gelişmeler ile eşdeğer şekilde değişim ve gelişim göstermiştir. Günümüzde teknoloji, insan beyninin işlevlerini taklit eden yapay sinir ağları ve bilgisayar sistemlerinin kullanıldığı boyutlara ulaşmıştır. Derin öğrenme olarak tanımlanan beynin taklit edilmesine dayalı bu sistem bu çalışmada sinema sektörü bağlamında ele alınmış, bilgisayar destekli Deepfacelab uygulaması kullanılarak uygulamalı olarak denenmiştir. Deepfacelab uygulaması ile 2008 yapımı Kara Şövalye filminde Joker karakterini canlandıran ve hayatını kaybeden Heath Ledger ile 2019 yapımı Joker isimli filmde Joker karakterini canlandıran Joaquin Phoenix’in yüz değişimi işlemi yapılmış ve süreçler bu çalışma kapsamında ele alınmıştır. Uygulama aşaması dokuz (9) aşamadan oluşmaktadır. Videonun seçimi, kaynak videodan yüz karakterinin, kafa hareketlerinin alınması, uygun olmayanların silinmesi, kafa hareketlerinin kontur çizgilerinin oluşturulması, train (öğrenme) işlemini, tekrarlamalar, eşleşmelerin sağlanması ve ince ayarların yapılması, iki görüntünün birleştirilmesi Deepfacelab uygulamasının aşamalarıdır. Bu çalışmada bilgisayar destekli program ile oyuncular arasında yüz değişimi yapılmış, hayatta olmayan karakter geçmişteki videoları temel alınarak hayattaymış algısı oluşturulmuş ve sinema sektöründeki varlığını devam ettirebileceğini gösterilmiştir. Uygulama ile derin öğrenme kavramına dikkat çekilmiş, teknoloji düzeyi sinema sektörü üzerinden aktarılmıştır. Sonuç olarak, derin öğrenme ile hayatta olmayan bir sanatçının, siyasetçinin, sevilen bir insanın görüntüsünün, konuşmasının, mimiklerinin bilgisayar destekli program ile gerçekmiş gibi algılanabileceği ortaya konmuştur. Bu bağlamda bu çalışma derin öğrenme kavramı, derin öğrenme/ teknoloji ilişkisi, derin öğrenmenin sinemada kullanımı açısından önem taşımaktadır.

Anahtar Kelimeler Sinema, Derin Öğrenme, Deepfacelab

Abstract

The cinema industry, which started with the invention of the camera, has changed and developed in line with technological developments. Today, technology has reached the dimensions where artificial neural networks and computer systems that imitate the functions of the human brain are used. This system, which is based on the imitation of the brain, which is defined as deep learning, has been discussed in the context of the cinema industry in this study, and has been tested in practice using the computer-assisted Deepfacelab application. With the Deepfacelab application, the character who lost his life from the actors of the 2008 film The Dark Knight was exchanged with the main character of the 2019 film Joker, and the processes were discussed within the scope of this study. The implementation phase consists of nine (9) stages. Selection of the video, taking the facial character and head movements from the source video, deleting the inappropriate ones, creating the contour lines of the head movements, training (learning), repetitions, matching and fine-tuning, combining the two images are the stages of the Deepfacelab application. In this study, a face swap was made between the actors with a computer-aided program, the perception that the deceased character was alive was created based on his past videos, and it was shown that he could continue his existence in the cinema industry. With the application, attention was drawn to the concept of deep learning, and the technology level was conveyed through the cinema sector. As a result, it has been revealed that the image, speech and facial expressions of a dead artist, politician, loved one can be perceived as real with a computer-aided program with deep learning. In this context, this study is important in terms of the concept of deep learning, deep learning / technology relationship, and the use of deep learning in cinema.

Keywords Cinema, Deep Learning, Deepfacelab

PDF (Turkish)

References

  1. Abisel, Nilgün. Sessiz Sinema. İstanbul: Om Yayınevi, 2003.
  2. Alaskar, Hind, ve Tanzila Saba Saba. "Machine Learning and Deep Learning: A Comparative Review." Proceedings of Integrated Intelligence Enable Networks and Computing, 143-150, 2021.
  3. Alpaydin, Ethem. Introduction to Machine Learning. Cambridge, Massachusetts: MIT Press, 2020.
  4. Schmidhuber, Jürgen. "My First Deep Learning System of 1991+ Deep Learning Timeline 1962-2013, 2013.
  5. Çelik, Gaffari, ve Muhammed Fatih Talu. "Çekişmeli Üretken Ağ Modellerinin Görüntü Üretme Performanslarının İncelenmesi." Balıkesir Üniversitesi Fen Bilimleri Enstitüsü Dergisi 22.1 181-192, 2019.
  6. Ghose, Sanchita, ve John Jeffrey Prevost. "Autofoley: Artificial Synthesis Of Synchronized Sound Tracks For Silent Videos With Deep Learning." IEEE Transactions on Multimedia 23 1895-1907, 2020.
  7. Goode, Lauren. “AI Made a Movie—and the Results Are Horrifyingly Encouraging”. 11 Haziran 2018. https://www.wired.com/story/ai-filmmaker-zone-out
  8. Hallström, Lasse, yön. Casanova. Sen. Michael Cristofer, Jeffrey Hatcher. Oyun. Heath Ledger. DVD. Buena Vista Pictures Distribution, 2005.
  9. Onaran, Alim Şerif. Sessiz Sinema Tarihi. İstanbul: Kitle Yayınları, 1994.
  10. Phillips, Todd, yön. Joker. Sen. Todd Phillips, Scott Silver, Bob Kane. Oyun. Joaquin Phoenix, Robert De Niro, Zazie Beetz, Frances Conroy ve diğer. DVD. Warner Bros. Pictures, 2019.
  11. Reddy, Poondru Prithvinath. “AI-Generated Film: The Next Phase in Movie Making“, 10 Eylül 2020. https://medium.com/@ppreddy576/ai-generated-film-the-next-phase-in-movie-making-a957f0fc0372
  12. Seymour, Mike. “Weta Digital’s Remarkable Face Pipeline: Alita Battle Angel”, 8 Mart 2019. https://www.fxguide.com/fxfeatured/weta-digitals-remarkable-face-pipeline-alita-battle-angel/
  13. Seymour, Mike. “De-aging the Irishman (updated)”, 6 Aralık 2019. https://www.fxguide.com/fxfeatured/de-aging-the-irishman
  14. Smith, John R. “IBM Research Takes Watson to Hollywood with the First “Cognitive Movie Trailer”, 25 Kasım 2020. https://www.ibm.com/blogs/think/2016/08/cognitive-movie-trailer/
  15. Şahin, Emrullah, ve Muhammed Fatih Talu. "Bıyık Deseni Üretiminde Çekişmeli Üretici Ağların Performans Karşılaştırması." Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 10.4 1575-1589, 2021.
  16. Şeker, Abdulkadir, Banu Diri, ve Hasan Hüseyin Balık. "Derin Öğrenme Yöntemleri Vv Uygulamaları Hakkında Bir İnceleme." Gazi Mühendislik Bilimleri Dergisi 3.3, 47-64, 2017.
  17. Vargas, Rocio, Amir Mosavi, and Ramon Ruiz. "Deep learning: a review.", 2017.