Comixify automatycznie wybiera najciekawsze i najważniejsze klatki z przesłanego filmu, a potem układa je, dopasowuje do ramek i przerabia graficznie. Tak powstają kadry komiksu. Narzędzie opracowane przez zespół z Politechniki Warszawskiej każdy może bezpłatnie przetestować, przesyłając własne pliki albo korzystając z linków z YouTube’a. Sama publikacja opisująca algorytm z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję po Stany Zjednoczone.
Comixify jest rezultatem projektów dyplomowych realizowanych od początku roku przez studentów Wydziału Elektroniki i Technik Informacyjnych: inżynierów Macieja Pęśko, Adama Svystuna i Pawła Andruszkiewicza pod opieką naukową pracowników Zakładu Grafiki Komputerowej Instytutu Informatyki: prof. dr. hab. inż. Przemysława Rokity i dr. inż. Tomasza Trzcińskiego.
Pomysł narodził się dzięki połączeniu zainteresowań studentów (związanych z komiksami i transferem stylu przy użyciu uczenia maszynowego) oraz dotychczasowych publikacji Zakładu, w tym m.in. tej dotyczącej przewidywania popularności treści w Internecie.
Jak działa Comixify? Przekształcanie filmu w komiks jest podzielone na dwa główne etapy: ekstrakcję klatek i transfer stylu. Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, naukowcy rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem, a mający na celu inteligentne podsumowanie filmu Poprzez dodanie modułu estymującego jakość zdjęcia oraz jego popularność Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.
Po uzyskaniu ramek odbywa się transfer stylu do obrazów, czyli nadanie im komiksowego charakteru. W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN. Jest to technika uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.
Na stronie Comixify można zobaczyć m.in. komiksy wygenerowane z fragmentów filmów „Pulp fiction” i „Gwiezdne wojny: Część I – Mroczne widmo”. Narzędzie opracowane przez zespół z Politechniki Warszawskiej każdy może też bezpłatnie przetestować, przesyłając własne pliki (do 50 MB) albo korzystając z linków z YouTube’a. W Comixify nie ma obostrzeń dotyczących długości filmu.
Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.
Badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac.
Obecnie komiksy (w różnych formach: od rysunkowej do filmowej) cieszą się ogromną popularnością na całym świecie. Twórcy muszą się więc liczyć nie tylko z rosnącym zapotrzebowaniem na tę formę sztuki, ale też z coraz większymi oczekiwaniami odbiorców. Dlatego rozwiązanie stworzone na PW może ułatwić, a nawet zrewolucjonizować sposób, w jaki przetwarza się wideo na komiksowe obrazy. Stronę projektu znajdziecie tutaj.
ZOBACZ TAKŻE: