Нещодавно американські розробники представили відкритий алгоритм, що перетворює фотографії на тривимірні з реалістично домальованим нейромережею фоном. Французький розробник Сіріль Діаньє (Cyril Diagne) використовував код цього алгоритму і створив розширення для браузера Google Chrome, що перетворює пости в Instagram зі звичайних на тривимірні та анімовані. При цьому основні обчислення проводяться на безкоштовному публічному сервері для машинного навчання, тому використовувати розширення можна навіть на не дуже потужному комп'ютері.
Існують алгоритми, що дозволяють створювати з запеклих зображень тривимірні, причому якщо раніше вони носили дослідницький характер, то зараз їх можна зустріти в звичайних додатках, таких як Facebook. Але в більшості сайтів і додатків такої функції поки немає, а в тих, де вона вже використовується, вона зазвичай реалізована не дуже якісно. Особливо це стосується якості домальовки фону за об'єктами, а також відділення об'єктів і фону один від одного.
У середині квітня група американських розробників з Політехнічного університету Віргінії і Facebook створила новий алгоритм, який якісно відділяє об'єкти на передньому плані від фону, а потім домальовує порожні ділянки заднього плану, використовуючи дані від сусідніх областей. Більш детально про роботу вихідного алгоритму можна прочитати в нашій нотатці.
Як і у випадку з багатьма алгоритмами машинного навчання, автори опублікували не тільки статтю про нього, а й код з документацією. Сіріль Діаньє з Google Arts використовував цей код для створення браузерного розширення, що анімує фотографії з Instagram, який сам по собі не має такої функції.
Just pushed the code of a chrome extension that turns every Instagram posts into 3d images using #3DPhotoInpainting. No GPU needed thanks to @GoogleColab but a bit of patience to set it up ;-)Demo: @parrstudio's amazing workCode: https://t.co/59yJUvRHxE#AIUX #Interaction #ML pic.twitter.com/86mMBWdm7V
- Cyril Diagne (@ cyrildiagne) 19 квітня 2020 р.
Алгоритм працює на основі нейромережі, і навіть з навченою моделлю на обробку відразу декількох фотографій з постів на екрані необхідні досить великі обчислювальні ресурси. Діаньє використовував гібридну структуру програми: користувацька частина працює як розширення для браузера, а безпосередньо обробка зображень проходить у хмарі на Google Colab. У ньому користувач отримує безкоштовний доступ до одного потужного графічного прискорювача і можливість запуску довільного коду на Python.
Розробник опублікував код і інструкцію на GitHub, але визнав, що її необхідно доопрацювати, щоб з нею впоралися звичайні користувачі, і заявив, що планує це зробити. Крім цього у програми є й інші обмеження: Google Colab скидає конфігурацію кожні 12 годин, тому її необхідно налаштовувати заново, а крім того, невідомо, як розширення співвідноситься з правилами використання Instagram.
Це далеко не перший нейромережевий алгоритм, що працює прямо в браузері. Раніше ми розповідали про браузерний алгоритм для підміни осіб і перетворення начерків на фотографії, а також набір алгоритмів від Google для відстеження осіб і автоматичного кадрування.