Французький розробник навчив алгоритм створювати плани приміщень з розставленими в них меблями. Автор опублікував як опис алгоритму, так і його онлайн-версію, спробувати яку може будь-хто.
Одне із завдань в області обробки зображень за допомогою нейромережевих алгоритмів - так зване міжбудинкове перетворення об'єктів (image-to-image translation). Вона полягає в тому, щоб змінити стиль картини, змінити час дня на знімку або провести інше перетворення зображення, залишивши при цьому його суть. У 2017 році такі алгоритми отримали відносно велику популярність завдяки алгоритму pix2pix, здатному перетворювати начерки користувача на фотореалістичні портрети. Раніше ми перевірили роботу цього алгоритму на мемах. Побачити результат можна в матеріалі «Зображуючи меми».
Розробник Станіслас Шайю (Stanislas Chaillou), випускник Федеральної політехнічної школи Лозанни і Гарвардської школи дизайну, використовував pix2pix, щоб малювати плани приміщень. Алгоритм, створений ним у рамках роботи над магістерською дисертацією, являє собою конвеєр, що складається з трьох окремих моделей pix2pix, навчених на різних даних.
Перша модель створює «слід» від будівлі - її вертикальну проекцію. Вона була навчена на даних про будівлі в Бостоні з геоінформаційної системи. Датасет для навчання складався з пар зображень, на одному з яких були контури земельної ділянки, а на другому контури будівлі на ділянці. У результаті нейромережа навчилася досить добре створювати зображення другого типу за зображенням першого типу.
Друга модель бере контур будівлі, отриманий в результаті роботи першої моделі, але також вимагає участі користувача. Він повинен нанести на план вікна і вхід. Після цього нейромережа сама розмічає на плані приміщення, а також стіни і отвори між ними. Крім того, вона також ділить створені їй приміщення на типи, заливаючи їх відповідним кольором. Цю модель Шайю навчив на більш ніж 800 розмічених планах квартир.
Нарешті, третя модель бере кольоровий план квартири і наносить на нього меблі, причому відповідні типам кімнат. Наприклад, вона не розташує у ванній кімнаті великий обідній стіл. Як і попередні алгоритми, ця модель була навчена на парах вихідних і кінцевих зображень, однак програміст не уточнив, звідки він взяв ці дані.
Для демонстрації роботи алгоритму Шайю розмістив на своєму сайті онлайн-версію алгоритму. Вона дозволяє самому намалювати контури квартири і позначити на ній вхід і вікна, після чого алгоритми намалюють на плані кімнати і меблі. При цьому якість отримуваного зображення досить низька, особливо це стосується меблів.
Раніше ми вже розповідали про застосування алгоритму pix2pix в архітектурі. У 2018 році програміст з Саудівської Аравії представив браузерну реалізацію цього алгоритму, здатну в тому числі створювати фотореалістичні зображення фасадів будівель на основі їх схематичної вистави.