Пошуковий движок навчили шукати фотографії тварин за положенням голови

Розробник, відомий під ніком x6ud, створив пошуковий сервіс, що дозволяє шукати фотографії тварин, голови яких розташовані під певним кутом до камери. Під час пошуку користувач вказує тип тварини і рухає модель черепа потрібним їй чином, після чого сервіс видає знімки. На розробку звернув увагу блог Prosthetic Knowledge.


Сучасні пошукові системи дозволяють шукати об'єкти за описом, причому вони можуть не тільки шукати фотографії певних тварин, але і враховувати їх властивості. Наприклад, зазвичай пошукові системи коректно інтерпретують фразу «Чорна кішка дивиться вгору» і видають знімки, що відповідають цьому опису. Це можливо завдяки застосуванню нейросетевих алгоритмів, які асоціюють знімки з певними ключовими словами.


Програміст, відомий під ніком x6ud, застосував незвичайний підхід і розробив сервіс, який так само дозволяє шукати знімки об'єктів за їх властивостями, але робить це іншим чином. Замість прямого пошуку за ключовими словами програміст передбачив вікно пошуку, в якому є всього два види параметрів і панель, в якій розташовується об'ємна модель черепа тварини. Користувач може вибрати, чий череп буде відображатися на панелі, а також те, за якими тваринами буде проводитися пошук. В останньому випадку користувач може вибрати конкретний вид або іншу таксономічну категорію тварини, або навіть вказати породу деяких з них.

Головний елемент сервісу - панель з вибором напрямку. У ній користувач може крутити модель черепа покажчиком мишки і вибирати потрібний йому напрямок відносно двох осей. Крім того, під панеллю розташовується повзунок, що дозволяє керувати кутом повороту голови навколо третьої осі. Вказавши всі параметри, користувач може натиснути кнопку пошуку і отримати список результатів. Варто зазначити, що з деякими кутами сервіс працює некоректно, як правило, це проявляється, якщо модель черепа розгорнута на 180 градусів, а також, коли вона повернута сильно вгору або вниз.

Для пошуку сервіс використовує API великого фотосервісу Flickr. Користувач може натиснути на будь-який знімок і побачити його в повному розмірі. Якщо його зацікавив знімок, він може також натиснути на посилання на його оригінальну сторінку на Flickr. В якості моделей черепів розробник скористався бібліотекою моделей Університету штату Орегон.

Автор не розкриває всіх подробиць роботи сервісу, однак деякі висновки можна зробити виходячи з коду, опублікованого на GitHub. Зокрема, певною твариною в коді зіставлено список посилань на відповідні фотографії на Flickr, а також параметри, в тому числі значення кутів повороту голови в градусах. Можливо, програміст спочатку зробив датасет, що складається з пар типу модель-знімок, а потім навчив нейромережу зіставляти задане положення моделі зі знімками з Flickr.

Раніше американські дослідники створили сервіс для ідентифікації птахів серед 400 найпоширеніших на території США і Канади видів. У ньому користувачеві необхідно завантажити знімок, вказати місце зйомки, а також вказати кілька параметрів. Зокрема, користувач повинен помістити тварину в рамці, а також вказати кілька ключових точок на її тілі.

COM_SPPAGEBUILDER_NO_ITEMS_FOUND