Канадські розробники створили додаток для смартфона, здатний в реальному часі розпізнавати в кадрі страви та їх компоненти і показувати користувачеві харчову цінність. Розробники представили додаток на конференції MVA 2019 і опублікували статтю про нього на arXiv.org.
Деякі люди для зниження ваги або інших оздоровчих цілей ведуть докладний щоденник прийому їжі, підраховуючи сумарну калорійність та інші властивості. Для цього, однак, потрібно вручну вводити дані і шукати харчову цінність того чи іншого продукту або ж його компонентів. Існують програми, що спрощують цей процес, наприклад, за допомогою розпізнавання готових продуктів через штрих-коди на упаковці, але вони не підходять для їжі, приготованої вдома або в кафе.
Розробники під керівництвом Желько Жиліча (Zeljko Zilic) з Університету Макгіла створили додаток для Android, здатний в реальному часі розпізнавати їжу і показувати її харчову цінність. У додатку для визначення та розпізнавання об'єктів у кадрі використовується згорточна нейромережа, заснована на популярній архітектурі YOLO. Отримуючи зображення, нейромережа розпізнає на ньому області, в яких знаходяться відомі їй об'єкти. Після цього алгоритм виділяє ці області і підписує відповідним чином.
Автори не розкривають, на яких даних навчали модель, але розповіли, що перевірили її ефективність на датасетах їжі UECFood100 і UECFood256. Вони відзначили, що на сучасному смартфоні (наприклад, Google Pixel 2 - за допомогою нього роботу системи і перевіряли автори) обробка кадру нейромережею займає кілька десятків мілісекунд. Точність розпізнавання їжі додатком склала близько 75 відсотків.
Зручність програми полягає в тому, що вона не просто розпізнає страви або компоненти в кадрі, а й видає їх харчову цінність: калорійність, вміст білків, жирів і вуглеводів, а також солі, холестерину і деяких вітамінів. Для цього автори використовували базу даних Nutritionix, що містить дані про понад 700 тисячі страв. Варто зазначити, що додаток розраховує параметри, виходячи з розміру середньої порції певної страви.
У 2016 році на Indiegogo запустили збір коштів на насадку для смартфона і додаток, що дозволяють за допомогою лазера сканувати продукти і підраховувати їх калорійність, а також вміст у ній білків, вуглеводів і жирів.