Нейросеть сможет разложить блюдо на составляющие по фото

Командой исследователей из Массачусетского технологического института была создана нейросеть, которая умеет составлять список ингредиентов и рецепт приготовления, получая на вход только изображение блюда. Для загрузки алгоритма использовалась созданная авторами открытая база данных одного миллиона рецептов.

Recipe1M содержит один миллион рецептов с различных кулинарных сайтов с названием блюда, его фотографией, списком ингредиентов, инструкцией по приготовлению, а также типом блюда.

Огромное количество открытых кулинарных сайтов открывает для искусственного интеллекта возможность создания алгоритма, который будет помогать людям в процессе готовки. Например, при помощи составления рецепта случайно увиденного блюда или автоматической оценке того, насколько оно вкусное или калорийное.

Нейросеть работает по принципу совместного вложения: разбивая рецепт на вектора с ингредиентами и инструкцией приготовления, она сопоставляет его с картинкой, которая максимально соответствует рецепту блюда. Оно же, в свою очередь, сравнивается с изображением, данным ей на вход посредством линейного трансформирования.