Los investigadores han entrenado a un ‘chef’ robótico para mirar y aprender de videos de cocina, y recrear el plato en sí.
Los investigadores, de la Universidad de Cambridge, programaron su chef robótico con un ‘libro de cocina’ de ocho sencillas recetas de ensaladas. Después de ver un video de un humano demostrando una de las recetas, el robot pudo identificar qué receta se estaba preparando y hacerla.
Además, los videos ayudaron al robot a agregar gradualmente a su libro de cocina. Al final del experimento, el robot ideó una novena receta por su cuenta. Sus resultados, publicados en la revista Acceso IEEEdemuestran cómo el contenido de video puede ser una fuente valiosa y rica de datos para la producción automatizada de alimentos y podría permitir una implementación más fácil y económica de chefs robot.
Los chefs robóticos han aparecido en la ciencia ficción durante décadas, pero en realidad, cocinar es un problema desafiante para un robot. Varias empresas comerciales han construido prototipos de chefs robóticos, aunque ninguno de ellos está actualmente disponible comercialmente, y están muy por detrás de sus contrapartes humanas en términos de habilidad.
Los cocineros humanos pueden aprender nuevas recetas a través de la observación, ya sea viendo a otra persona cocinar o viendo un video en YouTube, pero programar un robot para hacer una variedad de platos es costoso y requiere mucho tiempo.
«Queríamos ver si podíamos entrenar a un robot chef para que aprendiera de la misma manera progresiva que los humanos, identificando los ingredientes y cómo se combinan en el plato», dijo Grzegorz Sochacki, del Departamento de Ingeniería de Cambridge, el primero del artículo. autor.
Sochacki, candidato a doctorado en el laboratorio de robótica bioinspirada del profesor Fumiya Iida, y sus colegas idearon ocho sencillas recetas de ensaladas y se filmaron haciéndolas. Luego usaron una red neuronal disponible públicamente para entrenar a su robot chef. La red neuronal ya había sido programada para identificar una variedad de objetos diferentes, incluidas las frutas y verduras utilizadas en las ocho recetas de ensaladas (brócoli, zanahoria, manzana, plátano y naranja).
Usando técnicas de visión por computadora, el robot analizó cada cuadro de video y pudo identificar los diferentes objetos y características, como un cuchillo y los ingredientes, así como los brazos, las manos y la cara del demostrador humano. Tanto las recetas como los videos se convirtieron en vectores y el robot realizó operaciones matemáticas en los vectores para determinar la similitud entre una demostración y un vector.
Al identificar correctamente los ingredientes y las acciones del chef humano, el robot podía determinar cuál de las recetas se estaba preparando. El robot podría inferir que si el demostrador humano sostenía un cuchillo en una mano y una zanahoria en la otra, la zanahoria sería cortada en pedazos.
De los 16 videos que vio, el robot reconoció la receta correcta el 93% de las veces, aunque solo detectó el 83% de las acciones del chef humano. El robot también pudo detectar que ligeras variaciones en una receta, como hacer una porción doble o un error humano normal, eran variaciones y no una nueva receta. El robot también reconoció correctamente la demostración de una novena ensalada nueva, la agregó a su libro de cocina y la preparó.
«Es sorprendente la cantidad de matices que el robot pudo detectar», dijo Sochacki. «Estas recetas no son complejas, son esencialmente frutas y verduras picadas, pero fue muy eficaz para reconocer, por ejemplo, que dos manzanas picadas y dos zanahorias picadas es la misma receta que tres manzanas picadas y tres zanahorias picadas. «
Los videos utilizados para entrenar al robot chef no son como los videos de comida hechos por algunos influencers de las redes sociales, que están llenos de cortes rápidos y efectos visuales, y van y vienen rápidamente entre la persona que prepara la comida y el plato que están preparando. . Por ejemplo, el robot tendría dificultades para identificar una zanahoria si el demostrador humano tuviera la mano alrededor de ella; para que el robot identificara la zanahoria, el demostrador humano tenía que sostener la zanahoria para que el robot pudiera ver toda la verdura.
«Nuestro robot no está interesado en el tipo de videos de comida que se vuelven virales en las redes sociales, simplemente son demasiado difíciles de seguir», dijo Sochacki. «Pero a medida que estos chefs robóticos identifican mejor y más rápido los ingredientes en los videos de comida, podrían usar sitios como YouTube para aprender una amplia gama de recetas».
La investigación fue apoyada en parte por Beko plc y el Consejo de Investigación de Ingeniería y Ciencias Físicas (EPSRC), parte de Investigación e Innovación del Reino Unido (UKRI).
