El sistema de identificación multimodal (MMID) permite identificar de forma automática artículos, dejando de esta manera a los códigos de barra de lado.

Los códigos de barra son esas etiquetas con barras verticales paralelas de distinto grosor y espaciadas entre sí que permiten identificar la mayoría de productos.

Para Amazón los códigos de barras no son una solución óptima, ya que en el proceso de catalogación en sus almacenes estos a veces se deterioran y su lectura se dificulta enormemente o bien incluso se llegan a perder. Por tanto, el objetivo de Amazón es: Avanzar hacia la automatización en el registro de la mercancía mediante el sistema MMID.

Este sistema se basa en el aprendizaje automático y emplea una cinta transportadora y una cámara que fotografía el artículo que transporta cada bandeja, con el fin de identificar "discrepancias virtuales-físicas", es decir, los casos en los que los elementos que contienen las bandejas no coinciden con los recogidos en el inventario.

El objetivo de este proyecto es combinar la tecnología MMID con robots para acelerar y hacer más precisa la entrega de paquetes. Tal y como explica Nontas Antonakos, responsable de dirigir el equipo de MMID, el resultado que se busca es “Resolver el problema, para que los robots puedan recoger artículos y procesarlos sin necesidad de encontrar y escanear un código de barras, resulta clave. Nos ayudará a hacer llegar los paquetes a los clientes con mayor precisión”

El proceso para alimentar la base de datos se inicia con una “biblioteca de imágenes” mediante fotografías de todos los objetos que pasan por los centros de embalaje. Cada imagen se traduce en una lista descriptiva de números, o un vector, además de tener las dimensiones del artículo en cuestión.

Las primeras pruebas que se llevaron a cabo con el sistema MMID en Polonia proporcionaron unas tasas de coincidencia del 75 y el 80 por ciento, y actualmente se están logrando tasas del 99 por ciento. Estos resultados se han ido alcanzando gracias al poder del Deep learning mediante el trabajo de algoritmos y del machine learning.