GPT-4 Vision : Les alternatives open source débarquent avec…

LLaVA 1.5 : Une alternative open source à GPT-4 Vision

Le domaine de l’intelligence artificielle générative connaît une période d’effervescence avec l’émergence des grands modèles langage multimodaux (LMM), tels que GPT-4 Vision d’OpenAI. Ces modèles révolutionnent notre interaction avec les systèmes d’IA en intégrant à la fois du texte et des images.

Cependant, la nature fermée et commerciale de certaines de ces technologies peut freiner leur adoption universelle. C’est dans ce contexte que la communauté open source se mobilise et propulse le modèle LLaVA 1.5 comme une alternative prometteuse à GPT-4 Vision.

La mécanique des LMM

Les LMM fonctionnent grâce à une architecture multicouche. Ils combinent un modèle pré-entraîné pour encoder les éléments visuels, un grand modèle de langage (LLM) pour comprendre et répondre aux instructions de l’utilisateur, ainsi qu’un connecteur multimodal pour faire le lien entre la vision et le langage.

Leur formation se déroule en deux étapes : une première phase d’alignement entre la vision et le langage, suivie d’un affinage pour répondre aux requêtes visuelles. Ce processus, bien qu’efficace, demande souvent beaucoup de ressources informatiques et nécessite une base de données riche et précise.

Les atouts de LLaVA 1.5

LLaVA 1.5 utilise le modèle CLIP pour l’encodage visuel et Vicuna pour le langage. Contrairement au modèle original LLaVA qui exploitait les versions textuelles de ChatGPT et GPT-4 pour l’affinage visuel, LLaVA 1.5 va plus loin en connectant le modèle de langage et l’encodeur visuel grâce à un perceptron multicouche (MLP). Cela permet d’enrichir sa base de données d’entraînement avec des questions-réponses visuelles. Cette mise à jour, qui comprend environ 600 000 exemples, a permis à LLaVA 1.5 de surpasser d’autres LMM open source sur 11 des 12 benchmarks multimodaux.

L’avenir des LMM open source

La démonstration en ligne de LLaVA 1.5, accessible à tous, révèle des résultats prometteurs même avec un budget limité. Cependant, une restriction subsiste : l’utilisation des données générées par ChatGPT limite son utilisation à des fins non commerciales.

Malgré cette limitation, LLaVA 1.5 ouvre une fenêtre sur l’avenir des LMM open source. Sa rentabilité, sa capacité à générer des données d’entraînement de manière évolutive et son efficacité dans l’affinage des instructions visuelles en font un prélude aux innovations à venir.

LLaVA 1.5 n’est que la première étape d’une mélodie qui résonnera au rythme des avancées de la communauté open source. En anticipant des modèles plus performants et accessibles, nous pouvons envisager un futur où la technologie de l’IA générative sera à la portée de tous, révélant ainsi le potentiel illimité de l’intelligence artificielle.