Google confirme qu’il utilise quelque chose de similaire à Muvera

Gary Illyes de Google a répondu aux questions lors de la récente plongée en direct de la recherche en direct en Asie quant à savoir s’ils utilisent ou non la nouvelle récupération multi-vecteurs via une méthode de récupération des encodages à dimension fixe (MUVERA) et également s’ils utilisent des modèles de fondation graphique.

Muvera

Google a récemment annoncé Muvera dans un article de blog et un document de recherche: une méthode qui améliore la récupération en transformant la recherche multi-vecteurs complexe en une recherche rapide à vecteur unique. Il comprime les ensembles d’incorporation de jetons dans des vecteurs de dimension fixe qui se rapprochent étroitement de leur similitude d’origine. Cela lui permet d’utiliser des méthodes de recherche optimisées à vecteur unique pour trouver rapidement de bons candidats, puis les ré-les-classés en utilisant une similitude multi-vecteurs exacte. Par rapport aux systèmes plus anciens comme Plaid, Muvera est plus rapide, récupère moins de candidats et améliore toujours le rappel, ce qui en fait une solution pratique pour une récupération à grande échelle.

Les points clés de Muvera sont:

• Muvera convertit les ensembles multi-vecteurs en vecteurs fixes en utilisant des codages dimensionnels fixes (FDE), qui sont des représentations à vecteur mono-vector d’ensembles multi-vecteurs.
• Ces FDE (codages dimensionnels fixes) correspondent assez étroitement aux comparaisons multi-vecteurs d’origine pour soutenir une récupération précise.
• Muvera Retrieval utilise des MIP (recherche maximale de produits intérieurs), une technique de recherche établie utilisée dans la récupération, ce qui facilite le déploiement à grande échelle.
• RERANKING: Après avoir utilisé une recherche rapide à vecteur unique (MIPS) pour réduire rapidement les correspondances les plus probables, Muvera les rantise en utilisant la similitude du chanfrein, une méthode de comparaison multi-vecteurs plus détaillée. Cette dernière étape restaure toute la précision de la récupération multi-vecteurs, vous obtenez donc à la fois la vitesse et la précision.
• Muvera est en mesure de trouver plus de documents précisément pertinents avec un temps de traitement inférieur à la ligne de base de la récupération de la technologie (plaid) à laquelle il a été comparé.

Google confirme qu’ils utilisent Muvera

José Manuel Morgal (Profil LinkedIn) en rapport Sa question à Gary Illyes de Google et sa réponse a été de demander en plaisantant ce qu’était Muvera, puis il a confirmé qu’ils en utilisaient une version:

C’est ainsi que la question et la réponse ont été décrites par José:

«Un article a été publié dans Google Research sur Muvera et il y a un article associé. Est-il actuellement en production dans la recherche?

Sa réponse a été de me demander ce qu’était Muvera haha, puis il a commenté qu’ils utilisaient quelque chose de similaire à Muvera mais ils ne l’appellent pas comme ça. « 

Google utilise-t-il des modèles de fondation graphique (GFMS)?

Google a récemment publié une annonce de blog sur une percée d’IA appelée modèle de fondation graphique.

Le modèle de fondation graphique de Google (GFM) est un type d’IA qui apprend des bases de données relationnelles en les transformant en graphiques, où les lignes deviennent des nœuds et les connexions entre les tableaux deviennent des bords.

Contrairement aux anciens modèles (modèles d’apprentissage automatique et réseaux de neurones graphiques (GNNS)) qui ne fonctionnent que sur un seul ensemble de données, les GFM peuvent gérer de nouvelles bases de données avec différentes structures et fonctionnalités sans recyclage sur les nouvelles données. Les GFM utilisent un grand modèle d’IA pour savoir comment les points de données se rapportent entre les tables. Cela permet aux GFM de trouver des modèles que les modèles réguliers manquent, et ils fonctionnent beaucoup mieux dans les tâches comme la détection du spam dans les systèmes à l’échelle de Google. Les GFM sont un grand pas en avant car ils apportent une flexibilité du modèle de fondation aux données structurées complexes.

Les modèles de fondation graphique représentent une réalisation notable car leurs améliorations ne sont pas incrémentielles. Ils sont une amélioration de l’ordre de grandeur, avec des gains de performance de 3x à 40x en précision moyenne.

José a ensuite demandé à Illyes si Google utilise des modèles de fondation graphique et Gary à nouveau en plaisantant en plaisantant sans savoir de quoi José parlait.

Il a raconté la question et la réponse:

«Un article a été publié dans Google Research sur Graph Foundation Models for Data, cette fois, il n’y a pas de papier qui y est associé. Est-il actuellement en production dans la recherche?

Sa réponse était la même qu’auparavant, me demandant quels modèles de fondation graphique pour les données, et il pensait que ce n’était pas en production. Il ne savait pas parce qu’il n’y a pas de papier associé et, d’autre part, il m’a commenté qu’il n’avait pas contrôlé ce qui est publié dans Google Research Blog. « 

Gary a exprimé son opinion selon laquelle le modèle Graph Foundation n’était pas actuellement utilisé dans la recherche. À ce stade, c’est la meilleure information que nous ayons.

Voir aussi: Le nouveau modèle de fondation graphique de Google améliore la précision jusqu’à 40X

GFM est-il prêt pour le déploiement à l’échelle?

L’annonce officielle du modèle de fondation du graphique indique qu’elle a été testée dans une tâche interne, la détection du spam dans les publicités, ce qui suggère fortement que de véritables systèmes internes et données ont été utilisés, et pas seulement des références ou des simulations académiques.

Voici ce que l’annonce de Google se rapporte:

«Faire fonctionner à Google Scale signifie traitement des graphiques de milliards de nœuds et de bords où notre environnement JAX et notre infrastructure TPU évolutive brille en particulier. de différentes tables, et donc manquer un contexte qui pourrait être utile pour des prédictions précises.

Plats à emporter

Gary Illyes de Google a confirmé qu’une forme de Muvera était utilisée chez Google. Sa réponse sur GFM semblait être exprimée comme une opinion, donc c’est un peu moins clair, car elle est liée en tant que Gary en disant qu’il pense que ce n’est pas en production.

Image en vedette par Shutterstock / Krakenimages.com