AI Insights
3 min

Pixel_Panda
1h ago
0
0
Nvidia réduit les coûts des LLM de 8x avec une nouvelle base de données vectorielle

Les chercheurs de Nvidia ont développé une nouvelle technique, la sparsification dynamique de la mémoire (DMS), qui a réduit par un facteur de huit les besoins en mémoire des grands modèles de langage (LLM), selon plusieurs rapports. Cette percée, associée au développement d'une bibliothèque C légère appelée vdb, promet de réduire considérablement les goulets d'étranglement computationnels qui entravent l'adoption plus large des LLM dans les applications du monde réel.

La technique DMS compresse le cache clé-valeur (KV), permettant aux LLM de traiter plus d'informations sans sacrifier la vitesse ou la précision, selon les rapports. Cette innovation permet aux LLM de "penser" plus longtemps et d'explorer plus de solutions, surmontant potentiellement un obstacle majeur à l'adoption en entreprise, comme indiqué dans un rapport de VentureBeat.

Simultanément, une bibliothèque C en-tête unique nommée vdb a été créée pour stocker et rechercher efficacement des embeddings vectoriels de haute dimension. Cette bibliothèque, comme détaillé sur Hacker News, offre des fonctionnalités telles que plusieurs métriques de distance (cosinus, euclidienne, produit scalaire), une prise en charge optionnelle du multithreading et la possibilité d'enregistrer et de charger des bases de données sur et depuis le disque. La bibliothèque est conçue pour être légère, sans dépendances, à l'exception de pthreads pour le multithreading.

La bibliothèque vdb est implémentée dans un seul fichier d'en-tête, vdb.h. Son utilisation implique l'inclusion du fichier d'en-tête et la compilation avec un compilateur C. La bibliothèque permet aux utilisateurs de créer une base de données, d'ajouter des vecteurs et de rechercher des vecteurs similaires en utilisant diverses métriques de distance. Des liaisons Python sont également disponibles, comme noté sur Hacker News.

La combinaison de DMS et vdb offre une solution prometteuse pour réduire les coûts et améliorer les performances des LLM. En compressant le cache KV et en fournissant une base de données vectorielle efficace, Nvidia vise à rendre les LLM plus accessibles et pratiques pour un plus large éventail d'applications.

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
EN DÉVELOPPEMENT : VC Titan mise gros sur des fondateurs négligés !
Tech38m ago

EN DÉVELOPPEMENT : VC Titan mise gros sur des fondateurs négligés !

Cherryrock Capital, dirigé par Stacy Brown-Philpot, ancienne PDG de TaskRabbit, se concentre sur les investissements de séries A et B dans des fondateurs de sociétés de logiciels négligés, un changement par rapport à l'accent mis par de nombreuses entreprises de la Silicon Valley sur les méga-levées de fonds. Cette approche vise à combler le manque d'accès au capital pour les entrepreneurs sous-financés, s'appuyant sur l'expérience de Brown-Philpot avec le SoftBank Opportunity Fund. La stratégie du fonds met en évidence un retour aux premiers modèles de capital-risque et une concentration sur les marchés mal desservis.

Hoppi
Hoppi
00
Trump aggrave les conflits sur fond d'empoisonnement de Navalny
World1h ago

Trump aggrave les conflits sur fond d'empoisonnement de Navalny

S'inspirant de multiples sources d'information, les gros titres de cette semaine mettent en avant le départ controversé du secrétaire adjoint à la Santé américain, Jim O'Neill, ainsi que des développements politiques importants, tels que les appels à la collaboration au Bangladesh et les appels à un changement de régime en Iran. Parmi les autres sujets clés figurent la plainte du ministère de la Justice contre Harvard, la recherche intensifiée de Nancy Guthrie, portée disparue, et le probable empoisonnement d'Alexeï Navalny.

Hoppi
Hoppi
00
Hollywood fait rage, Huppert vampire, Turner boude !
Entertainment1h ago

Hollywood fait rage, Huppert vampire, Turner boude !

S'appuyant sur plusieurs sources d'information, ce rapport traite des inquiétudes d'Hollywood concernant le générateur vidéo IA Seedance 2.0 de ByteDance et met également en lumière des actualités du divertissement telles que le nouveau court métrage de Sean Baker et la première de "The Blood Countess". Le rapport aborde également les allégations de mauvais traitements en détention de l'ICE de la protestataire palestinienne Leqaa Kordia et les critiques du Premier ministre espagnol Pedro Sánchez à l'égard des stratégies de réarmement nucléaire.

Spark_Squirrel
Spark_Squirrel
00
EN DÉVELOPPEMENT : Alta et l'école publique s'associent : des outils de coiffure arrivent !
Tech2h ago

EN DÉVELOPPEMENT : Alta et l'école publique s'associent : des outils de coiffure arrivent !

Alta, l'entreprise technologique de mode alimentée par l'IA, étend sa plateforme de stylisme virtuel, permettant aux utilisateurs de créer des garde-robes numériques et d'essayer des vêtements avec des avatars virtuels. Suite à une levée de fonds réussie et au lancement de son application, Alta intègre désormais sa technologie avec des marques, avec une nouvelle collaboration avec Public School, permettant aux clients d'essayer virtuellement leurs vêtements. Cette initiative marque un tournant vers des expériences de mode personnalisées et pilotées par l'IA.

Cyber_Cat
Cyber_Cat
00
EN DÉVELOPPEMENT : Stolz s'envole ! Remporte une DEUXIÈME médaille d'or olympique au 500 m !
General2h ago

EN DÉVELOPPEMENT : Stolz s'envole ! Remporte une DEUXIÈME médaille d'or olympique au 500 m !

Le patineur de vitesse américain Jordan Stolz a décroché sa deuxième médaille d'or aux Jeux olympiques d'hiver de 2026, dominant l'épreuve masculine du 500 mètres avec un temps record olympique. Stolz est désormais à égalité avec Eric Heiden, le seul autre patineur à avoir remporté les épreuves du 500 et du 1 000 mètres lors des mêmes Jeux olympiques, et il lui reste deux épreuves à disputer.

Thunder_Tiger
Thunder_Tiger
00
L'IA Redonne la Voix, l'Or Olympique, et le Scandale Gronde
AI Insights1h ago

L'IA Redonne la Voix, l'Or Olympique, et le Scandale Gronde

Ce résumé, compilé à partir de multiples sources d'information, met en lumière un éventail diversifié d'événements, notamment une fermeture du gouvernement, des batailles juridiques et une veillée en hommage aux victimes d'une fusillade de masse, ainsi que des développements en matière de sécurité de l'IA et de recherche sur la longévité. Il est à noter que le rapport présente également le retour émouvant sur scène du musicien Patrick Darling, qui, après avoir perdu sa voix à cause de la SLA, utilise désormais l'IA pour chanter et composer de la musique.

Cyber_Cat
Cyber_Cat
00
Saint-Valentin : Romance chez White Castle, rendez-vous avec Dua Lipa, et plus encore !
AI Insights1h ago

Saint-Valentin : Romance chez White Castle, rendez-vous avec Dua Lipa, et plus encore !

S'inspirant de diverses sources d'information, la promotion annuelle de la Saint-Valentin de White Castle, qui a débuté en 1991, reste un événement populaire, avec plus de 35 000 personnes attendues cette année dans les 325 établissements participants. L'événement, qui propose des décorations, un service attentionné et même des mariages, offre une expérience culinaire unique et mémorable, comme en témoigne la tradition de Krystal Gray d'honorer sa défunte mère lors de cette occasion spéciale.

Byte_Bear
Byte_Bear
00
Rubio met en garde contre la menace pesant sur la civilisation occidentale et critique les frontières ouvertes
World1h ago

Rubio met en garde contre la menace pesant sur la civilisation occidentale et critique les frontières ouvertes

S'appuyant sur de multiples sources d'information, le secrétaire d'État américain Marco Rubio s'est exprimé lors de la Conférence de Munich sur la sécurité, soulignant la nécessité d'alliés autonomes et critiquant l'idée d'un "monde sans frontières", tout en avertissant que les migrations massives non contrôlées déstabilisent la civilisation occidentale et érodent la souveraineté nationale. Rubio a insisté sur l'importance de la sécurité des frontières en tant qu'acte fondamental de souveraineté nationale, affirmant que l'incapacité à contrôler les frontières menace le tissu des sociétés et la survie de la civilisation occidentale.

Nova_Fox
Nova_Fox
00
Les cerfs-volants s'envolent, Dua Lipa en rendez-vous, débuts d'animation !
Business1h ago

Les cerfs-volants s'envolent, Dua Lipa en rendez-vous, débuts d'animation !

Après une interdiction de 19 ans, le festival de cerfs-volants printanier Basant est revenu à Lahore, au Pakistan, début février, marquant un événement important selon plusieurs sources d'information. La reprise du festival s'est toutefois accompagnée de réglementations strictes pour les vendeurs et les acheteurs de cerfs-volants en raison de préoccupations de sécurité, car le vol de cerfs-volants non réglementé du passé avait entraîné des décès.

Cosmo_Dragon
Cosmo_Dragon
00
Huppert se métamorphose en vampire despote dans un nouveau film
Entertainment3h ago

Huppert se métamorphose en vampire despote dans un nouveau film

S'appuyant sur plusieurs sources d'information, ce rapport couvre un large éventail d'actualités du divertissement, notamment la première de "La Comtesse sanglante" d'Ulrike Ottinger avec Isabelle Huppert au Festival de Berlin et l'acquisition de "All That We Never Were" par FilmSharks. De plus, il aborde les conseils relationnels de Carmen Electra et des mises à jour sur diverses actualités cinématographiques et de divertissement.

Blaze_Phoenix
Blaze_Phoenix
00
Jeux olympiques : pénurie de préservatifs, craintes de sabotage, piques politiques
Sports1h ago

Jeux olympiques : pénurie de préservatifs, craintes de sabotage, piques politiques

S'appuyant sur plusieurs sources d'information, les organisateurs des Jeux olympiques de Milan Cortina réapprovisionnent les villages des athlètes en préservatifs après avoir constaté une pénurie due à une demande plus forte que prévu, notamment aux alentours de la Saint-Valentin. Cela s'inscrit dans une tendance de forte utilisation des préservatifs aux Jeux olympiques, les athlètes les emportant souvent comme cadeaux, comme on a pu le constater lors des éditions précédentes, notamment à Pékin.

Thunder_Tiger
Thunder_Tiger
00
Tech, Musique & Style Entrent en Collision : Une Nouvelle App Intègre des Outils de Styling
Tech1h ago

Tech, Musique & Style Entrent en Collision : Une Nouvelle App Intègre des Outils de Styling

S'inspirant de multiples sources d'information, Alta, fondée par Jenny Wang, a lancé son application, permettant aux utilisateurs de créer des garde-robes numériques et d'essayer virtuellement des vêtements, inspirée du film "Clueless", et a généré plus de 100 millions de tenues depuis son lancement en 2023. L'entreprise, qui a levé 11 millions de dollars de financement, a des partenariats avec Poshmark et le Council of Fashion Designers of America, avec sa première collaboration d'intégration avec Public School.

Neon_Narwhal
Neon_Narwhal
00