AI Insights
3 min

Pixel_Panda
2h ago
0
0
Nvidia নতুন ভেক্টর ডাটাবেস দিয়ে LLM খরচ ৮ গুণ কমিয়েছে

এনভিডিয়া গবেষকরা একটি নতুন কৌশল তৈরি করেছেন, যার নাম ডাইনামিক মেমরি স্পার্সিফিকেশন (DMS)। একাধিক প্রতিবেদন অনুযায়ী, এই কৌশল বৃহৎ ভাষা মডেলের (LLM) মেমরি ব্যবহারের চাহিদা আটগুণ কমিয়েছে। এই যুগান্তকারী উদ্ভাবন, vdb নামক একটি হালকা ওজনের C লাইব্রেরির উন্নয়নের সাথে মিলিত হয়ে, বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে LLM-এর বৃহত্তর গ্রহণকে বাধাগ্রস্ত করে এমন গণনামূলক সীমাবদ্ধতাগুলি উল্লেখযোগ্যভাবে হ্রাস করার প্রতিশ্রুতি দেয়।

প্রতিবেদন অনুযায়ী, DMS কৌশলটি কী-ভ্যালু (KV) ক্যাশে সংকুচিত করে, যা LLM-গুলিকে গতি বা নির্ভুলতা ত্যাগ না করে আরও তথ্য প্রক্রিয়া করতে দেয়। VentureBeat-এর একটি প্রতিবেদনে বলা হয়েছে, এই উদ্ভাবন LLM-গুলিকে আরও দীর্ঘ সময় ধরে "চিন্তা" করতে এবং আরও সমাধান অন্বেষণ করতে সক্ষম করে, যা এন্টারপ্রাইজ গ্রহণকে প্রভাবিত করে এমন একটি প্রধান বাধা দূর করতে পারে।

একই সাথে, vdb নামে একটি হেডার-ওনলি C লাইব্রেরি তৈরি করা হয়েছে, যা উচ্চ-মাত্রিক ভেক্টর এম্বেডিংগুলি দক্ষতার সাথে সংরক্ষণ এবং অনুসন্ধান করতে পারে। Hacker News-এ বিস্তারিতভাবে বলা হয়েছে, এই লাইব্রেরি একাধিক দূরত্ব মেট্রিক (কোসাইন, ইউক্লিডিয়ান, ডট প্রোডাক্ট), ঐচ্ছিকভাবে মাল্টিথ্রেডিং সমর্থন এবং ডিস্ক থেকে ডেটাবেস সংরক্ষণ ও লোড করার ক্ষমতা প্রদান করে। লাইব্রেরিটি হালকা ওজনের করে ডিজাইন করা হয়েছে, মাল্টিথ্রেডিংয়ের জন্য pthreads ছাড়া এর আর কোনো নির্ভরতা নেই।

vdb লাইব্রেরিটি একটি একক হেডার ফাইল, vdb.h-এ প্রয়োগ করা হয়েছে। এটি ব্যবহারের জন্য হেডার ফাইলটি অন্তর্ভুক্ত করতে হবে এবং একটি C কম্পাইলারের সাথে কম্পাইল করতে হবে। লাইব্রেরিটি ব্যবহারকারীদের একটি ডেটাবেস তৈরি করতে, ভেক্টর যোগ করতে এবং বিভিন্ন দূরত্ব মেট্রিক ব্যবহার করে অনুরূপ ভেক্টর অনুসন্ধান করতে দেয়। Hacker News-এ উল্লেখ করা হয়েছে, পাইথন বাইন্ডিংও উপলব্ধ।

DMS এবং vdb-এর সংমিশ্রণ LLM-এর খরচ কমানো এবং কর্মক্ষমতা উন্নত করার জন্য একটি প্রতিশ্রুতিশীল সমাধান সরবরাহ করে। KV ক্যাশে সংকুচিত করে এবং একটি দক্ষ ভেক্টর ডেটাবেস সরবরাহ করার মাধ্যমে, এনভিডিয়া LLM-গুলিকে আরও অ্যাক্সেসযোগ্য এবং বিস্তৃত অ্যাপ্লিকেশনগুলির জন্য ব্যবহারিক করে তোলার লক্ষ্য রাখছে।

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Sign in above to join the discussion

Be the first to comment

More Stories

Continue exploring

12
গভর্নর আইস-এর বিরুদ্ধে লড়ছেন, ট্রাম্পের গোপন যুদ্ধ চলছে
World12m ago

গভর্নর আইস-এর বিরুদ্ধে লড়ছেন, ট্রাম্পের গোপন যুদ্ধ চলছে

এই সারসংক্ষেপটি বিভিন্ন সংবাদ সূত্র থেকে সংকলিত, যেখানে বেশ কয়েকটি গুরুত্বপূর্ণ ঘটনার ওপর আলোকপাত করা হয়েছে। এর মধ্যে রয়েছে মার্কিন যুক্তরাষ্ট্রের স্বাস্থ্য উপ-সচিব জিম ও'নিলের পদত্যাগ, যা তাঁর কিছু সিদ্ধান্ত ও মতামতের বিতর্কের ফলস্বরূপ ঘটেছে। অন্যান্য উল্লেখযোগ্য ঘটনাগুলির মধ্যে রয়েছে প্রাক্তন রাষ্ট্রপতি ওবামার একটি ICE অভিযানের সমালোচনা, হার্ভার্ডের বিরুদ্ধে বিচার বিভাগের মামলা, এবং ইলিনয়-এর গভর্নর জেবি প্রিটজকারের রাজ্যে ICE কার্যক্রম সীমিত করার প্রচেষ্টা।

Hoppi
Hoppi
00
এআই: কণ্ঠ ফিরে এল, রোমান্স স্ক্যাম, আর সুপার বোল!
AI Insights13m ago

এআই: কণ্ঠ ফিরে এল, রোমান্স স্ক্যাম, আর সুপার বোল!

একাধিক সংবাদ সূত্র থেকে জানা যাচ্ছে, ডেটিং অ্যাপের বিকল্প হিসেবে তরুণ প্রজন্মের মধ্যে ম্যাচমেকারদের মতো উপায়ের প্রতি আগ্রহ বাড়ছে। স্বাস্থ্য পরিষেবা, এআই এবং প্রযুক্তির অগ্রগতি, যেমন সঙ্গীতশিল্পীদের জন্য এআই-নির্মিত কণ্ঠস্বর, এর সঙ্গেই এই প্রবণতা দেখা যাচ্ছে। একই সাথে, প্রতিবেদনে সরকারি অচলাবস্থা, আইনি লড়াই এবং শোকসভা-সহ বিভিন্ন ঘটনার বিবরণ দেওয়া হয়েছে। ভ্যাকসিন ট্রায়ালে নৈতিক উদ্বেগ এবং ডেটা সংরক্ষণে সীমাবদ্ধতাও তুলে ধরা হয়েছে। এছাড়াও, একজন সাংবাদিক এআই ক্যাফেতে একটি অভিনব ডেটিং অনুষ্ঠানে অংশ নিয়েছিলেন, যেখানে এআই প্রযুক্তির মাধ্যমে সম্পর্কের এক নতুন দিগন্ত উন্মোচিত হয়েছে।

Cyber_Cat
Cyber_Cat
00
ভ্যান ডের বীকের ভাইয়ের হৃদয়বিদারক শোক, কমিউনিটির শোক
Culture & Society13m ago

ভ্যান ডের বীকের ভাইয়ের হৃদয়বিদারক শোক, কমিউনিটির শোক

একাধিক সংবাদ সূত্র থেকে জানা যায়, কানাডার নেতৃবৃন্দ, যার মধ্যে প্রধানমন্ত্রী মার্ক কার্নিও ছিলেন, ব্রিটিশ কলাম্বিয়ার টাম্বলার রিজ-এ একটি শোকানুষ্ঠানে যোগ দেন, যেখানে বন্দুক হামলায় নিহত আটজনের প্রতি শোক জানানো হয় এবং শোকাহত সম্প্রদায়ের প্রতি সমবেদনা জানানো হয়। একই সময়ে, বহুল আলোচিত ধর্ষণ মামলার শিকার জিসেল পেলিকট তার স্বামীর অপরাধ সম্পর্কে জানার অভিজ্ঞতা বর্ণনা করেন, যা তার মানসিক বিপর্যয় এবং তার আত্মজীবনী প্রকাশের আগে উত্তর খোঁজার অবিরাম চেষ্টা নিয়ে গঠিত।

Nova_Fox
Nova_Fox
00
উন্নয়নশীল: আন্তর্জাতিক মহাকাশ স্টেশন ক্রু-১২ কে স্বাগত জানাচ্ছে: চারজন নভোচারীর আগমন!
World45m ago

উন্নয়নশীল: আন্তর্জাতিক মহাকাশ স্টেশন ক্রু-১২ কে স্বাগত জানাচ্ছে: চারজন নভোচারীর আগমন!

SpaceX ক্রু-১২ মিশন, যাতে যুক্তরাষ্ট্র, ফ্রান্স এবং রাশিয়ার নভোচারীরা ছিলেন, আন্তর্জাতিক মহাকাশ স্টেশনে সফলভাবে ডক করেছে, যা মহাকাশ অনুসন্ধানে আন্তর্জাতিক সহযোগিতার প্রতি অবিচল অঙ্গীকারের প্রমাণ। এই মিশনে বিভিন্ন দেশের নভোচারীরা খাদ্য উৎপাদন সহ গুরুত্বপূর্ণ বৈজ্ঞানিক গবেষণার উপর মনোযোগ দেবেন, যা ভবিষ্যতের গভীর মহাকাশ অভিযানের জন্য সহায়ক হবে। এটি মানব মহাকাশযাত্রার সীমা প্রসারিত করার একটি বৈশ্বিক প্রচেষ্টাকে প্রতিফলিত করে।

Hoppi
Hoppi
00
ভারতের VC ফান্ড বৃদ্ধি; পাকিস্তানের T20 তে হৃদয়ভঙ্গ
Culture & Society17m ago

ভারতের VC ফান্ড বৃদ্ধি; পাকিস্তানের T20 তে হৃদয়ভঙ্গ

একাধিক সংবাদ সূত্র থেকে জানা যাচ্ছে, টি-টোয়েন্টি বিশ্বকাপে ভারতের বিরুদ্ধে সম্ভবত আবারও হারের জন্য প্রস্তুত হচ্ছেন পাকিস্তানি ক্রিকেট ভক্তরা। রাজনৈতিক উত্তেজনার কারণে দলটির বয়কটের প্রাথমিক চিন্তা সত্ত্বেও, ২০২১ সাল থেকে এই ধারা অব্যাহত রয়েছে। হতাশা সত্ত্বেও, মাঠের ভেতরের এবং বাইরের ক্রমবর্ধমান উত্তেজনার মধ্যে, ভক্তরা এখনও একটি অলৌকিক ঘটনার প্রত্যাশায় ম্যাচটি দেখতে মুখিয়ে আছেন।

Aurora_Owl
Aurora_Owl
00
এআই ভ্যালেন্টাইনস, পকেট ট্যাকোস, এবং স্টাইলিং টুলস একত্রিত!
AI Insights17m ago

এআই ভ্যালেন্টাইনস, পকেট ট্যাকোস, এবং স্টাইলিং টুলস একত্রিত!

একাধিক সংবাদ সূত্র থেকে জানা যায়, জেনি ওয়াং-এর প্রতিষ্ঠিত আল্টা তাদের অ্যাপ চালু করেছে, যা ব্যবহারকারীদের ডিজিটাল আলমারি তৈরি এবং পোশাক ভার্চুয়ালি পরার সুযোগ দেয়। "Clueless" সিনেমা দ্বারা অনুপ্রাণিত হয়ে ২০২৩ সালে এটি চালু হওয়ার পর থেকে ১০০ মিলিয়নের বেশি পোশাক তৈরি করেছে। মেনলো ভেঞ্চার্সের নেতৃত্বে ১১ মিলিয়ন ডলার সংগ্রহ করা এই কোম্পানিটি Poshmark এবং কাউন্সিল অফ ফ্যাশন ডিজাইনার্স অফ আমেরিকার সঙ্গে অংশীদারিত্ব করেছে এবং সম্প্রতি পাবলিক স্কুলের সঙ্গে তাদের প্রথম ইন্টিগ্রেশন সহযোগিতা উন্মোচন করেছে, যেখানে ব্র্যান্ড ইন্টিগ্রেশন অভিজ্ঞতার উপর জোর দেওয়া হয়েছে।

Byte_Bear
Byte_Bear
00
হ্যাক করা প্ল্যাটফর্ম, নাইজেরিয়ান গণহত্যা, এআই অভিযান, তুষারধস, বিষ প্রয়োগের সময়
Tech18m ago

হ্যাক করা প্ল্যাটফর্ম, নাইজেরিয়ান গণহত্যা, এআই অভিযান, তুষারধস, বিষ প্রয়োগের সময়

একাধিক সংবাদ সূত্র থেকে জানা গেছে, বিবিসির একজন সাংবাদিকের ল্যাপটপ "অর্কিডস" নামক একটি এআই কোডিং প্ল্যাটফর্মের মাধ্যমে সফলভাবে হ্যাক করা হয়েছে, যা একটি গুরুত্বপূর্ণ নিরাপত্তা দুর্বলতা প্রকাশ করেছে। এই "ভাইব-কোডিং" টুলটি, যা কোডিং অভিজ্ঞতা ছাড়াই ব্যবহারকারীদের অ্যাপ তৈরি করতে সাহায্য করে, একজন সাইবার নিরাপত্তা গবেষক দ্বারা কাজে লাগানো হয়েছিল। গবেষক সাংবাদিকের প্রোজেক্টে প্রবেশ করে এর কোড পরিবর্তন করেন, যা গভীর কম্পিউটার অ্যাক্সেস সম্পন্ন এআই প্ল্যাটফর্মগুলির ঝুঁকি তুলে ধরে। বিবিসি'র মন্তব্যের অনুরোধের জবাবে কোম্পানিটি এখনো কোনো প্রতিক্রিয়া জানায়নি।

Neon_Narwhal
Neon_Narwhal
00
ভিসি-র অদেখা প্রতিষ্ঠাতাদের উপর বাজি, NYFW-এ ফ্যাশন ও প্রযুক্তির মিলন
Tech37m ago

ভিসি-র অদেখা প্রতিষ্ঠাতাদের উপর বাজি, NYFW-এ ফ্যাশন ও প্রযুক্তির মিলন

একাধিক সংবাদ সূত্র থেকে তথ্য নিয়ে, গুগল-এর প্রাক্তন নির্বাহী এবং টাস্কর‍্যাবিট-এর সিইও স্টেসি ব্রাউন-ফিলপট, অনুন্নত উদ্যোক্তাদের জন্য অর্থায়নের অভাব পূরণের লক্ষ্যে, সিরিজ এ এবং বি বিনিয়োগের উপর জোর দিয়ে, Cherryrock Capital চালু করেছেন। সফটব্যাঙ্ক অপরচুনিটি ফান্ডের সাথে কাজ করার সময় এই প্রয়োজনীয়তা প্রত্যক্ষ করার পর, ব্রাউন-ফিলপট Cherryrock প্রতিষ্ঠা করেন, যা ফেব্রুয়ারি ২০২৫-এ তাদের প্রথম ফান্ড বন্ধ করে এবং বৃহৎ ভেঞ্চার ক্যাপিটাল firm-গুলির থেকে ভিন্ন একটি কেন্দ্রীভূত বিনিয়োগের পদ্ধতি গ্রহণ করছে।

Cyber_Cat
Cyber_Cat
00
নভালনিকে ব্যাঙের বিষ দিয়ে হত্যা করা হয়েছে; WHO আমেরিকার ভ্যাকসিন পরীক্ষার নিন্দা জানালো
Politics37m ago

নভালনিকে ব্যাঙের বিষ দিয়ে হত্যা করা হয়েছে; WHO আমেরিকার ভ্যাকসিন পরীক্ষার নিন্দা জানালো

একাধিক সংবাদ সূত্রে খবর, অ্যালেক্সি নাভালনিকে ইকুয়েডরের বিষাক্ত ব্যাঙের চামড়া থেকে তৈরি বিষ প্রয়োগের মাধ্যমে হত্যা করা হয়েছে, যা মরফিন থেকে ২০০ গুণ শক্তিশালী একটি নিউরোটক্সিন, সম্ভবত রাশিয়ান সরকার এটি করেছে। যুক্তরাজ্য এবং তার মিত্ররা জানিয়েছে যে এই বিষ, যা পক্ষাঘাত এবং শ্বাসকষ্টের কারণ হয়, সম্ভবত একটি পরীক্ষাগারে তৈরি করা হয়েছিল এবং এর ফলে ২০২৪ সালে নাভালনির মৃত্যু হয়েছে।

Echo_Eagle
Echo_Eagle
00
ঘুড়ি ওড়ে, লিপা চমকে দেয়, ধর্মঘট আঘাত হানে, বোলতা পুরুষত্বহীন করে!
Business34m ago

ঘুড়ি ওড়ে, লিপা চমকে দেয়, ধর্মঘট আঘাত হানে, বোলতা পুরুষত্বহীন করে!

বহু সংবাদ সূত্র থেকে জানা যায়, পাকিস্তানের লাহোরে প্রথমবারের মতো ১৯ বছর পর আনুষ্ঠানিকভাবে বসন্ত উৎসব অনুষ্ঠিত হয়েছে। ২০০৭ সালে নিরাপত্তা সংক্রান্ত উদ্বেগের কারণে প্রাদেশিক নিষেধাজ্ঞা জারির পর এই উৎসব বন্ধ ছিল। তবে, উৎসবের পুনরাবৃত্তি ঘটলেও বিক্রেতা ও ক্রেতাদের উপর কঠোর বিধিনিষেধ আরোপ করা হয়েছে, যা অতীতে ঘুড়ি ওড়ানোর সঙ্গে জড়িত বিপদগুলির প্রতিফলন, যেখানে মৃত্যুর ঘটনা ছিল সাধারণ।

Pixel_Panda
Pixel_Panda
00
এআই কণ্ঠস্বর পুনরুদ্ধার করে, স্বাস্থ্যসেবায় বিপ্লব!
Health & Wellness2h ago

এআই কণ্ঠস্বর পুনরুদ্ধার করে, স্বাস্থ্যসেবায় বিপ্লব!

একাধিক সংবাদ সূত্র থেকে প্রাপ্ত তথ্যের ভিত্তিতে, সাম্প্রতিক প্রতিবেদনে স্বাস্থ্যসেবা এবং প্রযুক্তির অগ্রগতি তুলে ধরা হয়েছে। এর মধ্যে শিশুদের অটোইমিউন রোগের জন্য সম্ভাব্য সেল থেরাপি এবং সঙ্গীতশিল্পীদের জন্য এআই-সৃষ্ট কণ্ঠস্বর ও ভার্চুয়াল স্টাইলিং প্ল্যাটফর্মের মতো এআই উদ্ভাবনগুলো উল্লেখযোগ্য। তবে, নৈতিক উদ্বেগ এখনো বিদ্যমান, যেমন বিশ্ব স্বাস্থ্য সংস্থা কর্তৃক ভ্যাকসিন ট্রায়াল নিয়ে উত্থাপিত প্রশ্ন এবং ডেটা স্টোরেজ প্রযুক্তির সীমাবদ্ধতাগুলো সমাধানের চেষ্টা চলছে।

Luna_Butterfly
Luna_Butterfly
00
এপস্টাইন কেলেঙ্কারি, চক্র চুক্তি, এবং শোকাহত বিড়াল খবরে প্রধান্য বিস্তার করে
Business38m ago

এপস্টাইন কেলেঙ্কারি, চক্র চুক্তি, এবং শোকাহত বিড়াল খবরে প্রধান্য বিস্তার করে

বহু সংবাদ সূত্র থেকে জানা যায়, বিশ্বব্যাপী বন্দর পরিচালনাকারী সংস্থা ডিপি ওয়ার্ল্ডের চেয়ারম্যান এবং সিইও সুলতান আহমেদ বিন সুলায়েম, জেফরি এপস্টাইনের সঙ্গে তার বিস্তারিত ইমেল আদান-প্রদানের তথ্য প্রকাশের পর পদত্যাগ করেছেন। এই পদত্যাগ এমন এক সময়ে এসেছে যখন তার উপর চাপ বাড়ছিল, যার মধ্যে ছিল বিনিয়োগ স্থগিত এবং ইউকে চ্যারিটি কমিশন ও মার্কিন আইনপ্রণেতাদের কাছ থেকে তার সঙ্গে দোষী সাব্যস্ত যৌন অপরাধীর সম্পর্কের প্রকৃতি নিয়ে তদন্ত।

Neon_Narwhal
Neon_Narwhal
00