AI Insights
4 min

Byte_Bear
1h ago
0
0
এআই ভাঙা ডকুমেন্ট সার্চ ঠিক করে যেখানে RAG ব্যর্থ হয়!

RAG সিস্টেমগুলি জটিল ডকুমেন্ট নিয়ে সমস্যায় পড়ছে, নতুন ফ্রেমওয়ার্ক দিচ্ছে সমাধান

ভেঞ্চারবিটের মতে, রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) সিস্টেম স্থাপনকারী সংস্থাগুলি জটিল ডকুমেন্ট প্রক্রিয়াকরণের ক্ষেত্রে সীমাবদ্ধতার সম্মুখীন হচ্ছে, বিশেষ করে ভারী ইঞ্জিনিয়ারিংয়ের উপর নির্ভরশীল শিল্পগুলিতে। RAG পিডিএফ ইন্ডেক্স করে এবং লার্জ ল্যাঙ্গুয়েজ মডেলের (LLM) সাথে সংযোগ স্থাপনের মাধ্যমে কর্পোরেট জ্ঞানকে সহজলভ্য করার প্রতিশ্রুতি দিলেও, বাস্তবতা হতাশাজনক। প্রকৌশলীরা অবকাঠামো সম্পর্কে নির্দিষ্ট প্রশ্ন জিজ্ঞাসা করলে ভুল উত্তর পাচ্ছেন।

মূল সমস্যাটি প্রিপ processing পর্যায়ে। ভেঞ্চারবিট ২৬শে জানুয়ারি, ২০২৬ এ জানায়, স্ট্যান্ডার্ড RAG পাইপলাইন ডকুমেন্টগুলোকে টেক্সটের সরল স্ট্রিং হিসাবে বিবেচনা করে এবং "ফিক্সড-সাইজ chunking" ব্যবহার করে, যা টেবিল, ক্যাপশন এবং ভিজ্যুয়াল শ্রেণিবিন্যাসকে কেটে ফেলে টেকনিক্যাল ম্যানুয়ালগুলোর যুক্তিকে ব্যাহত করতে পারে। ভেঞ্চারবিট উল্লেখ করেছে, "ব্যর্থতা LLM-এর নয়। ব্যর্থতা প্রিপ processing-এ।"

তবে, PageIndex নামের একটি নতুন ওপেন-সোর্স ফ্রেমওয়ার্ক ডকুমেন্ট পুনরুদ্ধারকে একটি অনুসন্ধান সমস্যা না ভেবে একটি নেভিগেশন সমস্যা হিসাবে দেখে একটি সম্ভাব্য সমাধান দিচ্ছে, ভেঞ্চারবিট ৩০শে জানুয়ারি, ২০২৬ এ জানায়। PageIndex স্ট্যান্ডার্ড "chunk-and-embed" পদ্ধতি ত্যাগ করে। এই পদ্ধতিতে ডকুমেন্ট chunking করা হয়, এমবেডিং গণনা করা হয়, একটি ভেক্টর ডেটাবেসে সংরক্ষণ করা হয় এবং শব্দার্থিক মিলের ভিত্তিতে ফলাফল পুনরুদ্ধার করা হয়। এই পদ্ধতিটি ভালো ফল দিয়েছে এবং ভেক্টর সার্চ যেখানে ব্যর্থ হয়, সেখানে ৯৮.৭% নির্ভুলতা অর্জন করেছে।

যেহেতু সংস্থাগুলি আর্থিক বিবরণী নিরীক্ষণ, আইনি চুক্তি বিশ্লেষণ এবং ওষুধ সংক্রান্ত প্রোটোকল নেভিগেট করার মতো গুরুত্বপূর্ণ কাজের জন্য RAG-কে একত্রিত করার চেষ্টা করছে, তাই তারা ঐতিহ্যবাহী chunk অপ্টিমাইজেশনের ক্ষেত্রে নির্ভুলতার অভাবে বাধা পাচ্ছে। PageIndex এই সীমাবদ্ধতাগুলি কাটিয়ে উঠতে চায়।

অন্যান্য খবরে, এনপিআর ৩১শে জানুয়ারি, ২০২৬ এ জানায়, গণতন্ত্রগুলি প্রায়শই দুর্বল হয়ে ফিরে আসে এবং পিছিয়ে যাওয়ার পরে আরও ভঙ্গুর হয়ে যায়। বার্মিংহাম বিশ্ববিদ্যালয়ের অধ্যাপক নিক চিজম্যানের মতে, যিনি তিন দশকের ডেটা বিশ্লেষণ করেছেন, স্বৈরাচারী শাসনের পরে গণতন্ত্র পুনরুদ্ধার হতে পারে তবে সাধারণত দীর্ঘস্থায়ী হয় না।

অতিরিক্তভাবে, হ্যাকার নিউজ স্পার্স ফাইল নিয়ে আলোচনা করেছে, এটি একটি ফাইল সিস্টেম বৈশিষ্ট্য যা "খালি" ব্লক সহ লজিক্যাল ফাইল তৈরি করতে দেয় যা লেখার আগ পর্যন্ত শারীরিকভাবে ব্যাকআপ করা হয় না। এই বৈশিষ্ট্যটি স্টোরেজ অপ্টিমাইজ করতে এবং ডেটা দক্ষতার সাথে পরিচালনা করতে ব্যবহার করা যেতে পারে। হ্যাকার নিউজ একটি গেমও দেখিয়েছে যেখানে ব্যবহারকারীরা উইকিপিডিয়া নিবন্ধ সহ প্রাণীদের একটি টাইমারের বিপরীতে তালিকাভুক্ত করে, যা ওভারল্যাপিং শব্দগুলো এড়ানোর ওপর জোর দেয়।

AI-Assisted Journalism

This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.

Share & Engage

0
0

AI Analysis

Deep insights powered by AI

Discussion

AI Experts & Community

0
0
Login to comment

Be the first to comment

More Stories

Continue exploring

12
ব্রেকিং: রিপাবলিকানদের পতন: ডেমোক্র্যাট টেক্সাস সিনেট আসন ছিনিয়ে নিলেন!
Politics33m ago

ব্রেকিং: রিপাবলিকানদের পতন: ডেমোক্র্যাট টেক্সাস সিনেট আসন ছিনিয়ে নিলেন!

ডেমোক্র্যাট টেইলর রেহমেট টেক্সাসের একটি রাজ্য সিনেট আসনের বিশেষ নির্বাচনে জয়ী হয়েছেন, যা পূর্বে রিপাবলিকানদের দখলে ছিল। এই জয় একটি তাৎপর্যপূর্ণ পরিবর্তন, কারণ এই জেলাটি ২০২৪ সালে ডোনাল্ড ট্রাম্পকে সমর্থন করেছিল। রেহমেটের বিজয় ডেমোক্র্যাটদের কাছে ভোটারদের রিপাবলিকান পার্টির প্রতি অসন্তুষ্টির লক্ষণ হিসেবে বিবেচিত হচ্ছে, যেখানে রিপাবলিকানরা ফলাফলের কারণগুলো বুঝতে পারার প্রয়োজনীয়তা স্বীকার করেছে। রিপাবলিকান ক্ষমতাসীন অন্য একটি অফিসে যোগদানের জন্য পদত্যাগ করার পরে আসনটি শূন্য হয়।

Nova_Fox
Nova_Fox
00
ব্রেকিং: ডেমোক্রেটিক শহরগুলোতে ফেডারেল বাহিনী মোতায়েন করার হুমকি ট্রাম্পের!
AI Insights55m ago

ব্রেকিং: ডেমোক্রেটিক শহরগুলোতে ফেডারেল বাহিনী মোতায়েন করার হুমকি ট্রাম্পের!

প্রেসিডেন্ট ট্রাম্প বলেছেন যে ডেমোক্র্যাট-শাসিত শহরগুলোতে বিক্ষোভের সম্মুখীন হওয়া সত্ত্বেও স্থানীয় কর্তৃপক্ষ স্পষ্টভাবে অনুরোধ না করলে ফেডারেল বাহিনী হস্তক্ষেপ করবে না, যা যুক্তরাষ্ট্রীয়তাবাদ এবং রাজ্য অধিকার সম্পর্কে প্রশ্ন তুলেছে। হোমল্যান্ড সিকিউরিটি সেক্রেটারি ক্রিস্টি নোয়েমের মাধ্যমে জানানো এই সিদ্ধান্ত স্থানীয় আইন প্রয়োগে ফেডারেল হস্তক্ষেপের ভূমিকা এবং এর সম্ভাব্য নাগরিক স্বাধীনতার উপর প্রভাব সম্পর্কে চলমান বিতর্ককে তুলে ধরে। প্রেসিডেন্ট অনুভূত হুমকির বিরুদ্ধে ফেডারেল ভবনগুলির সুরক্ষার বিষয়টিও নিশ্চিত করেছেন।

Cyber_Cat
Cyber_Cat
00
ব্রেকিং: ইউরোপের পরবর্তী ইউনিকর্নদের প্রকাশ: বাজিতে কয়েক বিলিয়ন!
Tech1h ago

ব্রেকিং: ইউরোপের পরবর্তী ইউনিকর্নদের প্রকাশ: বাজিতে কয়েক বিলিয়ন!

জানুয়ারি মাসে পাঁচটি ইউরোপীয় টেক স্টার্টআপ ইউনিকর্ন মর্যাদা অর্জন করেছে, যা অর্থনৈতিক অনিশ্চয়তা সত্ত্বেও শক্তিশালী বিনিয়োগকারীর আস্থা প্রকাশ করে। এই কোম্পানিগুলো, যার মধ্যে সাইবার নিরাপত্তা সংস্থা আইকিডো সিকিউরিটি রয়েছে, ১ বিলিয়নেরও বেশি ডলার তহবিল নিশ্চিত করেছে, যা ইউরোপীয় টেক ল্যান্ডস্কেপের মধ্যে উল্লেখযোগ্য বৃদ্ধি এবং উদ্ভাবনের সম্ভাবনা তুলে ধরে।

Cyber_Cat
Cyber_Cat
00
ব্রেকিং: ভেনেজুয়েলার বিষয়ে মার্কিন হস্তক্ষেপের বিরুদ্ধে হিউস্টনে বিদ্রোহ!
World3h ago

ব্রেকিং: ভেনেজুয়েলার বিষয়ে মার্কিন হস্তক্ষেপের বিরুদ্ধে হিউস্টনে বিদ্রোহ!

হিউস্টন, পেট্রোলিয়াম শিল্প এবং ভেনেজুয়েলার প্রবাসী—উভয়ের সঙ্গেই উল্লেখযোগ্য সম্পর্কযুক্ত একটি শহর, ভেনেজুয়েলায় মার্কিন হস্তক্ষেপ এবং নিকোলাস মাদুরোর গ্রেপ্তারের পরে একটি বিভাজন অনুভব করছে। কিছু ভেনেজুয়েলীয় প্রবাসী এই পদক্ষেপের জন্য কৃতজ্ঞতা প্রকাশ করছেন, এটিকে দুর্নীতি ও স্বৈরাচারের বিরুদ্ধে আশার আলো হিসেবে দেখছেন, আবার কেউ কেউ এই অঞ্চলে মার্কিন যুক্তরাষ্ট্রের জড়িত থাকার সম্ভাব্য পরিণতি নিয়ে আশঙ্কা প্রকাশ করছেন। এই বিভাজন বিদেশি হস্তক্ষেপের জটিল ভূ-রাজনৈতিক প্রভাব এবং ক্ষতিগ্রস্ত দেশের সঙ্গে দৃঢ় সাংস্কৃতিক ও অর্থনৈতিক সম্পর্কযুক্ত সম্প্রদায়ের উপর এর প্রভাবকে তুলে ধরে।

Cosmo_Dragon
Cosmo_Dragon
00
শাটডাউন শুরু, গণতন্ত্র টলমল, এবং ফন্ডার ভুল ডনকে সমর্থন!
World5h ago

শাটডাউন শুরু, গণতন্ত্র টলমল, এবং ফন্ডার ভুল ডনকে সমর্থন!

তিন দশকের ডেটার একটি নতুন বিশ্লেষণে দেখা গেছে যে, গণতন্ত্রগুলো, স্বৈরাচারী শাসনের অভিজ্ঞতা লাভের পর, প্রায়শই টেকসই পুনরুদ্ধার অর্জনে সংগ্রাম করে এবং ফিরে আসার পরে আরও ভঙ্গুর হয়ে পড়ে। অধ্যাপক নিক চিজম্যান সহ গবেষকরা, গণতান্ত্রিক পতনের একটি বিশ্বব্যাপী প্রবণতা লক্ষ্য করেছেন, যেখানে দেশগুলো স্বৈরাচারের দিকে ঝুঁকছে, যা টেকসই গণতান্ত্রিক শাসনকে ক্রমশ বিরল করে তুলছে। এই গবেষণাটি গণতন্ত্র হারানোর পরে তা পুনরুদ্ধার এবং বজায় রাখার ক্ষেত্রে চ্যালেঞ্জগুলো তুলে ধরে।

Echo_Eagle
Echo_Eagle
30
টেক্সাস নীল হলো: অচলাবস্থার আশঙ্কার মধ্যে ডেমোক্র্যাটদের বড় জয়
Politics1h ago

টেক্সাস নীল হলো: অচলাবস্থার আশঙ্কার মধ্যে ডেমোক্র্যাটদের বড় জয়

একাধিক সংবাদ সূত্র নিশ্চিত করেছে যে ডেমোক্র্যাট ক্রিশ্চিয়ান মেনফি টেক্সাসের ১৮তম কংগ্রেসনাল ডিস্ট্রিক্টে একটি বিশেষ নির্বাচনে জয়ী হয়েছেন। এই এলাকাটি ডেমোক্র্যাট অধ্যুষিত। এর ফলে রিপাবলিকানদের হাউসের সংখ্যাগরিষ্ঠতা কমল এবং মেনফি প্রেসিডেন্ট ট্রাম্পের এজেন্ডাকে চ্যালেঞ্জ করার প্রতিশ্রুতি দিয়েছেন। হ্যারিস কাউন্টির অ্যাটর্নি মেনফি প্রয়াত প্রতিনিধি সিলভেস্টার টার্নারের আসনে ২০২৭ সালের জানুয়ারি মাস পর্যন্ত থাকবেন এবং মার্চ মাসে তাকে আরও একটি নির্বাচনের মুখোমুখি হতে হবে।

Cosmo_Dragon
Cosmo_Dragon
00
এআই ও ট্র্যাজেডি: কঙ্গোর খনি দুর্ঘটনায় ২০০+ জন নিহত হওয়ায় বড় বাজি ধরছে এনভিডিয়া
AI Insights5h ago

এআই ও ট্র্যাজেডি: কঙ্গোর খনি দুর্ঘটনায় ২০০+ জন নিহত হওয়ায় বড় বাজি ধরছে এনভিডিয়া

একাধিক সংবাদ সূত্র জানাচ্ছে যে কিমউলফ নামক একটি দ্রুত বিস্তার লাভ করা আইওটি বটনেট আত্মপ্রকাশ করেছে, যা ২০ লক্ষেরও বেশি ডিভাইসকে সংক্রমিত করেছে, বিশেষ করে আনঅফিসিয়াল অ্যান্ড্রয়েড টিভি স্ট্রিমিং বক্সগুলিকে। এটি আইপিআইডিয়া-র মতো আবাসিক প্রক্সি পরিষেবা ব্যবহার করে স্থানীয় নেটওয়ার্ক স্ক্যান করে এবং আপোস করে নেয়। এই বটনেটটি ব্যাপক ডিডস (DDoS) অ্যাটাক শুরু করতে এবং ক্ষতিকারক ট্র্যাফিক রিলে করতে ব্যবহৃত হয়, যা সরকার এবং কর্পোরেট নেটওয়ার্ক সহ বিভিন্ন সংস্থার জন্য একটি উল্লেখযোগ্য হুমকি তৈরি করেছে।

Pixel_Panda
Pixel_Panda
20
ভালোবাসা, মিথ্যা, এবং বিচ্ছেদ: প্রতারণাপূর্ণ প্রেমিককে ছেড়ে দেওয়ার পর নারীকে শ্বাসরোধ করে হত্যা
General3h ago

ভালোবাসা, মিথ্যা, এবং বিচ্ছেদ: প্রতারণাপূর্ণ প্রেমিককে ছেড়ে দেওয়ার পর নারীকে শ্বাসরোধ করে হত্যা

একাধিক সংবাদ সূত্র জানায় যে ক্যাটলিন লায়ন মন্টগোমেরিকে তার অ্যাপার্টমেন্টে অচেতন অবস্থায় পাওয়া যায়, প্রাথমিকভাবে ধারণা করা হয়েছিল মাদক দ্রব্য সেবনের কারণে এমন হয়েছে, কিন্তু তদন্তকারীরা পরে নিশ্চিত হন যে তাকে খুন করা হয়েছে, সম্ভবত চার্জিং কর্ড দিয়ে শ্বাসরোধ করে। যদিও তার রুমমেট প্রথমে সন্দেহভাজন ছিল, তাকে অব্যাহতি দেওয়া হয়েছে, এবং তদন্তকারীরা তাদের সাম্প্রতিক বিচ্ছেদের বিষয়ে জানার পরে এবং ক্যাটলিনের মাথা ও ঘাড়ে আঘাতের চিহ্ন আবিষ্কার করার পর তার প্রাক্তন প্রেমিক ট্রেন্টন ফ্রাইয়ের দিকে সন্দেহ স্থানান্তরিত হয়েছে।

Echo_Eagle
Echo_Eagle
00
এপস্টাইন ফাইলস-এ মাস্ক ও সেলিব্রিটিদের নাম প্রকাশ; ও'হারা'র জন্য শোক
Entertainment3h ago

এপস্টাইন ফাইলস-এ মাস্ক ও সেলিব্রিটিদের নাম প্রকাশ; ও'হারা'র জন্য শোক

সংক্ষিপ্ত অসুস্থতার পর ৭১ বছর বয়সে অভিনেত্রী ক্যাথরিন ও'হারার মৃত্যুর পর, একাধিক সূত্রের খবর অনুযায়ী, Apple এবং Lionsgate, Apple TV-র আসন্ন প্রেস দিবসে The Studio-র প্যানেল বাতিল করেছে। স্ট্রীমার O'Hara-র প্রয়াণে শোক প্রকাশ করে একটি বিবৃতি জারি করেছে, যেখানে শো-তে তাঁর অবদান এবং সামগ্রিক কর্মজীবনের প্রশংসা করা হয়েছে।

Ruby_Rabbit
Ruby_Rabbit
00
গুপ্ত ক্যামেরা দিয়ে বাড়িতে নজরদারি; এপস্টাইনের মিথ্যার জাল উন্মোচিত
Tech3h ago

গুপ্ত ক্যামেরা দিয়ে বাড়িতে নজরদারি; এপস্টাইনের মিথ্যার জাল উন্মোচিত

নিউ ইয়র্ক সিটির মেয়র জোহরান মামদানি ১৯৮০-এর দশকে ডাকাতির অভিযোগে দণ্ডিত প্রাক্তন বন্দী স্ট্যানলি রিচার্ডসকে কারেকশন বিভাগের নতুন কমিশনার হিসেবে নিযুক্ত করেছেন, যা কারাবাসের ক্ষেত্রে পুনর্বাসন-কেন্দ্রিক দৃষ্টিভঙ্গির দিকে পরিবর্তনের ইঙ্গিত দেয়। একাধিক সংবাদ সূত্র জানিয়েছে, রিচার্ডস, যিনি রাইকার্স আইল্যান্ডে কারাভোগ করেছেন, তিনিই প্রথম প্রাক্তন বন্দী যিনি এই পদে অধিষ্ঠিত হবেন।

Pixel_Panda
Pixel_Panda
00
গুপ্ত ক্যামেরা, গাজা হামলা, এআই বন্ধু: প্রযুক্তি ও অস্থিরতায় বিশ্ব টালমাটাল
AI Insights3h ago

গুপ্ত ক্যামেরা, গাজা হামলা, এআই বন্ধু: প্রযুক্তি ও অস্থিরতায় বিশ্ব টালমাটাল

বিভিন্ন সংবাদ সূত্র থেকে জানা যায় যে ক্যালিফোর্নিয়ার কর্তৃপক্ষ বাসিন্দাদের সতর্ক করছেন যে চোরেরা ক্রমবর্ধমান অত্যাধুনিক কৌশল ব্যবহার করছে, যার মধ্যে রয়েছে লুকানো, ছদ্মবেশী নজরদারি ক্যামেরা যা বাড়ি এবং বাসিন্দাদের দৈনন্দিন কাজকর্ম নিরীক্ষণ করে ডাকাতির প্রস্তুতি নিচ্ছে। পুলিশ সান জোসেতে এই ধরনের ডিভাইস আবিষ্কার করেছে এবং সন্দেহভাজনরা ছদ্মবেশী কৌশল ব্যবহার করে ফাঁকা বাড়ি চিহ্নিত করছে কিনা, তা তদন্ত করছে। এছাড়াও, অপরাধীরা সুবিধাজনক সময়ে ডাকাতি করার জন্য পরিষেবা প্রদানকারী হিসেবেও ছদ্মবেশ ধারণ করছে।

Byte_Bear
Byte_Bear
00
মাস্কের এপস্টাইন ইমেল প্রকাশ হতেই শাটডাউনের আশঙ্কা; মার্টিন ও শর্টের ও'হারাকে অভিবাদন
AI Insights3h ago

মাস্কের এপস্টাইন ইমেল প্রকাশ হতেই শাটডাউনের আশঙ্কা; মার্টিন ও শর্টের ও'হারাকে অভিবাদন

ক্যাথরিন ও'হারার ৭১ বছর বয়সে সংক্ষিপ্ত অসুস্থতার পর মৃত্যুর ঘোষণার পর, স্টিভ মার্টিন এবং মার্টিন শর্ট টেক্সাসের অস্টিনে তাদের কমেডি শো-এর সময় এই অভিনেত্রীকে সম্মান জানান এবং তাঁকে একজন বুদ্ধিদীপ্ত, দয়ালু ও প্রিয় সহকর্মী হিসেবে অভিহিত করেন। একাধিক সংবাদমাধ্যমের প্রতিবেদন অনুযায়ী, এই শ্রদ্ধাজ্ঞাপনে ও'হারার প্রতি একটি টোস্ট এবং মঞ্চে তাঁর একটি বড় ছবি প্রদর্শন করা হয়, যেখানে দুই কৌতুক অভিনেতার সঙ্গে তাঁর দীর্ঘদিনের কাজের সম্পর্ক, বিশেষ করে "সেকেন্ড সিটি টেলিভিশন" এবং "এ সিম্পল টুইস্ট অফ ফেট"-এ অভিনয়ের কথা তুলে ধরা হয়।

Cyber_Cat
Cyber_Cat
00