এআই সিস্টেমের জন্য ডকুমেন্ট বোঝার ক্ষমতা বাড়াতে নতুন উপায়
এন্টারপ্রাইজগুলো তাদের অভ্যন্তরীণ জ্ঞানকে কাজে লাগানোর জন্য ক্রমবর্ধমানভাবে রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) সিস্টেম গ্রহণ করছে, কিন্তু জটিল ডকুমেন্টগুলো সঠিকভাবে প্রক্রিয়াকরণে চ্যালেঞ্জ রয়ে গেছে। ভেঞ্চারবিটের মতে, RAG "আপনার পিডিএফগুলোকে ইন্ডেক্স করে, একটি LLM কানেক্ট করে এবং তাৎক্ষণিকভাবে আপনার কর্পোরেট জ্ঞানকে সহজলভ্য করে" এমন প্রতিশ্রুতি দিলেও, জটিল ডকুমেন্টেশনের উপর নির্ভরশীল শিল্পগুলোর জন্য বাস্তবতা আদর্শের চেয়ে কম।
ভেঞ্চারবিট জানিয়েছে, স্ট্যান্ডার্ড RAG পাইপলাইনগুলো প্রায়শই ডকুমেন্টগুলোকে সাধারণ টেক্সট স্ট্রিং হিসাবে বিবেচনা করে, "ফিক্সড-সাইজ চাঙ্কিং"-এর মতো পদ্ধতি ব্যবহার করে যা টেবিল কেটে, ক্যাপশন ছিন্ন করে এবং ভিজ্যুয়াল হায়ারার্কি উপেক্ষা করে টেকনিক্যাল ম্যানুয়ালগুলোর যুক্তিকে ব্যাহত করতে পারে। এর ফলে প্রকৌশলীরা নির্দিষ্ট প্রশ্ন জিজ্ঞাসা করলে ভুল ফলাফল আসতে পারে, যার কারণে এআই "হ্যালুসিনেট" করতে পারে।
এই সীমাবদ্ধতাগুলো মোকাবেলার জন্য, নতুন কাঠামো তৈরি করা হচ্ছে। ভেঞ্চারবিটের মতে, এই ধরনের একটি কাঠামো, পেজইনডেক্স, ডকুমেন্ট পুনরুদ্ধারকে একটি অনুসন্ধান সমস্যা হিসেবে না দেখে একটি নেভিগেশন সমস্যা হিসেবে দেখে ভিন্ন পদ্ধতি অবলম্বন করে। পেজইনডেক্স স্ট্যান্ডার্ড "চাঙ্ক-অ্যান্ড-এম্বেড" পদ্ধতি সম্পূর্ণরূপে পরিত্যাগ করে। ভেঞ্চারবিট উল্লেখ করেছে, এই কাঠামোটি সেই ডকুমেন্টগুলোতে ৯৮.৭% নির্ভুলতার হার অর্জন করেছে যেখানে ভেক্টর সার্চ ব্যর্থ হয়েছিল।
ভেঞ্চারবিট জানিয়েছে, আর্থিক বিবরণী নিরীক্ষণ, আইনি চুক্তি বিশ্লেষণ এবং ফার্মাসিউটিক্যাল প্রোটোকল নেভিগেট করার মতো উচ্চ-ঝুঁকির কর্মপ্রবাহে RAG ব্যবহার করার চেষ্টাকালে উন্নত ডকুমেন্ট বোঝার প্রয়োজনীয়তা বিশেষভাবে তীব্র। ব্যর্থতা LLM-এর মধ্যে নয়, বরং প্রিপ্ৰসেসিংয়ের মধ্যে।
ডকুমেন্ট প্রক্রিয়াকরণের বাইরেও, অন্যান্য বৈজ্ঞানিক অগ্রগতি ঘটছে। আর্স টেকনিকার মতে, বিষণ্নতার বিকল্প চিকিৎসার মতো ক্ষেত্রগুলোতে গবেষণা অব্যাহত রয়েছে, যেখানে গবেষণায় দেখা গেছে যে এক কাপ কফি সাইকেডেলিক ওষুধের মাইক্রোডোজিংয়ের চেয়ে ভালো ফল দিতে পারে। এছাড়াও, বিজ্ঞানীরা ছত্রাককে সম্ভাব্য কীটনাশক হিসেবে ব্যবহারের উপায় খুঁজে বের করছেন, যা বিটল এবং উইপোকার মতো কাঠখেকো পোকামাকড় নিয়ন্ত্রণের জন্য ঐতিহ্যবাহী পদ্ধতির চেয়ে কম ক্ষতিকর বিকল্প সরবরাহ করে, আর্স টেকনিকা জানিয়েছে।
Discussion
AI Experts & Community
Be the first to comment