জটিল ডকুমেন্টগুলি পরিচালনা করার ক্ষেত্রে RAG সিস্টেমগুলির সীমাবদ্ধতা নিয়ে উদ্যোগগুলি উদ্বিগ্ন
বৃহৎ ভাষা মডেল (LLM)-এর সাথে তাদের অভ্যন্তরীণ ডেটা ব্যবহার করার জন্য উদ্যোগগুলি ক্রমবর্ধমানভাবে রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) সিস্টেম গ্রহণ করছে, কিন্তু ভেঞ্চারবিটের মতে, অনেকে মনে করছেন এই সিস্টেমগুলি অত্যাধুনিক ডকুমেন্টগুলির সাথে মোকাবিলা করতে সমস্যায় পড়ছে। সমস্যাটি মূলত প্রিপ্ৰসেসিং পর্যায়ে নিহিত, যেখানে স্ট্যান্ডার্ড RAG পাইপলাইনগুলি প্রায়শই ডকুমেন্টগুলিকে টেক্সটের সরল স্ট্রিং হিসাবে বিবেচনা করে, যার ফলে গুরুত্বপূর্ণ তথ্য হারিয়ে যায়।
RAG সিস্টেমগুলির লক্ষ্য হল LLM-গুলিকে মালিকানাধীন ডেটার উপর ভিত্তি করে তৈরি করা, যা ব্যবসাগুলিকে ওয়ার্কফ্লো স্বয়ংক্রিয় করতে, সিদ্ধান্ত গ্রহণে সহায়তা করতে এবং আধা-স্বয়ংক্রিয়ভাবে কাজ করতে দেয়। তবে, "ফিক্সড-সাইজ চাঙ্কিং"-এর উপর নির্ভরতা, যার মধ্যে ডকুমেন্টগুলিকে ইচ্ছাকৃত অংশে কেটে ফেলা হয়, প্রযুক্তিগত ম্যানুয়াল এবং অন্যান্য জটিল ডকুমেন্টগুলির ক্ষেত্রে ক্ষতিকর হতে পারে, ভেঞ্চারবিট জানিয়েছে। এই পদ্ধতি ছবি থেকে ক্যাপশনকে আলাদা করে, টেবিলগুলিকে অর্ধেক করে কেটে দেয় এবং পৃষ্ঠার ভিজ্যুয়াল হায়ারার্কিকে উপেক্ষা করে।
ভেঞ্চারবিটের মতে, এই ব্যর্থতা LLM-এর নিজের নয়, বরং ডকুমেন্টগুলি বিশ্লেষণের জন্য যেভাবে প্রস্তুত করা হয় তার মধ্যে। ভেঞ্চারবিটে দিপ্পু কুমার সিং লিখেছেন যে পিডিএফ ইন্ডেক্স করার এবং কর্পোরেট জ্ঞানকে তাৎক্ষণিকভাবে গণতান্ত্রিক করার প্রতিশ্রুতি ভারী ইঞ্জিনিয়ারিং-এর উপর নির্ভরশীল শিল্পগুলির জন্য হতাশাজনক হয়েছে। অবকাঠামো সম্পর্কে নির্দিষ্ট প্রশ্ন জিজ্ঞাসা করে ইঞ্জিনিয়াররা জানতে পেরেছেন যে বট উত্তরগুলির ভুল ব্যাখ্যা দিচ্ছে।
ভেঞ্চারবিটে বরুণ রাজ লিখেছেন যে রিট্রিভালে ব্যর্থতা সরাসরি ব্যবসায়িক ঝুঁকিতে চলে যায় যখন এআই সিস্টেমগুলি স্থাপন করা হয়। পুরনো প্রসঙ্গ, অনিয়ন্ত্রিত অ্যাক্সেস পাথ এবং দুর্বলভাবে মূল্যায়ন করা রিট্রিভাল পাইপলাইনগুলি বিশ্বাস, সম্মতি এবং কর্মক্ষম নির্ভরযোগ্যতাকে দুর্বল করতে পারে, রাজ যোগ করেছেন। তিনি রিট্রিভালকে অ্যাপ্লিকেশন লজিকের পরিবর্তে অবকাঠামো হিসাবে পুনরায় সংজ্ঞায়িত করেছেন।
বর্তমান RAG সিস্টেমগুলির সীমাবদ্ধতা আরও অত্যাধুনিক প্রিপ্ৰসেসিং কৌশলগুলির প্রয়োজনীয়তার উপর জোর দেয় যা জটিল ডকুমেন্টগুলির গঠন এবং প্রসঙ্গকে সংরক্ষণ করতে পারে। RAG-এর নির্ভরযোগ্যতা উন্নত করা LLM-কে পরিবর্তন করার বিষয়ে নয়; এটি নিশ্চিত করার বিষয়ে যে সিস্টেমটি প্রক্রিয়াকরণের সময় ডকুমেন্টগুলি বুঝতে পারছে।
Discussion
AI Experts & Community
Be the first to comment