অনেক কোম্পানি লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) এপিআই ব্যবহারের জন্য অপ্রত্যাশিতভাবে বেশি বিলের সম্মুখীন হচ্ছে, যার কারণে তারা সাশ্রয়ী সমাধানের সন্ধান করছে। শ্রীনিবাস রেড্ডি হুলেবেডু রেড্ডি, সম্প্রতি কোয়েরি লগ বিশ্লেষণের মাধ্যমে জানতে পেরেছেন যে, এলএলএম খরচের একটি উল্লেখযোগ্য অংশ ব্যবহারকারীদের একই প্রশ্ন ভিন্নভাবে করার কারণে হয়েছে।
রেড্ডি দেখেন যে, তার কোম্পানির এলএলএম এপিআই-এর ট্র্যাফিক বাড়লেও, খরচ প্রতি মাসে ৩০% হারে বাড়ছে, যা বহন করা কঠিন। তিনি ব্যাখ্যা করেন যে, ব্যবহারকারীরা শব্দার্থগতভাবে একই ধরনের কোয়েরি করছেন, যেমন "আপনাদের রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দিতে পারি?", এবং "আমি কি রিফান্ড পেতে পারি?", যেগুলোকে এলএলএম প্রতিটি স্বতন্ত্র অনুরোধ হিসেবে প্রক্রিয়া করছে, যার ফলে প্রতিটিতে সম্পূর্ণ এপিআই খরচ লাগছে।
ঐতিহ্যবাহী, হুবহু-মিল ক্যাশিং, যা কোয়েরি টেক্সটকে ক্যাশ কী হিসেবে ব্যবহার করে, এই সমস্যা সমাধানে অকার্যকর প্রমাণিত হয়েছে। রেড্ডি উল্লেখ করেন, "হুবহু-মিল ক্যাশিং এই ধরনের অপ্রয়োজনীয় কলের মধ্যে মাত্র ১৮টি ধরতে পেরেছে। একই শব্দার্থের প্রশ্ন, ভিন্নভাবে করা হলে, ক্যাশকে সম্পূর্ণভাবে এড়িয়ে যায়।"
এই সমস্যা মোকাবেলার জন্য, রেড্ডি শব্দার্থিক ক্যাশিং প্রয়োগ করেন, যা কোয়েরিগুলোর হুবহু শব্দের পরিবর্তে তাদের অর্থের উপর মনোযোগ দেয়। এই পদ্ধতি ক্যাশ হিট রেট-এর উল্লেখযোগ্য উন্নতি ঘটায়, যা ৬৭%-এ পৌঁছায় এবং শেষ পর্যন্ত এলএলএম এপিআই খরচ ৭৩% কমায়।
শব্দার্থিক ক্যাশিং, হুবহু-মিল ক্যাশিংয়ের সীমাবদ্ধতাগুলো ব্যবহারকারীর কোয়েরির পেছনের উদ্দেশ্য বোঝার মাধ্যমে সমাধান করে। শুধুমাত্র কোয়েরির টেক্সট তুলনা করার পরিবর্তে, শব্দার্থিক ক্যাশিং এমবেডিং বা শব্দার্থিক সাদৃশ্য অ্যালগরিদমের মতো কৌশল ব্যবহার করে এটা নির্ধারণ করে যে অনুরূপ প্রশ্নের উত্তর আগে দেওয়া হয়েছে কিনা। যদি ক্যাশে শব্দার্থিকভাবে অনুরূপ কোনো কোয়েরি থাকে, তাহলে সিস্টেম ক্যাশ করা উত্তরটি পুনরুদ্ধার করতে পারে, যার ফলে এলএলএম-কে আবার কল করার প্রয়োজন হয় না।
এলএলএম এপিআই খরচের বৃদ্ধি, ব্যবসায়িক ক্ষেত্রে এআই সংহত করার ক্ষেত্রে একটি ক্রমবর্ধমান উদ্বেগের কারণ। এলএলএম যত বেশি প্রচলিত হবে, তাদের ব্যবহার অপ্টিমাইজ করা এবং খরচ কমানো ততটাই গুরুত্বপূর্ণ হয়ে উঠবে। শব্দার্থিক ক্যাশিং এই চ্যালেঞ্জ মোকাবেলার জন্য একটি আশাব্যঞ্জক পদ্ধতি, তবে রেড্ডি যেমন উল্লেখ করেছেন, এর সফল বাস্তবায়নের জন্য ভাষা এবং ব্যবহারকারীর আচরণের সূক্ষ্ম বিষয়গুলো বিবেচনা করা প্রয়োজন।
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
নাসা জেমস ওয়েব স্পেস টেলিস্কোপের সক্ষমতা বাড়ানোর জন্য এবং বাসযোগ্য এক্সোপ্ল্যানেট অনুসন্ধানের জন্য প্যান্ডোরা মিশন চালু করেছে। প্যান্ডোরা, একটি ছোট স্যাটেলাইট, ওয়েবের সাথে একত্রে কাজ করে দূরবর্তী গ্রহজগতের রাসায়নিক গঠন বিশ্লেষণ করবে, যেখানে জলীয় বাষ্প, কার্বন ডাই অক্সাইড এবং মিথেনের লক্ষণ অনুসন্ধান করা হবে।
গুগল প্লে স্টোরের সুস্পষ্ট নীতিমালায় সম্মতিবিহীন বা যৌনতা-উদ্দীপক ছবি, বিশেষ করে শিশুদের ছবি তৈরি করে এমন অ্যাপ নিষিদ্ধ করা সত্ত্বেও, এলন মাস্কের Grok AI অ্যাপ "Teen" রেটিং সহ এখনও উপলব্ধ রয়েছে। এই অসঙ্গতিটি গুগলের পক্ষ থেকে প্রয়োগের অভাবকে তুলে ধরে, যা অ্যাপলের কঠোর কিন্তু কম স্পষ্টভাবে সংজ্ঞায়িত অ্যাপ সামগ্রী বিধিনিষেধের সাথে বৈপরীত্য তৈরি করে, প্ল্যাটফর্মের দায়বদ্ধতা এবং ব্যবহারকারীর সুরক্ষা সম্পর্কে উদ্বেগ বাড়ায়।
সুপ্রিম কোর্ট FCC-এর জরিমানা জারির ক্ষমতা পর্যালোচনা করতে প্রস্তুত, বিশেষ করে এমন একটি মামলা যেখানে প্রধান ক্যারিয়ারগুলোকে গ্রাহকের সম্মতি ছাড়াই তাদের লোকেশন ডেটা বিক্রির জন্য জরিমানা করা হয়েছিল, যা সংস্থার ক্ষমতা এবং সম্ভাব্য সপ্তম সংশোধনীর প্রভাব নিয়ে প্রশ্ন তুলেছে। এই আইনি চ্যালেঞ্জটি টেলিযোগাযোগের জন্য নিয়ন্ত্রক কাঠামোকে নতুন আকার দিতে পারে, যা FCC কীভাবে ভোক্তা গোপনীয়তা এবং ডেটা সুরক্ষা বিধিগুলি প্রয়োগ করে তার উপর প্রভাব ফেলবে, এমন এক যুগে যেখানে ক্রমবর্ধমানভাবে AI-চালিত ডেটা সংগ্রহ এবং বিশ্লেষণের উপর নির্ভর করা হচ্ছে।
পম্পেইয়ের সর্বসাধারণের স্নানাগার, যা ৭৯ খ্রিস্টাব্দে মাউন্ট ভিসুভিয়াসের অগ্ন্যুৎপাতে সংরক্ষিত ছিল, শহরের ক্রমবিকাশমান জল ব্যবস্থাপনার অন্তর্দৃষ্টি প্রদান করে। ক্যালসিয়াম কার্বোনেটের স্তর বিশ্লেষণ করে নতুন একটি গবেষণা প্রকাশ করেছে যে, বৃষ্টির জল এবং কূপের উপর নির্ভরতা থেকে সরে এসে আরও জটিল একটি জলপ্রণালী ব্যবস্থার দিকে শহরটি এগিয়েছিল। এটি রোমান প্রকৌশল এবং নগর উন্নয়নের অগ্রগতিকেই প্রতিফলিত করে। সম্ভবত এই পরিবর্তনের ফলে ব্যস্ত বন্দর নগরীটিতে স্বাস্থ্যবিধি এবং জনস্বাস্থ্যের উন্নতি ঘটেছিল, যা প্রাচীন ভূমধ্যসাগরের একটি গুরুত্বপূর্ণ কেন্দ্র ছিল।
এনভিডিয়ার রুবিন প্ল্যাটফর্ম র্যাক-স্কেল এনক্রিপশন নিয়ে এসেছে, যা সিপিইউ, জিপিইউ এবং এনভিLink জুড়ে গোপনীয় কম্পিউটিং সক্ষম করার মাধ্যমে এআই সুরক্ষায় একটি বড় অগ্রগতি, এবং ক্রমবর্ধমান ব্যয়বহুল এআই মডেলের উপর সাইবার হামলার ক্রমবর্ধমান হুমকির মোকাবিলা করে। এই প্রযুক্তি এন্টারপ্রাইজগুলোকে ক্রিপ্টোগ্রাফিকভাবে নিরাপত্তা যাচাই করার অনুমতি দেয়, যা বিশ্বাস-ভিত্তিক ক্লাউড নিরাপত্তার উপর নির্ভরতা থেকে সরে আসে, এবং এআই প্রশিক্ষণ এবং এআই মডেল লঙ্ঘনের ক্রমবর্ধমান ফ্রিকোয়েন্সি বিবেচনায় এটি অত্যন্ত গুরুত্বপূর্ণ।
ট্রাম্প প্রশাসনের EPA একটি নীতি পরিবর্তনের কথা বিবেচনা করছে যা নিয়ন্ত্রক সিদ্ধান্ত নেওয়ার সময় বায়ু দূষণ হ্রাসের ফলে স্বাস্থ্য বিষয়ক সুবিধাগুলোকে উপেক্ষা করবে, যা কয়েক দশকের প্রতিষ্ঠিত অনুশীলনকে সম্ভাব্যভাবে বিপরীত করে দেবে যেখানে মানুষের জীবনের অর্থনৈতিক মূল্যকে বিবেচনা করা হয়। এই পরিবর্তনের ফলে জনস্বাস্থ্যের উপর উল্লেখযোগ্য প্রভাব পড়তে পারে, কারণ এর ফলে ওজোন এবং সূক্ষ্ম কণা উপাদানের মতো দূষণকারীর উপর দুর্বল বিধি-নিষেধ আসতে পারে, যা উভয়ই গুরুতর হৃদরোগের সাথে সম্পর্কিত। এই পদক্ষেপ পরিবেশ সুরক্ষার ভবিষ্যৎ এবং পরিবেশগত বিধি-নিষেধের প্রকৃত খরচ-সুবিধা বিশ্লেষণ মূল্যায়নে AI-এর ভূমিকা নিয়ে উদ্বেগ সৃষ্টি করেছে।
Semantic ক্যাশিং, যা সঠিক শব্দচয়নের পরিবর্তে প্রশ্নের অর্থের উপর মনোযোগ দেয়, শব্দার্থগতভাবে অনুরূপ প্রশ্নের উত্তর সনাক্তকরণ এবং পুনরায় ব্যবহারের মাধ্যমে LLM API খরচ নাটকীয়ভাবে কমাতে পারে। ঐতিহ্যবাহী হুবহু-মিল ক্যাশিং প্রায়শই এই পুনরাবৃত্তিগুলি ক্যাপচার করতে ব্যর্থ হয়, যার ফলে অপ্রয়োজনীয় খরচ হয়, তবে semantic ক্যাশিং বাস্তবায়ন ক্যাশে হিট রেট বাড়াতে পারে এবং LLM বিল উল্লেখযোগ্যভাবে কমাতে পারে।
অ্যানথ্রোপিকের Cowork, যা বর্তমানে Max গ্রাহকদের জন্য গবেষণা প্রিভিউতে রয়েছে, Claude-কে একটি ব্যবহারকারী-বান্ধব চ্যাট ইন্টারফেসের মাধ্যমে নির্দিষ্ট ফোল্ডারগুলোর সাথে ইন্টারঅ্যাক্ট করার অনুমতি দিয়ে এআই-চালিত ফাইল ব্যবস্থাপনাকে সহজ করে তোলে। Claude Agent SDK-এর উপর ভিত্তি করে তৈরি, Cowork, Claude Code-এর একটি কম প্রযুক্তিগত বিকল্প সরবরাহ করে, যা কোডিংবিহীন কাজ যেমন খরচের হিসাব তৈরি করার সম্ভাবনা উন্মুক্ত করে, পাশাপাশি এআই স্বায়ত্তশাসন ব্যবস্থাপনার জন্য বিবেচ্য বিষয়গুলি উত্থাপন করে।
পেবলের প্রতিষ্ঠাতা, এরিক মিগিকোভস্ক, কোর ডিভাইস (Core Devices) চালু করছেন, যা পেবল স্মার্টওয়াচের রিবুট এবং একটি এআই রিং-এর জন্য একটি টেকসই ব্যবসায়িক মডেলের উপর দৃষ্টি নিবদ্ধ করবে, এবং প্রথাগত ভেঞ্চার-ব্যাকড স্টার্টআপগুলির ভুলগুলি এড়াবে। কোর ডিভাইস (Core Devices) শুরু থেকেই লাভজনকতা অর্জনের লক্ষ্য রাখে, এবং ফিটবিট কর্তৃক পেবলের অধিগ্রহণ থেকে প্রাপ্ত শিক্ষা, যেমন - সাবধানে ইনভেন্টরি পরিচালনা করা এবং বাহ্যিক তহবিল পরিহার করার মাধ্যমে এটি সম্ভব হবে। এই পদ্ধতি ভোক্তা ইলেকট্রনিক্স ক্ষেত্রে দীর্ঘমেয়াদী কার্যকারিতার দিকে একটি পরিবর্তন নির্দেশ করে, যা দ্রুত প্রসারের চেয়ে পরিমিত প্রবৃদ্ধিকে অগ্রাধিকার দেয়।
একাধিক সংবাদ সূত্র জানিয়েছে যে ম্যাকেনজি স্কট LGBTQ যুবকদের সহায়তাকারী একটি অলাভজনক সংস্থা, দ্য ট্রেভর প্রজেক্টকে $৪৫ মিলিয়ন ডলার দান করেছেন, যা তাদের সবচেয়ে বড় একক অনুদান এবং পরিষেবার ক্রমবর্ধমান চাহিদা এবং ট্রাম্প প্রশাসনের সংশ্লিষ্ট ফেডারেল কাউন্সেলিং প্রোগ্রাম বন্ধ করার পরে একটি গুরুত্বপূর্ণ উৎসাহ। এই অনুদানের লক্ষ্য হল সংস্থাটির প্রসার বাড়ানো এবং LGBTQ তরুণদের মধ্যে বেড়ে যাওয়া আত্মহত্যার প্রবণতাসহ তাদের মানসিক স্বাস্থ্য চ্যালেঞ্জ এবং রাজনৈতিক বৈরিতার মোকাবিলা করা।
অ্যানথ্রোপিক স্বাস্থ্যসেবা প্রদানকারী, পরিশোধক এবং রোগীদের জন্য স্বাস্থ্যসেবা প্রক্রিয়াগুলিকে সুগম করার লক্ষ্যে এআই সরঞ্জামগুলির একটি স্যুট ক্লড ফর হেলথকেয়ার উন্মোচন করেছে, যা ওপেনএআই-এর চ্যাটজিপিটি হেলথ ঘোষণার প্রতিচ্ছবি। ক্লড নিজেকে এমন সংযোগকারীগুলির সাথে আলাদা করে যা গুরুত্বপূর্ণ ডেটাবেসগুলিতে অ্যাক্সেসের অনুমতি দেয়, সম্ভাব্যভাবে গবেষণা এবং প্রশাসনিক কাজগুলিকে ত্বরান্বিত করে, যদিও এআই-চালিত চিকিৎসা পরামর্শের নির্ভরযোগ্যতা নিয়ে উদ্বেগ রয়ে গেছে।
একজন আইসিই এজেন্ট কর্তৃক একজন বেসামরিক ব্যক্তিকে মারাত্মকভাবে গুলি করার ঘটনায় GoFundMe একটি তহবিল সংগ্রহ করার কারণে সমালোচনার মুখে পড়েছে, যা সম্ভবত সহিংস অপরাধের আইনি সুরক্ষার বিরুদ্ধে তাদের নিজস্ব নীতি লঙ্ঘন করেছে। এটি প্ল্যাটফর্মের বিষয়বস্তু নিরীক্ষণ এবং আইন প্রয়োগকারী সংস্থা ও বেসামরিক মৃত্যুর ঘটনায় ক্রাউডফান্ডিংয়ের নৈতিক প্রভাব সম্পর্কে প্রশ্ন তোলে, যা এআই-চালিত বিষয়বস্তু নীতিগুলি ধারাবাহিকভাবে প্রয়োগ করার ক্ষেত্রে চ্যালেঞ্জগুলো তুলে ধরে। এফবিআই বর্তমানে এই গুলি চালানোর ঘটনাটি তদন্ত করছে।
Discussion
Join the conversation
Be the first to comment