এনভিডিয়া, তার জিপিইউগুলির কারণে এআই চিপের প্রভাবশালী শক্তি, গ্রোক নামক এআই inferencing-এ বিশেষজ্ঞ একটি স্টার্টআপ থেকে প্রযুক্তি লাইসেন্স করে এবং এর প্রতিষ্ঠাতা ও সিইও জোনাথন রস সহ দলের একটি বড় অংশকে নিয়োগ করে একটি গুরুত্বপূর্ণ পদক্ষেপ নিয়েছে। ক্রিসমাস ছুটির ঠিক আগে ঘোষিত এই চুক্তিটি দক্ষ এবং সাশ্রয়ী এআই inferencing-এর ক্রমবর্ধমান গুরুত্বের প্রতি এনভিডিয়ার স্বীকৃতিকে ইঙ্গিত করে, যা প্রশিক্ষিত এআই মডেলগুলিকে বৃহৎ পরিসরে চালানোর প্রক্রিয়া।

Inference হল সেই পর্যায় যেখানে এআই একটি গবেষণা প্রকল্প থেকে একটি রাজস্ব-উৎপাদনকারী পরিষেবাতে রূপান্তরিত হয়। একটি ডেপ্লয়েড এআই মডেলের সাথে প্রতিটি মিথস্ক্রিয়া, একটি প্রশ্নের উত্তর দেওয়া থেকে শুরু করে কোড তৈরি করা বা একটি চ্যাটবটকে চালনা করা, inference-এর অধীনে পড়ে। এই পর্যায়টি খরচ কমানো, লেটেন্সি (একটি এআই-এর প্রতিক্রিয়া জানাতে যে সময় লাগে) হ্রাস করা এবং দক্ষতা সর্বাধিক করার জন্য তীব্র চাপের মধ্যে রয়েছে।

এআই inference-এর অর্থনীতি একটি গুরুত্বপূর্ণ যুদ্ধক্ষেত্র হয়ে উঠছে, কারণ কোম্পানিগুলি তাদের এআই বিনিয়োগ থেকে লাভ করতে চাইছে। এনভিডিয়ার সিইও জেনসেন হুয়াং প্রকাশ্যে inference-এর চ্যালেঞ্জগুলি স্বীকার করেছেন। গ্রোক-এ কোম্পানির বিনিয়োগ ইঙ্গিত দেয় যে তারা বিশ্বাস করে যে বিশেষ আর্কিটেকচার, শুধুমাত্র জিপিইউর বাইরেও, inference কর্মক্ষমতা অপ্টিমাইজ করার জন্য প্রয়োজনীয় হতে পারে।

গ্রোকের চিপগুলি বিশেষভাবে দ্রুত, কম-লেটেন্সি এআই inference-এর জন্য ডিজাইন করা হয়েছে। এই পদ্ধতিটি জিপিইউগুলির সাথে বৈপরীত্যপূর্ণ, যা মূলত গ্রাফিক্স প্রক্রিয়াকরণের জন্য ডিজাইন করা হয়েছিল কিন্তু এআই প্রশিক্ষণ এবং কিছু ক্ষেত্রে inference-এর জন্য অভিযোজিত হয়েছে। গ্রোকের প্রযুক্তি এবং প্রতিভার অধিগ্রহণ এনভিডিয়াকে দ্রুত বিকাশমান inference বাজারে একটি প্রতিযোগিতামূলক সুবিধা দিতে পারে।

এই পদক্ষেপটি এআই চিপ ডিজাইনের অস্থির প্রকৃতিকে তুলে ধরে। যদিও এনভিডিয়ার জিপিইউগুলি এআই বিকাশের প্রধান চালিকাশক্তি ছিল, গ্রোকের উপর কোম্পানির বাজি inference-এর নির্দিষ্ট চাহিদা মেটাতে বিকল্প আর্কিটেকচার অন্বেষণ করার ইচ্ছাকে নির্দেশ করে। এটি এআই চিপ ডিজাইনে আরও উদ্ভাবন এবং এআই ডেভেলপারদের জন্য হার্ডওয়্যার বিকল্পগুলির একটি আরও বৈচিত্র্যময় ল্যান্ডস্কেপের দিকে পরিচালিত করতে পারে।