جمینای ۲.۵ حالا با حافظه پنهان خودکار: چگونه بدون کدنویسی اضافه، هزینه‌ها را کاهش دهیم؟

شرکت گوگل به‌تازگی قابلیتی به نام «ذخیره‌سازی ضمنی» (implicit caching) را برای رابط برنامه‌نویسی کاربردی (API) مدل‌های هوش مصنوعی جمینای (Gemini) خود معرفی کرده است. این شرکت ادعا می‌کند این ویژگی می‌تواند هزینه‌های استفاده از جدیدترین مدل‌های هوش مصنوعی‌اش را برای توسعه‌دهندگان کاهش دهد.

ذخیره‌سازی ضمنی چیست و چگونه کار می‌کند؟

به زبان ساده، «ذخیره‌سازی» در دنیای فناوری به معنای نگهداری موقت اطلاعاتی است که زیاد استفاده می‌شوند تا دسترسی به آن‌ها سریع‌تر و کم‌هزینه‌تر باشد. در مورد مدل‌های هوش مصنوعی، این به معنای ذخیره کردن بخش‌هایی از محاسبات یا داده‌هایی است که به طور مکرر در درخواست‌های مختلف تکرار می‌شوند.

ویژگی «ذخیره‌سازی ضمنی» گوگل به طور خودکار عمل می‌کند. اگر بخش ابتدایی یک درخواست جدید به مدل‌های جمینای ۲.۵ پرو و ۲.۵ فلش، مشابه درخواست‌های قبلی باشد، سیستم می‌تواند از نتایج محاسبات قبلی برای آن بخش تکراری استفاده کند. گوگل می‌گوید این کار می‌تواند تا ۷۵ درصد در هزینه‌های مربوط به ارسال «محتوای تکراری» به مدل صرفه‌جویی کند. این قابلیت به‌طور پیش‌فرض برای مدل‌های جمینای ۲.۵ فعال است.

چرا این ویژگی اهمیت دارد؟

هزینه‌های استفاده از مدل‌های پیشرفته هوش مصنوعی برای توسعه‌دهندگان در حال افزایش است. قابلیت جدید گوگل می‌تواند موجب کاهش این هزینه‌ها شود، به‌خصوص برای کاربردهایی که در آن‌ها بخش زیادی از اطلاعات ورودی به مدل در درخواست‌های متوالی یکسان است.

نگاهی به گذشته و تفاوت با روش قبلی

گوگل پیش از این نیز امکان «ذخیره‌سازی صریح» (explicit caching) را ارائه داده بود. در آن روش، توسعه‌دهندگان باید به صورت دستی مشخص می‌کردند که کدام بخش از دستوراتشان (prompts) باید ذخیره شود. این کار نیازمند تلاش دستی بود و برخی توسعه‌دهندگان از عملکرد آن، به‌ویژه در مورد مدل جمینای ۲.۵ پرو، و هزینه‌های غیرمنتظره ناشی از آن گلایه داشتند. این انتقادات منجر به عذرخواهی تیم جمینای و قول بهبود شد.

«ذخیره‌سازی ضمنی» جدید، برخلاف روش قبلی، به صورت خودکار عمل می‌کند و نیازی به تعریف دستی توسط توسعه‌دهنده ندارد. برای فعال شدن این صرفه‌جویی خودکار، حداقل تعداد مشخصی از واحدهای داده (توکن) در بخش تکراری دستور لازم است (۱۰۲۴ توکن برای مدل ۲.۵ فلش و ۲۰۴۸ توکن برای مدل ۲.۵ پرو؛ هر ۱۰۰۰ توکن تقریباً معادل ۷۵۰ کلمه است).

نکات قابل توجه

گوگل برای بهره‌وری بیشتر از این ویژگی توصیه می‌کند که توسعه‌دهندگان اطلاعات تکراری را در ابتدای درخواست‌های خود قرار دهند. همچنین، این شرکت هنوز تأییدیه مستقلی از سوی نهادهای ثالث برای میزان صرفه‌جویی ادعاشده ارائه نکرده است. با توجه به تجربیات گذشته در مورد ادعاهای صرفه‌جویی، عملکرد واقعی این سیستم جدید در عمل و بازخورد کاربران اولیه مشخص خواهد کرد که تا چه حد به وعده‌های داده شده نزدیک است.