درگاه متن باز جدید برای مدیریت هوشمند مدل‌های زبانی معرفی شد
ابزار جدید و متن‌باز توسعه یافته با زبان Rust برای مدیریت متمرکز مدل‌های زبانی، کاهش هزینه‌ها و افزایش سرعت پاسخ‌دهی در پروژه‌های هوش مصنوعی.
توسعه‌دهندگان پروژه اکسپریمنتال اخیراً ابزاری متن‌باز را معرفی کرده‌اند که به عنوان یک درگاه هوشمند، مدیریت مدل‌های زبانی مختلف اعم از میزبان‌شخصی و تجاری را در یک نقطه متمرکز می‌کند. این ابزار که با زبان برنامه‌نویسی راست توسعه یافته، با هدف حذف کارمزدهای واسطه‌گری و افزایش سرعت پاسخ‌دهی طراحی شده است. بسیاری از کسب‌وکارهای نوپا در ایران که به دنبال استفاده ترکیبی از مدل‌های داخلی و خارجی هستند، معمولاً با چالش یکپارچه‌سازی پروتکل‌های مختلف روبرو می‌شوند. این درگاه جدید با استانداردسازی درخواست‌ها، این مسیر را هموار می‌کند.
چرا سرعت و هزینه در اولویت قرار دارند؟
بسیاری از سرویس‌های مشابه در بازار، بابت مسیریابی درخواست‌ها تا ده درصد کارمزد روی توکن‌ها دریافت می‌کنند. پروژه جدید اما با رویکردی متفاوت، هیچ هزینه‌ی اضافی بابت واسطه‌گری دریافت نمی‌کند. طبق داده‌های منتشر شده، این درگاه تنها یک میلی‌ثانیه به زمان پاسخ‌دهی اضافه می‌کند که در مقیاس پروژه‌های بزرگ، عملاً نادیده گرفته می‌شود. تصور کنید یک توسعه‌دهنده در دفتر کار خود در تهران، قصد دارد بخشی از پردازش‌های حساس را روی سرور محلی و بخش دیگر را به مدل‌های قدرتمند جهانی بسپارد؛ این ابزار اجازه می‌دهد بدون تغییر مداوم کدهای برنامه، میان این دو لایه جابجا شود.
هوش مصنوعی که از رفتار کاربر می‌آموزد
یکی از ویژگی‌های متمایز این درگاه، قابلیت یادگیری از داده‌های ارسالی است. سیستم با تحلیل ردپای درخواست‌ها و استفاده از مدل‌های شبیه‌ساز، بهترین مدل را برای هر پرسش خاص پیشنهاد می‌دهد. این یعنی اگر یک پرسش ساده با یک مدل سبک و ارزان‌قیمت قابل پاسخگویی باشد، سیستم به‌طور خودکار درخواست را به آن سمت هدایت می‌کند تا از هدررفت منابع جلوگیری شود. این بهینه‌سازی نه تنها هزینه‌ها را کاهش می‌دهد، بلکه کیفیت خروجی را نیز در سطح مطلوبی نگه می‌دارد.
مدیریت هزاران مدل در یک قاب
این پلتفرم به صورت روزانه لیست مدل‌های خود را به‌روزرسانی می‌کند و در حال حاضر بیش از ۱۰۰۰ مدل مختلف را پشتیبانی می‌نماید. استفاده از زبان راست باعث شده تا سیستم در مواجهه با درخواست‌های همزمان، پایداری بالایی داشته باشد. برخلاف ابزارهای انحصاری، این پروژه به کاربران اجازه می‌دهد تا کلیدهای دسترسی خود را مستقیماً مدیریت کنند و نگران امنیت داده‌های حساس یا قطع دسترسی به دلیل محدودیت‌های ارائه‌دهندگان نباشند.
منبع: github.com