بهینه‌سازی حافظه هوش مصنوعی؛ مدیریت هوشمند توکن‌ها با معماری Jev
با معماری Jev و افزونه Fast Jev Compaction، مصرف توکن‌های هوش مصنوعی را در پروژه‌های برنامه‌نویسی مدیریت کنید و کارایی حافظه مدل‌های زبانی را افزایش دهید.
هنگامی که با مدل‌های زبانی بزرگ در پروژه‌های نرم‌افزاری طولانی کار می‌کنید، حجم داده‌های ارسالی به سرعت افزایش می‌یابد. هر فراخوانی ابزار، هر خط کد تولید شده و هر پاسخ سیستم، بخشی از ظرفیت حافظه محدود مدل (Context Window) را اشغال می‌کند. در روش‌های سنتی، وقتی این ظرفیت پر می‌شود، سیستم به طور خودکار بخش‌های قدیمی را خلاصه یا حذف می‌کند. این فرآیند اغلب باعث از بین رفتن جزئیات حیاتی می‌شود که برای درک منطق برنامه ضروری هستند.
چرا خلاصه‌سازی سنتی برای برنامه‌نویسان کافی نیست؟
در بسیاری از ابزارهای فعلی، فرآیند فشرده‌سازی تاریخچه گفتگو بر اساس الگوریتم‌های ساده‌ای انجام می‌شود که اولویت‌بندی دقیقی ندارند. برای مثال، ممکن است مدل یک خطای مهم کامپایلر را که در ابتدای جلسه رخ داده حذف کند تا فضای کافی برای کدهای جدید باز شود. در محیط‌های توسعه فارسی که کاربران به دلیل محدودیت‌های دسترسی و هزینه‌های ارزی، مایل به بهره‌وری حداکثری از هر توکن هستند، این اتلاف منابع چالش‌برانگیز است.
استفاده از مدل‌های بین‌المللی در بسترهایی مانند هوش مصنوعی نهال که پرداخت را به صورت تومانی مدیریت می‌کنند، نیاز به ابزارهایی برای کنترل دقیق مصرف را دوچندان می‌کند. معماری Fast Jev Compaction پاسخی به همین نیاز است؛ این سیستم به جای حذف تصادفی، هر تعامل را بر اساس ارزش محتوایی آن امتیازدهی می‌کند.
معماری Jev چگونه کار می‌کند؟
پروژه fast-jev-compaction که به عنوان یک افزونه برای Claude Code توسعه یافته، منطق خلاصه‌سازی پیش‌فرض را با یک فرآیند تصمیم‌گیری سریع جایگزین می‌کند. در این روش، تمام فراخوانی‌های ابزار (Tool Calls) و نتایج آن‌ها در یک درخواست سریع بررسی می‌شوند. مدل بر اساس پارامترهای زیر تصمیم می‌گیرد:
۱. امتیازدهی به محتوا
هر بخش از تاریخچه بر اساس اهمیت فنی آن نمره‌ای دریافت می‌کند. اگر یک قطعه کد صرفاً برای نمایش ساختار پوشه‌ها بوده و در مراحل بعدی تغییر کرده است، امتیاز کمتری می‌گیرد.
۲. حذف موارد منقضی
داده‌هایی که دیگر در جریان فعلی کدنویسی کاربرد ندارند، به جای خلاصه‌سازی، به طور کامل حذف می‌شوند. این کار باعث می‌شود فضای ارزشمند حافظه با متون توصیفی بیهوده پر نشود.
۳. حفظ دقت عبارات
برخلاف خلاصه‌سازهای معمولی که متن را بازنویسی می‌کنند، Jev بخش‌های انتخاب شده را دقیقاً با همان کلمات اصلی حفظ می‌کند. این ویژگی برای جلوگیری از بروز باگ‌های منطقی در کدنویسی حیاتی است.
کاربرد عملی در پروژه‌های سازمانی
تصور کنید در یک شرکت توسعه نرم‌افزار ایرانی، تیمی در حال کار روی یک سیستم حسابداری پیچیده است. دستیار هوشمند باید هزاران خط کد را تحلیل کند. اگر دستیار نتواند تاریخچه تغییرات یک تابع خاص را در حافظه نگه دارد، ممکن است پیشنهادات متناقضی ارائه دهد.
با پیاده‌سازی این روش در زیرساخت‌های هوش مصنوعی سازمانی، دستیار می‌تواند بدون افزایش هزینه توکن، تمرکز خود را بر روی بخش‌های فعال پروژه حفظ کند. در هوش مصنوعی نهال، امکان ساخت ایجنت‌هایی فراهم شده است که می‌توانند از چنین منطقی برای مدیریت گفتگوهای طولانی استفاده کنند. این یعنی یک دستیار هوشمند می‌تواند ساعت‌ها بدون گیج شدن یا فراموش کردن دستورات اولیه، در کنار برنامه‌نویس فعالیت کند.
محدودیت‌ها و الزامات فنی
باید در نظر داشت که این روش فشرده‌سازی به یک مدل میانی برای قضاوت درباره اهمیت داده‌ها نیاز دارد. این کار ممکن است در لحظات اولیه، تاخیر بسیار اندکی در پاسخ‌دهی ایجاد کند، اما در بلندمدت با جلوگیری از ارسال توکن‌های تکراری، سرعت کلی عملیات را بهبود می‌بخشد. همچنین، دقت این سیستم مستقیماً به کیفیت مدل قضاوت‌کننده بستگی دارد.
منبع: github.com