پژوهشگران، مدل‌های پیچیده هوش مصنوعی را با یک‌هفتم مصرف لامپ حبابی اجرا کردند
هوش مصنوعی به انرژی بسیار زیادی نیاز دارد؛ به طوری که شرکت‌های بزرگ به منظور تامین انرژی آن ایده ساخت نیروگاه‌های اتمی کوچک را در دست بررسی دارند. با تب و تاب و رقابتی که بین شرکت‌ها جهت توسعه هوش مصنوعی به وجود آمده است، به نظر می‌رسد قرار است بخش بزرگی از انرژی در این زمینه صرف شود. از این رو دانشمندان موفق شده‌اند با دستکاری برخی از پارامترهای محاسباتی به صورت نرم افزاری، حجم پردازش را در حد قابل توجهی کاهش داده و در نتیجه مصرف انرژی را به حدی باور نکردنی پایین بیاورند که این دستاورد می‌تواند یکی از بزرگ‌ترین چالش‌های توسعه هر چه سریع‌تر هوش مصنوعی یعنی مصرف مقادیر بسیار زیاد انرژی را برطرف کند.
محققان دانشگاه کالیفرنیا در پژوهشی انقلابی، روشی یافته‌اند که اجرای مدل‌های زبانی بزرگ (LLM) با میلیاردها پارامتر را با مصرف فقط ۱۳وات ممکن می‌کند! عددی که حدود یک‌هفتم توان مصرفی لامپ‌های حبابی ۱۰۰واتی مرسوم است. مصرف مدل‌های هوش مصنوعی با روش جدید ۵۰ برابر کم‌تر از مصرف انرژی کارت‌های گرافیک قدرتمند دیتاسنترها خواهد بود. در این پروژهش از سخت‌افزار سفارشی FPGA استفاده شد و پژوهشگران بر این نکته تأکید دارند که بخش زیادی از این صرفه‌جویی ازطریق نرم‌افزار متن‌باز و تنظیمات سیستم‌های موجود قابل دستیابی است. راز اصلی این پیشرفت، حذف عملیات ضرب ماتریس (MatMul) از فرایندهای آموزش و استنتاج مدل‌های هوش مصنوعی است.
شاید بپرسید چگونه می‌توان ضرب ماتریس را بدون افت عملکرد و دقت از شبکه‌های عصبی حذف کرد؟ محققان با ترکیب دو روش به این مهم دست یافته‌اند؛ اولین راهکار، تغییر سیستم اعداد به سیستم سه‌حالته (Ternary) با اعداد ۱-، ۰ و ۱ است. این تغییر، محاسبات را به‌جای ضرب اعداد، با جمع‌کردن ساده ممکن می‌کند. در گام بعد شبکه با تبدیل محاسبات مبتنی‌بر زمان به معادله، حافظه‌ی مؤثری به‌دست می‌آورد که با اجرای عملیات ساده‌تر، عملکرد سریع‌تری را ارائه می‌دهد.
محققان از مدل LLaMa متعلق به متا به‌عنوان نمونه‌ی مرجع در سیستم خود استفاده کرده‌اند. این پژوهش از مقاله‌ی مایکروسافت درمورد استفاده از اعداد سه حالته در شبکه‌های عصبی الهام‌گرفته است، با این تفاوت که مایکروسافت تا حذف ضرب ماتریس یا متن‌بازکردن مدل خود پیش نرفت.
درنهایت، پژوهش محققان دانشگاه کالیفرنیا به مسئله‌ی بهینه‌سازی ختم می‌شود. آن‌ها عملیات پرمصرف را با عملیات کم‌مصرف‌تر جایگزین کرده‌اند. اینکه بتوان رویکرد جدید را به‌طور کلی در راهکارهای هوش مصنوعی و مدل‌های زبانی بزرگ به‌کار برد، هنوز مشخص نیست. به‌هر حال اگر روش جدید وارد فاز عملیاتی شود، پتانسیل تغییر چشمگیر چشم‌انداز هوش مصنوعی را دارد.
سال گذشته شاهد عطش سیری‌ناپذیر شرکت‌های پیشرو در حوزه‌ی هوش مصنوعی برای مصرف برق بوده‌ایم. پژوهش محققان دانشگاه کالیفرنیا نشان می‌دهد بخش زیادی از این رقابت صرفاً برای پیشتازی در بازار و با استفاده از روش‌های پردازش ناکارامد انجام شده است. کارشناسان برجسته‌ای مانند مدیرعامل شرکت ARM هشدار داده‌اند که اگر تقاضای برق هوش مصنوعی با همین سرعت افزایش یابد، تا سال ۲۰۳۰ یک‌چهارم برق مصرفی ایالات‌متحده را به خود اختصاص خواهد داد. بدین‌ترتیب کاهش مصرف برق به یک‌پنجم میزان فعلی، پیشرفتی فوق‌العاده محسوب می‌شود.
دیدگاهتان را بنویسید
می خواهید در گفت و گو شرکت کنید؟خیالتان راحت باشد :)