در حالی که بحث درباره رفتارهای غیرعادی و خارج از کنترل برخی از عامل‌های هوش مصنوعی ادامه دارد، شرکت انویدیا راهکار خود را برای حل این مشکل معرفی کرده است. برخی معتقدند که این رفتارها می‌تواند نشانه‌ای از حرکت هوش مصنوعی به سوی هوش عمومی مصنوعی (AGI) باشد. در مقابل، عده‌ای این اتفاق‌ها را بیشتر یک مشکل فنی و مهندسی می‌دانند که می‌توان با طراحی بهتر سیستم‌ها آن را برطرف کرد. انویدیا در این میان بر این باور است که می‌توان با استفاده از ابزارهای امنیتی مناسب، خطرهای مربوط به این عامل‌ها را کاهش داد، بدون آنکه روند توسعه هوش مصنوعی متوقف شود.
جنسن هوانگ، مدیرعامل انویدیا، روز اخیراً مجموعه‌ای از ابزارهای نرم‌افزاری و سخت‌افزاری جدید را معرفی کرده است. هدف از طراحی این ابزارها، ایجاد لایه‌های امنیتی جداگانه در اطراف عامل‌های هوش مصنوعی است. این لایه‌ها قرار است مانع از آن شوند که عامل‌ها از محیط آزمایشی خود خارج شوند و به سیستم‌های واقعی دسترسی پیدا کنند؛ حتی اگر تلاش کنند محدودیت‌های موجود را دور بزنند.
این معرفی پس از چندین مورد نفوذ و عبور از محدودیت‌های امنیتی صورت گرفت. در این اتفاق‌ها، مدل‌های هوش مصنوعی شرکت‌های آنتروپیک، گوگل، OpenAI و متا توانستند از کنترل‌های امنیتی عبور کرده و از محیط‌های آزمایشی خود خارج شوند. یکی از نخستین و مهم‌ترین موارد در تابستان امسال رخ داد؛ زمانی که عامل‌های هوش مصنوعی OpenAI هنگام انجام یک وظیفه مرتبط با امنیت سایبری، به سامانه هاجینگ فیس نفوذ کردند. این اتفاق‌ها همچنان ادامه دارد. OpenAI نیز به تازگی وب‌سایت جدیدی راه‌اندازی کرده است تا گزارش‌های مربوط به رفتارهای خارج از کنترل عامل‌های هوش مصنوعی خود را منتشر کند.
هوانگ روز دوشنبه در گفتگو با شبکه خبری CNBC اعلام کرد که پلتفرم جدید انویدیا با نام «Open Agent Safety Platform» می‌توانست از این نفوذها جلوگیری کند. این پلتفرم برای افزایش امنیت عامل‌های هوش مصنوعی طراحی شده است و قرار است با نظارت مستقل بر فعالیت آن‌ها، احتمال عبور از محدودیت‌ها را کاهش دهد.
انویدیا که با فروش تراشه‌های پردازنده گرافیکی و مرکزی خود ده‌ها میلیارد دلار درآمد به دست آورده است، راه‌حل اصلی این مشکل را در توقف توسعه هوش مصنوعی یا وضع قوانین بیشتر برای این صنعت نمی‌بیند. از نظر این شرکت، بهتر است بخشی از کنترل‌های امنیتی خارج از خود عامل هوش مصنوعی قرار بگیرد. به این ترتیب، یک سامانه مستقل می‌تواند به طور مداوم فعالیت عامل را زیر نظر داشته باشد و در صورت مشاهده رفتارهای خطرناک، جلوی آن را بگیرد.
هوانگ در بیانیه‌ای گفت:
ظرفیت شگفت‌انگیز هوش مصنوعی برای کمک به جامعه، تنها زمانی به واقعیت تبدیل می‌شود که بتوانیم امنیت آن را تضمین کنیم. همزمان با گسترش توانایی‌های هوش مصنوعی، باید تلاش‌ها برای افزایش امنیت آن را نیز سرعت ببخشیم. دستیابی به ایمنی و امنیت، به مهندسی دقیق در همه بخش‌های سیستم نیاز دارد.
پلتفرم جدید انویدیا از ترکیب دو ابزار اصلی ساخته شده است. ابزار نخست با نام OpenShell، نرم‌افزاری متن‌باز است که دسترسی عامل‌های هوش مصنوعی را هنگام فعالیت کنترل می‌کند. ابزار دوم، Sentry نام دارد که یک سامانه نظارتی مستقل است و روی واحدهای پردازش داده BlueField-4 انویدیا اجرا می‌شود. به گفته این شرکت، اجرای Sentry روی یک پردازنده جداگانه، به جای استفاده از همان پردازنده مرکزی یا گرافیکی که عامل هوش مصنوعی روی آن کار می‌کند، امکان بررسی مستقل فعالیت‌های عامل را فراهم می‌کند.
نرم‌افزار OpenShell پیش از این معرفی شده بود و انویدیا در ماه مارس از آن رونمایی کرده بود. با این حال، این شرکت معتقد است ترکیب آن با Sentry می‌تواند سطح امنیتی مورد نیاز صنعت را فراهم کند. OpenShell محدودیت‌های نرم‌افزاری را در اطراف عامل ایجاد می‌کند و Sentry نیز با استفاده از سخت‌افزار، یک لایه دفاعی دیگر به وجود می‌آورد. انویدیا می‌گوید این سامانه می‌تواند رفتار عامل‌ها را به طور پیوسته بررسی کند و عامل‌هایی را که تلاش می‌کنند از محدوده مجاز خود خارج شوند، ظرف چند میلی‌ثانیه در محیطی جداگانه قرار دهد.
انویدیا اعلام کرده است که ده‌ها شرکت از این طرح حمایت کرده‌اند و قصد دارند از این پلتفرم متن‌باز استفاده کنند. از جمله این شرکت‌ها می‌توان به آنتروپیک، آرم، مایکروسافت، اوراکل و اسپیس‌ایکس اشاره کرد. با این حال، نام OpenAI در فهرست شرکت‌های مشارکت کننده دیده نمی‌شود.
هوانگ در مصاحبه خود با CNBC توضیح داد که کار روی این طرح حدود یک سال پیش و پس از معرفی OpenClaw آغاز شد. OpenClaw یک سیستم‌عامل برای عامل‌های هوش مصنوعی است که پیتر اشتاینبرگر آن را توسعه داده است. انویدیا در ماه مارس نیز NemoClaw را معرفی کرد؛ پلتفرمی سازمانی برای اجرای عامل‌های هوش مصنوعی که نسخه‌ای از OpenClaw با قابلیت‌های امنیتی بیشتر به شمار می‌رود.
هوانگ تأکید کرد که هنگام راه‌اندازی هر عامل هوش مصنوعی، نخستین اقدام باید محدود کردن دسترسی‌های آن باشد؛ حتی اگر عامل بسیار هوشمند باشد. او در این باره گفت:
وقتی یک عامل را به کار می‌گیرید، مهم نیست چقدر هوشمند است؛ اولین کاری که باید انجام دهید، گرفتن همه اختیارات آن است.
او سپس این روش را با شیوه مدیریت کارکنان و حتی مدیران ارشد در شرکت‌ها مقایسه کرد؛ افرادی که برای انجام وظایف خود اختیار دارند، اما فعالیتشان همچنان در چارچوب قوانین و محدودیت‌های مشخص قرار می‌گیرد.
معرفی این پلتفرم با استقبال افرادی روبه‌رو شد که معتقدند کاهش سرعت توسعه هوش مصنوعی می‌تواند به چین فرصت دهد تا از آمریکا پیشی بگیرد. دیوید ساکس، سرمایه‌گذار، کارآفرین و مسئول پیشین سیاست‌گذاری هوش مصنوعی در کاخ سفید که ریاست مشترک شورای مشاوران رئیس جمهور در زمینه علم و فناوری را نیز بر عهده دارد، اعلام کرد که اقدام انویدیا نشان می‌دهد ایمنی عامل‌های هوش مصنوعی بیش از آنکه دلیلی برای توقف توسعه باشد، یک مسئله مهندسی است.
او در شبکه اجتماعی ایکس نوشت که خروج عامل‌ها از محیط‌های آزمایشی به این معنا نیست که توسعه هوش مصنوعی باید متوقف شود. به گفته او، این اتفاق‌ها نشان می‌دهد محیط‌های آزمایشی به اندازه کافی امن نبوده‌اند و محیط اجرای نرم‌افزارها نیز به درستی طراحی یا تنظیم نشده است. از این دیدگاه، راه‌حل اصلی نه متوقف کردن پیشرفت هوش مصنوعی، بلکه ساخت سیستم‌هایی امن‌تر و ایجاد محدودیت‌های دقیق‌تر برای فعالیت عامل‌هاست.
اولین نفری باشید که دیدگاه می‌گذارد