AI alignment و safety به زبان ساده

در اوایل ۲۰۲۳، وقتی OpenAI GPT-4 رو معرفی کرد، یه اتفاق عجیب افتاد: بعضی از محققان خود OpenAI از سرعت توسعه ابراز نگرانی کردن. هفته‌ها بعد، هزار نفر از دانشمندان و مدیران tech نامه‌ای امضا کردن که می‌گفت «آزمایش‌های AI رو متوقف کنید». همزمان، شرکت Anthropic — که خودش از OpenAI جدا شده بود — گفت مهم‌ترین کارش «AI safety» هست. سوال اینه: از چی می‌ترسیدن؟

Alignment چیه؟

«Alignment» به زبان ساده یعنی: آیا AI آنچه ما می‌خواهیم انجام می‌ده؟

به نظر ساده میاد. ولی مشکل اینجاست که «آنچه می‌خواهیم» خودش یه موضوع پیچیده‌ست. اگه به یه AI بگی «انسان‌ها رو خوشحال کن»، ممکنه به این نتیجه برسه که بهترین راه این باشه که یه داروی اعتیادآور بریزه توی آب — آدم‌ها خوشحال می‌شن، ولی این که نمی‌خواستیم!

این مثال مسخره‌ست ولی اصل قضیه رو نشون می‌ده: وقتی اهداف رو دقیق تعریف نکنی، یه سیستم هوشمند ممکنه راه‌های غیرمنتظره‌ای پیدا کنه که هدف رو برآورده کنه ولی با روح اصلی فرق داشته باشه.

این «specification problem» یا «mesa-optimization» اسم‌های مختلفی توی literature داره.

Safety چیه و چطور با Alignment فرق می‌کنه؟

Alignment سوالیه: «آیا AI چیزی که ما می‌خوایم انجام می‌ده؟» Safety جواب عملیه: «چطور مطمئن بشیم که نمی‌ده؟»

دو حوزه overlap دارن ولی فرق دارن:

• Alignment research بیشتر نظریه‌پردازیه — داریم دنبال فهمیدن مشکل می‌گردیم
• AI Safety engineering عملیه — چطور سیستم رو safe بسازیم

چرا الان مهمه؟ مگه هنوز AGI نیومده؟

دقیقاً. ولی همین ANI های امروزی هم می‌تونن آسیب بزنن:

۱. Jailbreak و manipulation: مدل‌هایی که برای استفاده عمومی ساخته شدن رو می‌شه با prompt های خاص وادار کرد محتوای مضر تولید کنن. این یه مشکل safety واقعی و امروزیه.

۲. Bias و discrimination: اگه training data جانب‌دارانه باشه، مدل خروجی جانب‌دارانه می‌ده. یه سیستم AI که برای استخدام استفاده می‌شه و به طور ناخواسته یه گروه رو تبعیض می‌ده، خطرناکه — حتی اگه هیچ «قصد بدی» نداشته باشه.

۳. Misinformation: مدل‌های زبانی راحت hallucinate می‌کنن و ممکنه با اطمینان اطلاعات غلط بدن. این خطر واقعی‌ست.

رویکردهای اصلی برای حل مشکل

RLHF — یادگیری تقویتی از بازخورد انسانی

این رویکردیه که OpenAI، Anthropic و Google همه ازش استفاده می‌کنن. مدل output تولید می‌کنه، انسان‌ها رتبه‌بندی می‌کنن، مدل یاد می‌گیره چه خروجی «بهتر» مثل چیه. ساده ولی موثر — تا وقتی انسان‌ها رتبه‌بندی درستی بدن.

Constitutional AI — رویکرد Anthropic

Anthropic یه رویکرد جالب معرفی کرد: به جای اینکه فقط انسان رتبه‌بندی کنه، به خود AI یه «قانون اساسی» (set of principles) می‌دی و بهش می‌گی خودت کارهات رو ارزیابی کن. این process رو «CAI» می‌نامن. نتیجه Claude هست — مدلی که از اصول مشخص پیروی می‌کنه.

اگه می‌خوای عمیق‌تر بشی، پست Constitutional AI چیست؟ این رویکرد رو detail می‌ده.

Interpretability — فهمیدن درون مدل

یه چالش اساسی اینه که ما نمی‌دونیم چرا مدل‌های بزرگ تصمیمات خاصی می‌گیرن. «Black box» بودنشون هم برای safety مشکل‌سازه. Anthropic یه تیم کامل داره که روی Mechanistic Interpretability کار می‌کنه — یعنی سعی می‌کنن circuit ها و مفاهیم درون مدل رو بفهمن.

Red-teaming

قبل از انتشار یه مدل، تیمی سعی می‌کنه ازش output های مضر استخراج کنه. این «red team» باگ‌های safety رو پیدا می‌کنه قبل از اینکه کاربر واقعی پیداشون کنه.

مواضع شرکت‌های مختلف

شرکت‌ها رویکردهای متفاوتی دارن:

OpenAI: گفته هدف نهایی AGI هست و safety باید موازی با development پیش بره. سال ۲۰۲۴ تیم safety‌اش دچار اتفاقات داخلی شد که بحث‌برانگیز بود.

Anthropic: از همان ابتدا با این ایده شروع کرد که «ما داریم یه چیز خطرناک می‌سازیم ولی ترجیح می‌دیم ما بسازیمش تا کس دیگه‌ای». تمرکزشون روی safety research واقعی قابل لمسه.

Google DeepMind: ترکیب DeepMind (با سابقه safety research) و Google Brain. یه تیم بزرگ safety داره.

Meta AI: رویکرد متفاوت‌تری — مدل‌های open-source منتشر می‌کنه با این استدلال که transparency به safety کمک می‌کنه.

نظرات منتقدانه

بعضی محققان معتقدن نگرانی‌های AGI/ASI safety زودرس هستن و باعث می‌شن از خطرات فوری‌تر AI (bias، misinformation، تمرکز قدرت) غافل بشیم. این نقد به «effective altruism-adjacent» بودن جامعه AI safety معمولاً اشاره می‌کنه.

طرف مقابل می‌گه بهتره این سوالات رو زودتر از دیر مطرح کنی.

هر دو طرف نکاتی دارن. واقعیت اینه که هر دو نوع خطر — فوری و بلندمدت — واقعی هستن و باید هم‌زمان بهشون توجه کرد.

برای کاربر عادی چه معنایی داره؟

عملی‌ترین نکاتی که باید بدونی:

• Hallucination یه مشکل safety واقعیه. هیچ وقت خروجی AI رو بدون check کردن توی زمینه‌های مهم (پزشکی، حقوقی، مالی) قبول نکن.
• Prompt injection یه خطر واقعیه — اگه از AI agent هایی استفاده می‌کنی که به اینترنت دسترسی دارن، باید بدونی که یه صفحه وب می‌تونه سعی کنه دستوراتی به ایجنت بده.
• انتخاب ابزاری که شرکت سازنده‌اش به safety توجه می‌کنه، عاقلانه‌ست.

همچنین بخوان

• AGI، ASI و ANI — انواع هوش مصنوعی
• اخلاق در هوش مصنوعی
• Constitutional AI چیست؟
• شناخت پیوسته در هوش مصنوعی