LLM فارسی

دیتاست‌های متن فارسی

وقتی از یه مدل زبانی می‌خوای فارسی بنویسه، درست استدلال کنه، یا حتی یه جمله را خوب تحلیل کنه، جواب ساده‌ای وجود داره: کیفیت دیتاستی که روش آموزش دیده.

نوشتهٔ •به‌روزرسانی: •۳ دقیقه مطالعه
تصویر مقالهٔ دیتاست‌های متن فارسی

وقتی از یه مدل زبانی می‌خوای فارسی بنویسه، درست استدلال کنه، یا حتی یه جمله را خوب تحلیل کنه، جواب ساده‌ای وجود داره: کیفیت دیتاستی که روش آموزش دیده. این مقاله نگاهی می‌ندازه به اینکه دقیقاً چه دیتاست‌هایی برای آموزش LLM فارسی وجود دارن، چرا این مسئله مهمه، و چالش‌های واقعی که محققان باهاشون دست‌وپنجه نرم می‌کنن.

چرا دیتاست فارسی مستقل لازم داریم؟

فارسی حدود ۱۱۰ میلیون گوینده داره، اما توی دیتاست‌های بزرگ چندزبانه مثل Common Crawl، سهم فارسی نسبت به انگلیسی ناچیزه. این یعنی مدل‌هایی که فقط روی داده‌های عمومی وب آموزش دیدن، در فارسی ضعیف‌ترن: جمله‌های دستوری ناقص می‌سازن، اشتباهات دیکته دارن، و بدتر از همه، مفاهیم فرهنگی و محاوره‌ای فارسی رو نمی‌فهمن.

برای ساختن یه LLM فارسی واقعی، یا حتی fine-tune کردن یه مدل موجود، به دیتاست اختصاصی فارسی نیاز داری.

دیتاست‌های اصلی موجود

CC-100 Persian

یکی از پایه‌ای‌ترین دیتاست‌هاست که از اسنپ‌شات‌های Common Crawl سال ۲۰۱۸ ساخته شده. حجمش حدود ۲۰ گیگابایت متن فارسی‌ست. نقطهٔ قوتش در دسترس بودن و حجم معقولشه؛ نقطهٔ ضعفش اینه که داده‌های وبی کثیف هستن، پر از لینک، اسپم، و متن‌های بی‌کیفیت.

OSCAR (Open Super-large Crawled Aggregated Resource)

نسخه‌های اخیر OSCAR بخش فارسی خوبی دارن: حدود ۲۳ میلیون سند، ۹۳ گیگابایت، نزدیک به ۹ میلیارد توکن. این دیتاست از فیلترهای بهتری نسبت به CC-100 عبور داده شده و برای pre-training گزینهٔ محبوبیه.

mC4 فارسی

mC4 که توسط گوگل برای آموزش مدل‌های چندزبانه منتشر شده، بخش فارسی‌اش حدود ۶۰۰ گیگابایت داره. البته حجم زیاد لزوماً به معنای کیفیت بالا نیست.

Matina، کرپوس ۷۳ میلیارد توکنی

جدیدترین و بزرگ‌ترین دیتاست فارسی در زمان نوشتن این مقاله، Matina‌ست که در اوایل ۲۰۲۵ معرفی شد. این دیتاست ۷۲.۹ میلیارد توکن متن فارسی داره که مرحلهٔ preprocessing و deduplication دقیقی روش انجام شده. برای اولین بار می‌شه گفت یه دیتاست فارسی در مقیاس قابل رقابت با دیتاست‌های انگلیسی وجود داره.

دیتاست‌های تخصصی

کنار دیتاست‌های عمومی، چند مجموعهٔ تخصصی هم ساخته شدن:

  • PersianNLU / ParsiNLU: برای ارزیابی و آموزش مهارت‌های درک متن
  • SQuAD فارسی: نسخهٔ ترجمه‌شده و بومی‌سازی‌شده برای پرسش-پاسخ
  • Persian Twitter/Social Media corpora: برای فهم زبان محاوره‌ای و لهجه‌ها
  • PerSoMed: دیتاست متن شبکه‌های اجتماعی فارسی برای تشخیص احساسات

چالش‌های اصلی دیتاست فارسی

۱. تنوع نوشتاری

فارسی یه خط اقتباسی از عربی داره، اما حروف مخصوص خودش (پ، چ، ژ، گ) رو داره. مشکل اینجاست که نوشتن همین حروف در سیستم‌های مختلف فرق می‌کنه، مثلاً «ک» عربی و «ک» فارسی از نظر یونیکد دو کد متفاوتن. خیلی از متن‌های اینترنتی این دو رو قاطی می‌کنن، که یعنی باید normalization دقیق انجام بدی.

۲. چسبیدن کلمات

فارسی یه زبان پیوندی‌ست. پیشوند «می» یا پسوند «ها» می‌تونن به کلمه بچسبن یا جدا بنویسمشون، هر دو درسته. این ابهام tokenization رو سخت‌تر می‌کنه و به این معناست که یه مدل باید بتونه هر دو فرم رو بشناسه.

۳. کمبود دیتای با‌کیفیت در حوزه‌های تخصصی

متن پزشکی، حقوقی، مهندسی یا علمی فارسی خیلی کم توی دیتاست‌های آزاد وجود داره. این یعنی LLM‌های فارسی معمولاً در پرسش‌های تخصصی ضعیف‌ترن.

۴. داده‌های فیلترشده یا سانسورشده

بخش قابل توجهی از تولید محتوای فارسی در ایران تحت محدودیت‌های اینترنتیه. این یعنی Common Crawl نمی‌تونه خیلی از منابع فارسی رو ایندکس کنه و دیتاست‌های وبی تصویر کاملی از زبان روزمرهٔ فارسی‌زبان‌ها ندارن.

چرا این به کاربر ایرانی مربوطه؟

شاید بگی «من که LLM آموزش نمی‌دم، این به من چه ربطی داره؟» جواب ساده‌ست: کیفیت دیتاست مستقیماً روی تجربهٔ تو تأثیر می‌ذاره.

وقتی یه chatbot فارسی به سؤالت اشتباه جواب می‌ده، یا وقتی یه مدل کد می‌نویسه و کامنت‌هاش فارسی بی‌معناست، یا وقتی خلاصه‌ای که AI می‌ده کلمات رو قطع می‌کنه، ریشهٔ همهٔ اینا معمولاً به دیتاست برمی‌گرده. مدل اگه متن خوب فارسی ندیده باشه، نمی‌تونه خوب فارسی تولید کنه.

آیندهٔ دیتاست‌های فارسی

Matina نشون داد که ساختن دیتاست‌های بزرگ فارسی ممکنه. تمرکز بعدی احتمالاً روی کیفیت خواهد بود، نه فقط کمیت:

  • دیتاست‌های دستورالعمل (instruction tuning) فارسی که با دقت کیوریت شدن
  • دیتاست‌های ارزیابی (benchmark) بومی‌تر برای فارسی
  • متن‌های تخصصی در حوزه‌های پزشکی، فنی و علمی

با پیشرفت این حوزه، LLM‌های فارسی هم بهتر می‌شن، و این مستقیماً به نفع هر کاربر فارسی‌زبانه.

همچنین بخوان

#LLM فارسی

ادامهٔ مسیر

همهٔ مقاله‌ها ←
آیندهٔ هوش مصنوعی فارسی
LLM فارسی

آیندهٔ هوش مصنوعی فارسی

هوش مصنوعی فارسی الان کجاست و به کجا می‌ره؟ این سؤالیه که جواب دادنش در ۱۴۰۵ هم جذاب‌تر شده، هم سخت‌تر.

Llama fine-tuning برای فارسی
LLM فارسی

Llama fine-tuning برای فارسی

Llama یه مدل زبانی اوپن‌سورس از Metaه که هر کسی می‌تونه وزن‌هاش رو دانلود کنه، روی سرور خودش اجرا کنه، و، مهم‌تر از همه، روی داده‌های خودش fine-tune کنه.

ParsBERT؛ مدل فارسی BERT برای پردازش زبان
LLM فارسی

ParsBERT؛ مدل فارسی BERT برای پردازش زبان

ParsBERT چیست، برای طبقه‌بندی و تحلیل احساسات فارسی چطور کار می‌کند و چه فرقی با مدل‌های مولد مثل GPT دارد.

PartAI، مدل زبانی فارسی
LLM فارسی

PartAI، مدل زبانی فارسی

وقتی صحبت از مدل‌های زبانی بومی ایرانی می‌شه، PartAI یکی از معدود شرکت‌هاییه که نه فقط ادعا، بلکه مدل واقعی، با کد باز، منتشر کرده.

بیشتر در «LLM فارسی»