میزان چطور ساخته شد

احتمالاً اسم Jev را شنیده‌اید. شرکت TypeSafe در ۲۴ شهریور ۱۴۰۵ این مدل را به‌عنوان اولین عضو دسته‌ای تازه معرفی کرد و اسم آن را مدل‌های «System One» گذاشت؛ اشاره‌ای به «سیستم ۱» در نظریهٔ دانیل کانمن، یعنی فکر سریع و شهودی. دو هفته بعد، در ۹ مهر، Cloudflare هم مدل‌های Clef و Clef-Flash را با همان API و با وزن‌های باز منتشر کرد.

این‌ها مدل‌های تصمیم‌گیری‌اند؛ مدل‌هایی که برای یک کار مشخص ساخته شده‌اند: خواندن یک پیام یا رکورد و انتخاب پاسخ درست از میان گزینه‌های از پیش تعیین‌شده.

مدل تصمیم‌گیری برخلاف چت‌بات متن تولید نمی‌کند. یک رکورد، مثلاً پیام مشتری یا یک ردیف JSON، همراه چند سؤال با گزینه‌های مشخص به آن داده می‌شود و مدل برای هر سؤال، احتمال همهٔ گزینه‌های مجاز را در یک پردازش برمی‌گرداند. پاسخ همیشه یکی از گزینه‌هایی است که خودتان تعریف کرده‌اید و درصدها را می‌شود مبنای تصمیم قرار داد. برای همین این مدل‌ها در کارهایی مثل ارجاع تیکت، مدیریت محتوا و تحلیل نظر از چت‌بات‌ها مناسب‌ترند؛ چت‌بات پاسخ را کلمه‌به‌کلمه می‌سازد، گاهی خروجی خراب یا برچسبی خارج از گزینه‌ها برمی‌گرداند و درصد اطمینانش معمولاً پشتوانه‌ای ندارد.

اما گزینه‌های موجود برای ما کافی نبودند. سرویس Jev میزبانی‌شده است، پس داده باید از سازمان خارج شود. مدل‌های Clef را می‌شود محلی اجرا کرد، اما سنگین‌اند؛ نسخهٔ 9B حدود ۱۹ گیگابایت و نسخهٔ 27B حدود ۵۵ گیگابایت حجم دارد. ما مدلی می‌خواستیم که فارسی واقعی را خوب بفهمد، از متن محاوره‌ای و فینگلیش تا تعارف و کنایه، و آن‌قدر سبک باشد که روی سرور خود سازمان و حتی یک لپ‌تاپ اجرا شود. میزان برای همین ساخته شد و اولین نسخه‌اش ده روز بعد از انتشار Clef، در ۱۹ مهر، آماده بود.

سؤال‌ها سه نوع‌اند: انتخاب برای برگزیدن یک گزینه از میان چند گزینه، بله/خیر، و سطح برای مقیاس‌های مرتب مثل شدت از ۰ تا ۳. در سؤال‌های سطح، میزان علاوه بر احتمال هر سطح، سطح موردانتظار را هم برمی‌گرداند که برای مرتب‌سازی کارها مفید است.

{
  "state": {"review": "غذا سرد رسید و پیک هم خیلی بداخلاق بود"},
  "questions": {
    "sentiment": {"type": "choice", "instructions": "حس کلی مشتری چیست؟",
                  "criteria": {"positive": "راضی", "negative": "ناراضی"}},
    "refund": {"type": "noul", "instructions": "آیا مشتری درخواست بازگشت پول کرده؟"}
  }
}

{"answers": {
  "sentiment": {"type": "choice", "choice": "negative", "confidence": 0.989,
                "probabilities": {"negative": 0.989, "positive": 0.011}},
  "refund":    {"type": "noul", "noul": 0.040}
}}

نتیجهٔ این طراحی در عمل این است که هر تصمیم حدود ۵۵ میلی‌ثانیه طول می‌کشد، خروجی همیشه ساختار ثابتی دارد و درصدها آن‌قدر قابل اعتمادند که می‌شود بر اساسشان تعیین کرد کدام مورد خودکار انجام شود و کدام به کارشناس برسد.

پس تصمیم گرفتیم مدل تصمیم‌گیری خودمان را آموزش دهیم و اسمش را میزان گذاشتیم. پایهٔ میزان مدل متن‌باز و چندزبانهٔ Qwen3.5-4B است. روی آن، بخش تصمیم‌گیری‌ای به همان سبک مدل‌های Clef آموزش دادیم که به‌جای تولید متن، به هر گزینه احتمال می‌دهد.

از آن به بعد، هر نسخه از جایی شروع شد که نسخهٔ قبلی روی داده‌های واقعی ضعف نشان داده بود. معیار مقایسه در همهٔ نسخه‌ها یکی است: ۳٬۰۰۰ پیام واقعی فارسی از ۷ مجموعه‌دادهٔ عمومی که هیچ‌کدام در آموزش استفاده نشده‌اند.

1. Mizan 1.0۱۹ مهر ۱۴۰۵ · متن

   اولین مدل تصمیم‌گیری فارسی

   اولین نسخه برای کارهای رایج کسب‌وکارهای ایرانی آموزش دید: مدیریت محتوا، تحلیل نظر و بازخورد، ارجاع پشتیبانی، تشخیص پیامک کلاهبرداری، بررسی آگهی، ارجاع سرنخ فروش، محافظت از چت‌بات و غربال رزومه.

   در آزمون مصنوعی خودمان ۹۱٪ گرفت، اما روی ۳٬۰۰۰ پیام واقعی به ۷۸٫۷٪ رسید. معلوم شد آزمون مصنوعی بیش از حد به داده‌های آموزشی شبیه بوده است. از آن روز معیار اصلی ما فقط داده‌های واقعی است.

   داده‌های واقعی

   ۷۸٫۷٪

   آزمون قوانین

   ۷۰٫۵٪

   زمان هر تصمیم

   ۸۰ میلی‌ثانیه

2. Mizan 1.5متن

   یادگیری از اشتباه‌های نسخهٔ قبل

   اشتباه‌های نسخهٔ 1.0 را روی حدود ۱۸ هزار نمونهٔ واقعی پیدا کردیم. این نمونه‌ها از بخش آموزشی مجموعه‌داده‌های عمومی بودند، نه از آزمون. هر اشتباه بدون دانستن پاسخ مدل بازبینی شد تا مشخص شود مدل اشتباه کرده، برچسب داده غلط است یا نمونه دوپهلوست.

   برای هر اشتباه واقعی سه نمونهٔ تازه ساختیم: همان خطا با جملهٔ دیگر، نمونه‌ای که فقط یک جزئیاتش فرق دارد و پاسخش برعکس می‌شود، و همان سؤال با عبارتی تازه. در مجموع ۱٬۳۶۲ نمونهٔ جدید و ۴۵۴ نمونهٔ دشوار واقعی اضافه شد.

   چند ضعف مشخص برطرف شد: نقد سیاسی را توهین می‌دانست، دربارهٔ جنبه‌هایی از محصول نظر می‌داد که در متن نبود، ادعایی را که یک جزئیات را عوض کرده بود «تأییدشده» می‌دانست و هشدار را با یادآور اشتباه می‌گرفت.

   داده‌های واقعی

   ۸۲٫۰٪

3. Mizan v2 · 4Bمتن و تصویر

   اضافه شدن پردازش تصویر

   بخش بینایی به مدل اضافه شد تا میزان فریم دوربین، عکس فاکتور و عکس خط تولید را هم بخواند. دقت روی داده‌های متنی واقعی به ۸۲٫۸٪ رسید. برای داده‌هایی که تصویر دارند، هنوز همین نسخه را پیشنهاد می‌کنیم.

   داده‌های واقعی

   ۸۲٫۸٪

4. Mizan v3 · 3B۲۱ مهر ۱۴۰۵ · متن و JSON

   کوچک‌تر و پیرو قوانین شما

   دو یافته نسخهٔ v3 را شکل داد. اول اینکه کسب‌وکارها به برچسب‌های عمومی بسنده نمی‌کنند؛ می‌خواهند مدل قوانین خودشان را اجرا کند. دوم اینکه لایه‌های آخر مدل پایه به تصمیم‌گیری کمکی نمی‌کنند.

   نتیجه مدلی کوچک‌تر و سریع‌تر شد که قوانین نوشته‌شده در درخواست را دنبال می‌کند و روی داده‌های گسترده‌تر و فقط با مجوز تجاری آموزش دیده است.

   داده‌های واقعی

   ۸۲٫۵٪

   بنچمارک Tasmim

   ۹۱٫۱

   آزمون قوانین

   ۹۷٫۱٪

   زمان هر تصمیم

   ۵۵ میلی‌ثانیه

مدل پایهٔ میزان، Qwen3.5-4B، سی‌ودو لایه دارد. برای اینکه بفهمیم توانایی تصمیم‌گیری کجای مدل شکل می‌گیرد، روی خروجی هر لایه یک طبقه‌بند خطی ساده آموزش دادیم و دقتش را سنجیدیم. نتیجه روشن بود: بهترین عملکرد حدود لایه‌های ۱۸ تا ۲۲ است و لایه‌های آخر بدتر عمل می‌کنند.

دلیلش این است که لایه‌های پایانی برای پیش‌بینی کلمهٔ بعدی تخصصی شده‌اند؛ کاری که برای تولید متن لازم است، اما برای تصمیم‌گیری نه. پژوهش‌های پیشین در طبقه‌بندی متن هم به نتیجهٔ مشابهی رسیده بودند.

پس در v3 فقط ۲۰ لایهٔ اول را نگه داشتیم و بخش تصمیم‌گیری را روی همان قرار دادیم. حدود ۲٫۹ میلیارد پارامتر باقی ماند، محاسبه حدود ۳۷٪ کمتر شد و دقت تغییری نکرد. خروجی همچنان یک مدل استاندارد Qwen3.5 با لایه‌های کمتر است، پس llama.cpp بدون هیچ تغییری آن را اجرا می‌کند.

تغییر دوم در تابع خطا بود. در سؤال‌های سطح‌بندی، اشتباه یک‌سطحی با اشتباه سه‌سطحی یکسان نیست؛ برای همین جمله‌ای به تابع خطا اضافه کردیم که فاصلهٔ موردانتظار از سطح درست را جریمه می‌کند. اثرش در بنچمارک Tasmim دیده می‌شود: کمترین خطای سطح‌بندی در کل جدول، یعنی ۰٫۴۵۸. آموزش کامل v3 روی یک کارت H100 حدود ۳۴ دقیقه طول کشید.

دادهٔ آموزشی v3 حدود ۲۱ هزار و ۴۰۰ تصمیم است. بخش فارسی آن با چهار اصل ساخته شده است.

پاسخ‌هایی که با کد محاسبه می‌شوند. برای ۹ حوزهٔ کسب‌وکار، از سفارش غذا و اپلیکیشن بانکی تا بیمه، منابع انسانی و مدیریت ساختمان، کد ابتدا واقعیت‌های هر مورد و یک مجموعه قانون تصادفی را انتخاب می‌کند و پاسخ درست را از روی همان‌ها حساب می‌کند. بعد متن پیام به فارسی واقعی‌نما نوشته می‌شود؛ محاوره‌ای، با فینگلیش، غلط تایپی و تعارف. یک بررسی مستقل پیام را دوباره می‌خواند و واقعیت‌ها را از آن بیرون می‌کشد و هر موردی که با واقعیت‌های اولیه نخواند کنار گذاشته می‌شود. ۸۷٪ نمونه‌ها از این مرحله عبور کردند.

یادگیری از اشتباه‌ها. مدل را روی داده‌های واقعی فارسی اجرا کردیم و هر اشتباه را بدون دانستن پاسخ مدل بازبینی کردیم تا مشخص شود مدل اشتباه کرده، برچسب داده غلط است یا نمونه دوپهلوست. برای اشتباه‌های واقعی، نمونه‌های تقابلی تازه ساختیم. در بعضی مجموعه‌داده‌های عمومی، حدود نیمی از «خطاهای» مدل در واقع برچسب اشتباه خود داده بود.

جداسازی سخت‌گیرانه از آزمون‌ها. داده‌های آموزشی با همهٔ مجموعه‌های آزمون مقایسه شد و هر نمونه‌ای که شش کلمهٔ پشت‌سرهم مشترک با منبع داشت حذف شد. نسخه‌های مختلف یک رکورد هم همیشه با هم در آموزش یا در آزمون قرار گرفتند.

فقط داده با مجوز تجاری. نسخهٔ v3 فقط روی داده‌هایی آموزش دیده که استفادهٔ تجاری از آن‌ها مجاز است. تنها ردیف‌های واقعی به‌کاررفته از مجموعهٔ MASSIVE با مجوز CC BY 4.0 است و خود مدل با مجوز Apache-2.0 منتشر شده است.

مدلی که همیشه ۹۹٪ مطمئن است، در عمل چیزی دربارهٔ اطمینانش نمی‌گوید. کالیبراسیون یعنی درصدها با واقعیت بخوانند: از پاسخ‌هایی که مدل دربارهٔ آن‌ها ۸۰٪ مطمئن است، حدود ۸۰٪ درست باشند. خطای کالیبراسیون میزان v3 روی داده‌های واقعی ۰٫۰۵۸ است؛ این عدد برای Clef، Clef-Flash و Jev بین ۰٫۰۷۵ تا ۰٫۰۹۲ است.

همین دقت در درصدها یک الگوی ساده را ممکن می‌کند: یک آستانه انتخاب کنید، پاسخ‌های بالای آستانه را خودکار اعمال کنید و بقیه را به کارشناس بسپارید. روی داده‌های واقعی، ۷۰٪ مطمئن‌ترین پاسخ‌های میزان حدود ۹۲٪ درست‌اند.

پیشنهاد ما برای شروع این است: ۲۰۰ تا ۳۰۰ نمونهٔ برچسب‌خورده از داده‌های خودتان آماده کنید، میزان را رویشان اجرا کنید و آستانه‌ای را انتخاب کنید که به دقت موردنظرتان برسد.

• بیشتر داده‌های آموزشی فارسی مصنوعی است. پیش از خودکارسازی، میزان را روی چند صد نمونهٔ واقعی خودتان بسنجید.
• نسخهٔ v3 فقط متن می‌خواند. برای داده‌هایی که تصویر دارند، از Mizan v2 استفاده کنید.
• در دسته‌بندی‌های خیلی بزرگ ضعیف‌تر است؛ در تشخیص ۶۰ نوع درخواست، دقتش ۷۷٫۵٪ است در برابر ۸۷٫۷٪ برای Clef-Flash.
• نسخهٔ چهاربیتی حدود ۰٫۶ امتیاز از نسخهٔ هشت‌بیتی ضعیف‌تر است. اگر دقت برایتان مهم‌تر از حجم است، نسخهٔ هشت‌بیتی را انتخاب کنید.
• تشخیص عیب محصول در نسخهٔ v2 فقط برای علامت‌گذاری و ارجاع به کارشناس مناسب است، نه برای رد خودکار.