داده‌ها، مجوزها و محدودیت بنچمارک

این کتابخانه را ابزار پردازش متن فارسی با قواعد و داده محدود در نظر بگیرید. آن را روی محتوای خود، به‌ویژه نام‌ها، واژه‌های تخصصی، جمله منفی و رشته با خط‌های مختلف ارزیابی کنید. بازیابی بهتر سند معلوم، درستی زبانی عمومی را ثابت نمی‌کند.

کد و داده همراه بسته

کد پروژه MIT است. بسته، کد تولیدشده بن‌یاب فارسی Snowball نسخه v3.1.1 را با مجوز BSD-3-Clause و اعلان مجوز آن دارد. جفت‌های فعل Hazm از verbs.dat در بازبینی a399c829 با مجوز MIT آمده‌اند. پروژه جمع‌های مکسر دست‌نویس، واژه‌های محافظت‌شده، استثناهای می چسبیده، واقعیت‌های چینش صفحه‌کلید و ویرایش‌های صورت پایه را اضافه می‌کند.

فهرست منبع، 354 جفت فعل، 107 جفت جمع مکسر، 1,047 واژه محافظت‌شده در keep، 579 واژه فهرست lemma با 30 ویرایش، 23 واژه protected و 46 استثنای می چسبیده را ثبت می‌کند. اینها تعداد اقلام هستند، نه اندازه‌گیری پوشش یا دقت.

فهرست‌های keep، protected و استثناها با قواعدی روی شمارش تک‌واژه انتخاب شده‌اند؛ بخشی از متن ویکی‌پدیا با CC BY-SA و بخشی از مجموعه خبر و کالا که کارت آنها MIT اعلام می‌کند. فهرست منبع تصمیم مالک در 2026-09-27 را ثبت کرده که این فهرست واژه‌های معمول با MIT همراه بسته باشند، چون بخشی از متن منبع کپی نشده است. این تصمیم ثبت‌شده درباره منشا همین داده‌هاست، نه حکم کلی درباره همه داده‌های مشتق‌شده. بازبینی سخت‌گیرانه‌تر انتشار می‌تواند آنها را از پیکره‌ای با مجوز مناسب دوباره بسازد و ارزیابی را تکرار کند.

برچسب‌های lemma از توافق دو مدل هوش مصنوعی روی واژه‌های فهرست خود پروژه و قواعد مربوط به فعل‌های Hazm آمده‌اند. فقط فهرست ثابت ویرایش منتشر می‌شود؛ هنگام اجرا مدل، درخواست استنتاج یا جستجوی هوش مصنوعی وجود ندارد. توافق مدل‌ها درستی برچسب زبانی را تضمین نمی‌کند. فهرست منبع، پرامپت، مدل‌ها و هش بخش‌ها را در فایل مشخصات lemma ثبت کرده است. فایل words.dat از Hazm و مدل‌های آموزش‌دیده با برچسب ارزیابی همراه بسته نیستند.

ارزیابی و نمونه نمایشی جدا هستند

درخت‌بانک‌های UD Persian-Seraji و PerDT با مجوز CC BY-SA، متن و عبارت‌های بنچمارک و نمونه نمایشی ساخته‌شده، داده ارزیابی هستند و داده جستجوی همراه بسته نیستند. پوشه‌های bench/data/ و demo/dist/ نادیده گرفته می‌شوند و نباید وارد بسته شوند. نمونه نمایشی از ویکی‌پدیا و عنوان کالا نقل می‌کند، منبع را ذکر می‌کند و با CC BY-SA معرفی شده است. ساخت آن به داده بنچمارک نیاز دارد؛ برای اجرای کتابخانه یا نمونه‌های این مستندات لازم نیست.

واژه‌های اصلاح جستجو از محتوای هر سایت ساخته می‌شوند. فقط محتوای مناسب جستجوی عمومی همان سایت را ارائه دهید و تعهدهای منبع را حفظ کنید؛ مجوز MIT بسته، مجوز صفحه‌های شما را عوض نمی‌کند.

برداشت درست از بنچمارک

بنچمارک مخزن از پیکره‌های ویکی‌پدیا، خبر و کالا نمونه می‌گیرد و عبارت‌های بازیابی سند معلوم را از واژه‌های عنوان و تغییرهای کنترل‌شده املا و صرف می‌سازد. گزارش‌های بعدی، داده توسعه و آزمون را بر اساس سند جدا می‌کنند. نتیجه توسعه برای انتخاب تنظیمات و گزارش آزمون برای هدف‌های کنارگذاشته‌شده است. Recall@10 بررسی می‌کند آیا سند هدف در ده نتیجه اول هست؛ MRR به رتبه بالاتر امتیاز بیشتری می‌دهد. هیچ‌کدام مرتبط بودن همه نتیجه‌ها را نمی‌سنجند.

ردیف‌های هر پیکره و نوع تغییر، تعداد نمونه، بازه عدم قطعیت، نسخه موتور و تنظیم دقیق را بخوانید. موتور OR ممکن است سند را از واژه‌های تغییرنکرده پیدا کند و آسیب واژه تغییرکرده پنهان بماند؛ MRR و عبارت کوتاه‌تر به آشکار شدن آن کمک می‌کنند. بن‌یابی ممکن است واژه نامرتبط یا صورت مثبت و منفی را یکی کند. بازیابی سند معلوم به‌تنهایی دقت همه نتیجه‌ها یا رضایت کاربر را ثابت نمی‌کند.

گزارش اصلاح جستجو، نتیجه خودکار را از نتیجه پس از پذیرفتن پیشنهاد جدا می‌کند و مجموعه محافظ در برابر اصلاح نادرست دارد. این دو خروجی یکسان نیستند. گروه‌بندی حرف اول و پوشش واژه‌ها اصلاح املا را محدود می‌کنند. خط پایه اولیه مجموعه عبارت متفاوتی داشته و مقایسه خانه‌به‌خانه آن با مرحله‌های بعد درست نیست.

اینجا سرعت، اندازه بسته یا دقت تضمین نمی‌شود. زمان روی لپ‌تاپ، تنظیم فشرده‌سازی، موتور، مرورگر، شبکه و اندازه پیکره همگی اثر دارند. بسته واقعی و عبارت‌های نماینده خود را اندازه بگیرید. برای این تغییر صرفا مستنداتی، بنچمارک کامل دوباره اجرا نشده است.

مسیر بررسی منبع

پیوندهای نسبی مخزن برای بازبینی سورس نگه داشته شده‌اند: فهرست داده، مجوز MIT، روش بنچمارک، گزارش آزمون اصلاح و انتساب Snowball. واردکننده وب‌سایت ممکن است فایل بیرون از ناوبری عمومی را به صورت پیوند کد نشان دهد؛ اطلاعات اصلی منشا و محدودیت بالا آمده تا این صفحه مستقل قابل استفاده باشد.