پردازش زبان‌های طبیعی

پردازش زبان طبیعی، شاخه‌ای مهم از هوش مصنوعی است که هدف آن ایجاد تعامل بین انسان و ماشین از طریق زبان طبیعی می‌باشد. در این درس، ضمن آشنایی با مفاهیم کلیدی این حوزه، روش‌های پایه‌ای و پیشرفته برای حل مسائل و مقابله با چالش‌های موجود در آن مورد بررسی قرار می‌گیرد.

1. معرفی درس و آشنایی با مفاهیم اولیه
   • مفهوم زبان و پردازش زبان طبیعی، کاربردها، چالش‌ها، کلیات انواع مسائل و روش‌های حل آن‌ها
2. مفاهیم مربوط به زبان
   • لایه‌های زبان و ابهام‌های آن، روابط واژگانی
3. پیش‌پردازش متن
   • نرمال‌سازی، جداسازی‌واژگان (Tokenization)، تشخیص ریشه و لما، موجودیت‌های نام‌دار، فاصله ویرایشی، عبارات منظم
4. مدل‌های زبانی
   • روش‌های پایه در مدل‌سازی زبانی، اِن‌گرام‌ها، هموارسازی، ارزیابی مدل
5. بازنمایی واژگان
   • بازنمایی‌های ثابت (Static) (روش های پایه‌ای، روش‌های مبتنی بر جبرخطی، و روش‌های مبتنی بر شبکه‌های عصبی) و بازنمایی‌های مبتنی بر بافت (Contextualized)
6. معماری‌های شبکه‌های عصبی پرکاربرد در پردازش زبان طبیعی
   • شبکه‌های عصبی پیچشی (Convolutional)، شبکه‌های عصبی بازگشتی (Recurrent)، مکانیزم توجه، مبدل‌ها (Transformers)، مدل‌های رمزگذار (Encoder)، مدل‌های رمزگشا (Decoder)، مدل‌های رمزگذار-رمزگشا (Encoder-Decoder)
7. روش‌های طبقه‌بندی متن
   • بیز ساده (Naive Bayes)، رگرسیون لاجیستیک (Logistic Regression)، شبکه‌های عصبی و مدل‌های زبانی
8. روش‌های طبقه‌بندی اجزاء رشته
   • مسائل برچسب‌زنی اجزاء سخن (POS) و تشخیص موجودیت‌های نامدار (NER)، مدل‌های مخفی مارکوف (HMM)، شبکه‌های عصبی و مدل‌های زبانی
9. روش‌های تولید متن
   • مدل‌های سنتی ترجمه ماشینی، مدل‌های شبکه‌عصبی Seq-to-Seq
10. روش‌های تنظیم‌دقیق (Fine-tune) مدل‌های زبانی
    • آموزش لایه دسته‌بند، استفاده از Adapterها
11. مدل‌ زبانی بزرگ (LLM) و برخی از کاربردهای آن‌ها
    • معماری RAG، عامل‌های مبتنی بر مدل‌زبانی بزرگ (LLM agents)

• تمرین‌های عملی: ۸ نمره

• آزمونک‌ها: ۴ نمره

• آزمون پایانی: ۸ نمره