🧬
🧬 «ЖИ қалай жұмыс істейді» практикасы

Python-да өз LLM-іңді құрастыр

8 сабақ: токенизатор, биграмма кестесі, температуралы сүйек, loss, градиентпен оқыту, n-граммалар және шамадан тыс оқу — Шекспирдің барлық пьесасында, таза Python-мен тікелей браузерде. «ЖИ қалай жұмыс істейді» курсының практикасы.

Не құрастырасың
🔤Өз токенизаторың
🎲Температуралы мәтін генераторы
📉Loss 4,17 → 2,5 өз көзіңмен
🧪Іс жүзінде ұсталған шамадан тыс оқу
📘 8 сабақ1-2 кеш🎓 Орта
🎯 Мақсат
Тілдік модельді өз қолыңмен құрастырып, оқыту
+130XP
🏆СертификатPDF
📜Сенің моделің Шекспир жазады
Прогресс0 / 8 · 0%
Келесі қадам: Кітап жадта: таңбаларды санаймыз

Курс бағдарламасы

  1. 01

    Кітап жадта: таңбаларды санаймыз

    Мәтінді жүктеуset және sorted65 таңбадан тұратын сөздік⚡ +10
    ▶ Қазір
  2. 02

    Токенизатор: әріптерді санға және кері

    stoi және itosenumerateencode / decodeАйналымды тексеру⚡ +10
    Ашық
  3. 03

    Сұрақтар мен жауаптар: кітапты бөлеміз

    Бүкіл кітапты encode(контекст, жауап) жұптарыtrain / val 90 / 10⚡ +10
    Ашық
  4. 04

    Бірінші модель: «кімнен кейін кім» кестесі

    65 × 65 кестеКөршілерді zipЫқтималдық пирогыБиграммалар⚡ +10
    🔒 Pro
  5. 05

    Сүйек пен температура: модель жазады

    random.choicesГенерация цикліТемператураrandom.seed⚡ +10
    🔒 Pro
  6. 06

    Таңғалуды өлшейміз: loss

    −log pОрташа таңғалу+1 тегістеуtrain vs val⚡ +10
    🔒 Pro
  7. 07

    Тұтқаларды бұраймыз: градиентпен оқыту

    logits және softmaxБатчp − y градиентіОқу жылдамдығы⚡ +10
    🔒 Pro
  8. 08

    Артқа алысырақ қараймыз: контекст және шамадан тыс оқу

    n-граммаларtuple кілт ретіндеШамадан тыс оқу іс жүзіндеAttention не қосады
    Сенің моделің Шекспир жазады
    🔒 Pro