🧬
🧬 Практика к «Как работает ИИ»

Собери свой LLM на Python

8 уроков: токенизатор, таблица биграмм, кубик с температурой, loss, обучение градиентом, n-граммы и переобучение — на всех пьесах Шекспира, чистым Python прямо в браузере. Практика к курсу «Как работает ИИ».

Что ты создашь
🔤Свой токенизатор
🎲Генератор текста с температурой
📉Loss 4,17 → 2,5 своими глазами
🧪Переобучение, пойманное вживую
📘 8 уроков1-2 вечера🎓 Средний
🎯 Цель
Собрать и обучить языковую модель своими руками
+130XP
🏆СертификатPDF
📜Твоя модель пишет Шекспира
Прогресс0 / 8 · 0%
Следующий шаг: Книга в памяти: считаем символы

Программа курса

  1. 01

    Книга в памяти: считаем символы

    Загрузка текстаset и sortedСловарь из 65 символов⚡ +10
    ▶ Сейчас
  2. 02

    Токенизатор: буквы в числа и обратно

    stoi и itosenumerateencode / decodeПроверка круга⚡ +10
    Открыт
  3. 03

    Вопросы и ответы: делим книгу

    encode всей книгиПары (контекст, ответ)train / val 90 / 10⚡ +10
    Открыт
  4. 04

    Первая модель: таблица «кто после кого»

    Таблица 65 × 65zip соседейПирог вероятностейБиграммы⚡ +10
    🔒 Pro
  5. 05

    Кубик и температура: модель пишет

    random.choicesЦикл генерацииТемператураrandom.seed⚡ +10
    🔒 Pro
  6. 06

    Измеряем удивление: loss

    −log pСреднее удивлениеСглаживание +1train vs val⚡ +10
    🔒 Pro
  7. 07

    Крутим ручки: обучение градиентом

    logits и softmaxБатчГрадиент p − yСкорость обучения⚡ +10
    🔒 Pro
  8. 08

    Смотрим дальше назад: контекст и переобучение

    n-граммыtuple как ключПереобучение вживуюЧто добавляет attention
    Твоя модель пишет Шекспира
    🔒 Pro