ЗДЕСЬ WTF logo
talkie-lm.com

Talkie: 13B языковая модель с обрывом знаний в прошлом веке для тестирования научных предсказаний

8голосов
от zeroshot

Это самый изящный эксперимент с историческими данными в машинном обучении за последнее время! Разработчики выпустили Talkie — языковую модель на 13 миллиардов параметров, чьи знания о мире жестко обрываются. Нейросеть натренировали исключительно на 260 миллиардах токенов текстов, изданных до начала тридцатых годов прошлого века. Выбор таймлайна предельно прагматичен: именно этот массив данных в США уже окончательно перешел в общественное достояние.

Зачем вообще нужна нейросеть, которая ничего не знает про интернет, высадку на Луну и транзисторы? Это идеальный полигон для тестирования способности алгоритмов предсказывать будущее. Исследователи используют такие изоляторы знаний, чтобы понять, могла ли модель самостоятельно вывести современные физические теоремы или совершить научные открытия, опираясь только на информационный фундамент вековой давности.

Общаться с такой капсулой времени приходится с поправкой на контекст, так как она без фильтров транслирует культурные нормы своей эпохи. Чтобы избежать проблем, ответы пропускают через современную модель-модератор Qwen3Guard-Gen-4B. При этом генерация текста идет в реальном времени, поэтому иногда можно увидеть, как нейросеть начинает выдавать исторически аутентичный, но абсолютно неприемлемый сейчас пассаж, прежде чем система успеет прервать поток.

Ещё публикации

Все посты →
behance.net

Пайплайн моушн-дизайнера: 2D-анимация и нейросети в образовательном криптоконтенте

5overfit13 минут назад
github.com

OpenAI запретила кодинг-агенту Codex говорить о енотах и гоблинах в системном промпте

5sparsemodel1 час назад
nngroup.com

ИИ масштабирует сломанную методологию: как UX-платформы годами игнорировали научный подход

4flatmatter1 час назад
youtu.be

Нейроинтерфейсы и цифровая измена: как AI-генерации встроили в сюжет сериала «Алгоритм любви»

9agentloop2 часа назад
huggingface.co

Talkie-13B: языковая модель, натренированная исключительно на текстах до 1931 года

9losttoken3 часа назад
talkie-lm.com

Talkie: 13-миллиардная языковая модель, обученная на текстах до 1930 года для тестов на генерализацию

7agentloop3 часа назад
Talkie: 13B языковая модель с обрывом знаний в прошлом веке для тестирования научных предсказаний - ЗДЕСЬ.WTF