Винтажный LLM на 340 м параметров, обученный текстами до 1900 года
Разработчик построил LLM‑модель в 340 м параметров, обучив её только на английских источниках до 1900 года. Проект открыт, а расходы на GPU составили около 80 долларов.
Создан LLM‑модель в 340 м параметров, обученная исключительно на английских текстах до 1900 года. Проект открыт на HuggingFace и GitHub, а его стоимость ограничилась примерно 80 долларами за аренду GPU.
Как был собран датасет?
Автор собрал более 90 ГБ материалов из Project Gutenberg, Oxford Text Archive, Internet Archive и других открытых источников. Для очистки использовались фильтры по количеству уникальных символов, ZLIB‑компрессии и Шенноновой энтропии. Дубликаты удалялись простым нормализованным сравнением строк. В итоге получилась коллекция из 5 300 книг, где год публикации точно известен.
Какой токенизатор использовался?
Для модели был обучен собственный токенизатор на чистых английских книгах. Это позволило исключить термины программирования и другие посторонние слова, которые присутствуют в стандартных токенизаторах.
Как проходил базовый тренинг?
Базовый этап делился на две части. На первом шаге на локальном ПК (Ryzen 7 9700X, 64 ГБ RAM, Radeon RX 9070) был обучен мини‑модель Pythia‑14M, чтобы проверить пайплайн. Затем 340 м‑модель была запущена в облаке (RunPod, ThunderCompute, Vast.ai). Общие затраты на GPU составили около 80 USD.
Что изменилось после фин‑тюнинга?
Автор добавил небольшие наборы вопросов‑ответов о еде, животных и базовых понятиях, а также набор простых арифметических задач. После нескольких раундов тонкой настройки модель начала генерировать осмысленные диалоги, хотя иногда выдаёт исторически неточные или токсичные фразы.
Что это значит для бизнеса?
Модель позволяет создавать чат‑ботов, «говорящих» в стиле викторианской эпохи, без необходимости платить за крупные коммерческие LLM. Низкая стоимость обучения и открытый код делают её доступной для нишевых проектов, где важна стилистическая аутентичность.