Проект Thinking Machines Lab бывшего техничесского директора OpenAI Миры Мурати выпустил свою первую открытую ИИ-модель Inkling. Нейросеть построена на архитектуре MoE: при обработке каждого запроса активируется только часть сети, что ускоряет инференс без потери глубины. Общее число параметров составляет 975 млрд, из которых 41 млрд активны. Окно контекста — 1 млн токенов. Модель обучили с … Читать далее Бывший техдиректор OpenAI представила ИИ-модель с 975 млрд параметров