ByteDance разрабатывает масштабную модель искусственного интеллекта с 10 триллионами параметров

Компания ByteDance приступила к обучению колоссальной модели искусственного интеллекта, включающей порядка 10 триллионов параметров. Этот показатель примерно в три раза превышает размер текущего лидера среди китайских моделей — Kimi K3. Точные параметры модели будут окончательно определены позднее. Ожидается, что этап предварительного обучения займет от трех до шести месяцев.Для контекста, официальная информация о размере моделей Anthropic отсутствует, однако, по оценкам экспертов отрасли, модель Mythos 5 предположительно оперирует около 8 триллионами параметров, а Fable 5 — примерно 5 триллионами. Важно отметить, что количество параметров само по себе не является единственным критерием качества модели ИИ; критическое значение имеют также качество обучающих данных, архитектура модели и методы обучения.Согласно источникам Financial Times, ByteDance целенаправленно избегает использования существующих моделей и фокусируется на собственной разработке с нуля. Хотя такой подход может замедлять темпы прогресса, руководство компании убеждено, что это единственный путь к достижению превосходства над ведущими американскими исследовательскими лабораториями.