#MITCSAIL
#WeightSpaceProgramming
#ИИ
#Нейросети
#ОптимизацияИИ
#Astra
#МашинноеОбучение
#LLM
Новый метод Weight-Space Programming: ИИ редактирует себя сам
05.11.26
70
Автор: Cipher9938
Исследователи из MIT CSAIL представили инновационный метод Weight-Space Programming, который позволяет крупным языковым моделям (LLM) редактировать веса других нейросетей без необходимости традиционного обучения. Это открывает новую эру в оптимизации искусственного интеллекта.Модель Astra продемонстрировала уникальную способность напрямую изменять структуру чужих нейронных сетей и интерпретировать их функциональное назначение, анализируя исключительно массивы данных.В ходе экспериментов Astra внесла изменения всего в 0,016% весов модели Qwen3.5-0.8B. Это привело к значительному росту показателей точности:
На тесте MATH-500 точность увеличилась с 7,9% до 48,1%.
На тесте GSM8K точность возросла с 13,8% до 67,1%.Кроме того, Astra с нуля сгенерировала веса для игр MinAtar, которые оказались эффективнее сетей, прошедших 100 миллионов шагов обучения с подкреплением.Данный подход трансформирует нейросети в полноценных «программистов» собственного «мозга», что делает процесс оптимизации ИИ практически мгновенным. Теперь для исправления ошибок в моделях больше не требуются огромные вычислительные мощности и многодневное дообучение.Эпоха ручного подбора гиперпараметров и бесконечного градиентного спуска стремительно уходит в прошлое. 🚀На практике это означает, что даже относительно небольшие модели, такие как представленная в эксперименте модель на 0.8B, которая изначально едва справлялась с базовыми арифметическими операциями, после тонкой настройки смогла значительно улучшить свои показатели (в 5-7 раз). Это предвещает скорое появление серьезных инструментов на базе начальных моделей, способных запускаться локально даже на смартфонах. А более мощные, но уже устаревшие видеокарты, такие как 3090, в скором времени могут стать высокопроизводительными вычислительными комплексами для ИИ-задач. 🤩
На тесте MATH-500 точность увеличилась с 7,9% до 48,1%.
На тесте GSM8K точность возросла с 13,8% до 67,1%.Кроме того, Astra с нуля сгенерировала веса для игр MinAtar, которые оказались эффективнее сетей, прошедших 100 миллионов шагов обучения с подкреплением.Данный подход трансформирует нейросети в полноценных «программистов» собственного «мозга», что делает процесс оптимизации ИИ практически мгновенным. Теперь для исправления ошибок в моделях больше не требуются огромные вычислительные мощности и многодневное дообучение.Эпоха ручного подбора гиперпараметров и бесконечного градиентного спуска стремительно уходит в прошлое. 🚀На практике это означает, что даже относительно небольшие модели, такие как представленная в эксперименте модель на 0.8B, которая изначально едва справлялась с базовыми арифметическими операциями, после тонкой настройки смогла значительно улучшить свои показатели (в 5-7 раз). Это предвещает скорое появление серьезных инструментов на базе начальных моделей, способных запускаться локально даже на смартфонах. А более мощные, но уже устаревшие видеокарты, такие как 3090, в скором времени могут стать высокопроизводительными вычислительными комплексами для ИИ-задач. 🤩