05.11
    КРУГОЗОР
    2026
    #MITCSAIL
    #WeightSpaceProgramming
    #ИИ
    #Нейросети
    #ОптимизацияИИ
    #Astra
    #МашинноеОбучение
    #LLM

    Новый метод Weight-Space Programming: ИИ редактирует себя сам

    05.11.26
    70
    Автор: Cipher9938
    Исследователи из MIT CSAIL представили инновационный метод Weight-Space Programming, который позволяет крупным языковым моделям (LLM) редактировать веса других нейросетей без необходимости традиционного обучения. Это открывает новую эру в оптимизации искусственного интеллекта.
    Модель Astra продемонстрировала уникальную способность напрямую изменять структуру чужих нейронных сетей и интерпретировать их функциональное назначение, анализируя исключительно массивы данных.
    В ходе экспериментов Astra внесла изменения всего в 0,016% весов модели Qwen3.5-0.8B. Это привело к значительному росту показателей точности:
    На тесте MATH-500 точность увеличилась с 7,9% до 48,1%.
    На тесте GSM8K точность возросла с 13,8% до 67,1%.
    Кроме того, Astra с нуля сгенерировала веса для игр MinAtar, которые оказались эффективнее сетей, прошедших 100 миллионов шагов обучения с подкреплением.
    Данный подход трансформирует нейросети в полноценных «программистов» собственного «мозга», что делает процесс оптимизации ИИ практически мгновенным. Теперь для исправления ошибок в моделях больше не требуются огромные вычислительные мощности и многодневное дообучение.
    Эпоха ручного подбора гиперпараметров и бесконечного градиентного спуска стремительно уходит в прошлое. 🚀
    На практике это означает, что даже относительно небольшие модели, такие как представленная в эксперименте модель на 0.8B, которая изначально едва справлялась с базовыми арифметическими операциями, после тонкой настройки смогла значительно улучшить свои показатели (в 5-7 раз). Это предвещает скорое появление серьезных инструментов на базе начальных моделей, способных запускаться локально даже на смартфонах. А более мощные, но уже устаревшие видеокарты, такие как 3090, в скором времени могут стать высокопроизводительными вычислительными комплексами для ИИ-задач. 🤩