Незапланированные расходы Amazon на токены AI достигают миллионов долларов

В Amazon были зафиксированы значительные финансовые потери, обусловленные непредвиденно высоким потреблением токенов в проектах на базе искусственного интеллекта. Сотрудники компании выявили ряд инцидентов, когда после интеграции AI-решений потребление токенов резко возрастало. Причиной таких затрат стали незначительные ошибки, которые в стандартном программном обеспечении не влекли бы существенных издержек. Однако в контексте использования платных моделей искусственного интеллекта эти ошибки приводили к расходам в сотни тысяч долларов.Наиболее показательным примером является ситуация с системой, разработанной на базе модели Sonnet. Данная система предназначалась для сопоставления авторов с соответствующими карточками книг на платформе Amazon. Несмотря на то, что проект не был успешно реализован, он потребил токены на сумму 1.8 миллиона долларов. Это превысило запланированный бюджет на 860%, причем проблема оставалась незамеченной в течение пяти месяцев.Как отметил один из руководителей Amazon, «Трудно понять, сколько стоит что-либо, связанное с AI».В ответ на сложившуюся ситуацию, Amazon разрабатывает автоматизированные механизмы для ограничения расходов в AI-проектах.