CERBERUS.

02 / USAGE PROTECTION

Повышенный расход выходных токенов

Что происходит при аномально большом количестве выходных токенов?

Для запросов с устойчиво высоким соотношением выходных токенов к входным может применяться дополнительный защитный коэффициент x3.

Например, если пользователь регулярно отправляет запросы размером около 100 токенов, а модель каждый раз генерирует около 3 000 токенов, нагрузка может быть признана аномальной.

Зачем введено это ограничение?

Выходные токены существенно дороже входных. Механизм защищает платформу от абуза, автоматизированной генерации и искусственного увеличения расхода ресурсов. Это не ограничение длины ответа и не запрет на подробные ответы.

Затронет ли это обычных пользователей?

Нет. Программирование, вопросы, анализ текста, работа с документами и обычные диалоги не должны попадать под это ограничение. Механизм применяется только при устойчивом и выраженном дисбалансе, когда выход модели систематически и значительно превышает объём входного запроса.

Почему учитывается именно соотношение входа и выхода?

Большой ответ сам по себе не является проблемой. Важна аномальная пропорция между объёмом запроса и объёмом результата.

• 3 000 входных → 3 000 выходных — обычная нагрузка.
• 1 000 входных → 3 000 выходных — нормальный сценарий.
• 100 входных → 3 000 выходных один раз — сам по себе не является проблемой.
• 100 входных → 3 000+ выходных постоянно и на большом количестве запросов — может считаться аномальным использованием.