BridgeMind запустили NerfBench для отслеживания деградации моделей после релиза
BridgeMind выпустили NerfBench — бенчмарк для отслеживания «нёрфа» моделей: ухудшения качества, роста расхода токенов или стоимости задачи после релиза. Результат в день выхода модели принимается за 100%, а последующие замеры показывают отклонения.