Продукт

LiteLLM

Все материалы по теме в хронологическом порядке.

Сегодня

Разработчик заменил селф-хост LLM на PII-фильтр перед облачными моделями

Разработчик протестировал несколько GPU для селф-хоста LLM, но в итоге поставил между облачными моделями и своими данными open-source PII-фильтр. Теперь персональные данные и секреты заменяются плейсхолдерами до отправки запроса.

3 минДля профи