me_edu
AI Security и Red Team: prompt injection, model abuse и защита LLM-приложенийШаг 8 из 13 · 0% пройдено
Threat model LLM-приложения

Границы доверия

Шаг 8 из 1311 минТеория
Цель

Понять основной механизм темы «Границы доверия» без заучивания отдельных терминов.

Как работать

Прочитайте блок один раз целиком, затем вернитесь к схеме или примеру и перескажите идею своими словами.

Критерий

Сформулированное правило, пример применения и одно ограничение метода.

STRUCTURAL BLOCK DIAGRAMCENTRAL UNITLLM appuser inputlogsretrievalpolicytoolssecretsСтруктурная схемастрелки показывают поток данных/энергиимасштаб и расположение условные
AI threat model: безопасность начинается с карты данных, инструментов, секретов и границ доверия
Опорная идея

LLM-приложение соединяет пользователя, модель, retrieval, tools, logs and external APIs. На каждой границе есть риск: пользователь может внедрить инструкцию, retrieval может вернуть poisoned document, tool может выполнить опасное действие, logs могут раскрыть персональные данные.

Threat model делает систему видимой: какие активы защищаем, кто атакует, какие данные проходят через модель и где нужен least privilege.

Назад

Обсуждение

Войдите, чтобы участвовать в обсуждении.

Пока нет сообщений.