プロンプトセキュリティ(防衛設計)
英 Prompt Security
生成AIに対する悪意ある不正命令や情報漏洩要求を検知・遮断し、システムと機密データを保護するセキュリティ設計。
【定義】
生成AI(LLM)を用いたアプリや社内Botにおいて、不適切な命令の注入や機密情報の抽出(インジェクション)を防ぐ安全設計です。
【概要】
入力テキストの事前チェック(フィルター)、AIへの役割・権限の限定、出力結果の検証などを多重で行い、AIの暴走や外部へのデータベース流出を物理的・システム的に防止します。
【実務でのポイント】
自社特化型AIアシスタント(RAG等)や顧客向けAIチャットボットを導入するクライアントに対し、セキュリティ要件定義とリスク診断を行い、安全なシステム運用の基盤を構築します。