研究原型 · 智能体安全

AgentGuard-Chain

仓库作者仓库创建于 2026.06

面向 LLM Agent 的工具调用安全监督原型。安全边界放在 Agent 生成工具调用之后、工具真实执行之前,对文件访问、命令执行、API 调用和外发行为做审计、评分、阻断与留证,并检测“敏感读取 → 外部发送”这类跨步骤风险链。

角色:仓库贡献者列表仅含本账号,这不等于独立完成;参赛名称与结果待作者补充。

  • Python
  • Streamlit

问题与背景

背景

Agent 生成的工具调用如果直接执行,会暴露在提示注入、工具调用劫持、危险命令执行、敏感文件访问、API 越权和多步外传等风险之下。项目面向比赛题目“面向大模型及其应用的安全性研究”,目标是监督工具调用本身,而不只是过滤 prompt。

已实现的功能

已实现
  • 输入风险标注:识别提示注入、越狱式请求和可疑上下文。
  • 工具调用前审查:统一审查文件、命令、API、消息、邮件等调用。
  • 行为链检测:检测“敏感读取 → 外部发送”“写脚本 → 执行脚本”等跨步骤风险链。
  • 人工确认:决策分为 allow / ask / deny,ask 可自动拒绝、自动允许或交互确认。
  • 结果审查与脱敏:检查工具返回内容中的密钥、密码、token 等敏感信息。
  • 审计留证:以 JSONL 记录工具调用事件、网关决策、执行结果和解释,并在 Streamlit Dashboard 中展示指标、告警和风险链。

来源:仓库 README,查阅于 2026 年 10 月 28 日

架构

已实现
Agent / LLM planner
    ↓
ToolCallEvent
    ↓
AgentGuardGateway
    ↓
PolicyEngine + ParameterChecker + ChainDetector + RiskScorer
    ↓
allow / ask / deny
    ↓
Tool executor
    ↓
ResultInspector + OutputRedactor
    ↓
AuditLogger
    ↓
Dashboard

来源:仓库 README,查阅于 2026 年 10 月 28 日

当前状态

当前状态

安全网关、MiniAgent 的脚本与 LLM 两种模式、CoreCoder 受监督的离线回放与真实模式入口、风险解释器和基础 Dashboard 已完成。

脚本化数据集包含 200 个 case、228 次工具调用;65 个单元测试通过。这些数字由仓库 README 自述,本站没有重新运行验证。

来源:仓库 README,查阅于 2026 年 10 月 28 日

  • 研究原型

    EvoTeam

    团队项目 · 仓库作者仓库创建于 2026.09进行中

    基于 openJiuwen Core 的经验驱动多智能体组织演进系统。平时按当前 Strategy 执行任务,只有重复失败等证据达到阈值时才离线生成候选策略,经独立验证后才改变后续任务默认采用的组织方式。

    • Python
    • Pydantic
    • openJiuwen Core
    • SQLite
    代码
  • 研究原型

    aigc_detector

    仓库作者仓库创建于 2026.05

    检测 AIGC 生成内容并进行模型溯源的系统仓库,包含检测、溯源与数据接入等模块。

    • Python
  • 研究原型

    MARS

    仓库作者仓库创建于 2026.05进行中

    面向企业协作场景的 Agent 记忆管理引擎原型,计划把飞书群聊、笔记与会议讨论整理成带来源的结构化记忆。目前为本地 MVP:已完成数据模型、SQLite 存储与样例聊天导入,记忆抽取与检索尚未实现。

    • Python
    • FastAPI
    • Pydantic
    • SQLite