直击痛点:目前安全痛点都有哪些?
随着大语言模型(LLM)与生成式人工智能的爆炸性增长,企业在享受技术红利的同时,也面临着前所未有的安全风险。传统的安全边界正在消解,新的攻击向量层出不穷。AI用系统,其本质上仍是复杂的软件系统,但由于其所依赖的大语言模型有着与传统应用完全不同的构建和运行方式,这为企业带来的新的安全难题。仅仅将传统安全工具应用于AI开发和运营流程中是远远不够的,企业需要重新构建AI应用的风险检测和运营监控体系。

应对挑战:AI应用的核心安全挑战有哪些?
推理过程“黑盒”:大语言模型的决策过程不透明,使得传统基于规则和日志审计的安全模式难以奏效。
全链路数据安全风险:AI应用高度依赖数据,从训练数据、检索增强生成(RAG)知识库,到用户输入的个人隐私数据和企业私有数据,任何环节的数据泄露或污染都可能导致灾难性后果。
内容安全与合规风险:大语言模型可能生成虚假、有害或带有偏见的内容,给企业带来严重的声誉和法律风险。
新交互引入的复杂攻击面:多模态、Function Calling、MCP、AI Agent 等全新的交互方式,在提升用户体验的同时,也引入的新的技术债务和更复杂的攻击向量。
供应链安全的传递效应:AI生态系统严重依赖开源组件、预训练数据和第三方API,这加剧了供应链的脆弱性,风险会沿着依赖链路迅速传递和放大。
OWASP Top10 for LLM
为了系统性应对AI应用安全的挑战,行业组织OWASP分别于2023年和2025 年发布了针对大语言模型的十大风险清单,如下图所示:

提示词注入、不恰当的输出处理、数据和模型投毒、供应链风险等,已成为 AI 安全领域关注的重点。结合近期发生的安全事件,如针对AI基础设施Ray框架的“ShadowRay”攻击、字节跳动AI模型训练投毒、DeepSeek 数据库泄露以及 GitHub MCP 的二阶提示词注入漏洞等,都印证了这些威胁的真实性和严重性。

为了应对以上安全挑战,悬镜问境 AI安全卫士平台- 问境 AIST提供了一个全面的、端到端的AI安全解决方案。依托于悬镜安全在开发安全、数字供应链安全和AI智能体安全等领域的多年沉淀,通过智能SAST技术、多模态SCA技术以及智能代码疫苗技术,为企业构建从AI智能体设计开发、发布前测试到上线运营监控审计提供了覆盖 AI全生命周期的安全解决方案。

追本溯源:什么是问境AIST?
悬镜原创问境AI安全卫士平台(简称:问境 AIST),英文全称为“Seer Al Security Guard“,是一款覆盖 AI 应用全生命周期的智能体安全重磅级产品,其秉持“安全左移”和“敏捷右移”的核心理念,打造了一个覆盖AI应用从开发、测试到部署、运行全生命周期的安全检测与监控审计平台。问境AIST的架构包含三大核心模块,并通过XSBOM 云脉AI供应链风险情报实现协同工作,在不同阶段为企业AI系统安全建设提供支撑。

编码阶段:聚焦于AI智能体编码安全和AI应用供应链的源头风险治理
测试阶段:在应用上线前,通过模体实战攻击,主动验证和加固AI系统的防御能力
运行阶段:提供实时的威胁防护、审计和可观测性,确保业务上线的持续安全
与众不同:问境AIST核心功能有哪些?
编码阶段:从源头构筑防线
在AI应用的初始构建阶段,问境AIST提供项目代码和数字供应链的风险审查能力,确保安全从开发的初期就内置于AI应用系统中。

智能体审计
智能体代码审计:自动扫描并识别项目代码和Jupyter Notebook中的编码和工具调用风险,防止因为缺失输入校验导致的任意代码执行、提示词注入、提示词泄露、企业敏感数据泄露等风险。
AI 模型影子资产扫描:代码中可能通过函数调用等方式声明外部模型获取方式,导致通过文件扫描、流量审计等方式无法准确识别到AI模型资产。通过对相关函数的跟踪扫描,精准识别AI模型影子资产。
密钥与敏感信息扫描:通过对项目代码、配置文件Jupyter Notebook 的扫描,精准识别硬编码的数据库账号密码、API 密钥以及 API 地址、邮箱等个人身份信息,防止敏感数据从源头泄露。
AI 模型扫描
AI-SCA 与依赖分析:深入分析项目依赖的开源组件,识别其版本、许可证合规性,并结合悬镜独有的XSBOM供应链风险情报,精准发现已知漏洞(CVE)、供应链投毒以及 0-N Day漏洞情报和独家详细分析报告。
模型资产清点与 AI-SBOM:自动发现项目中本地及远程调用的所有模型,通过与知识库的关联分析,匹配模型已知的漏洞和投毒风险,生成模型血缘关系图谱,追溯其基础模型、微调数据和衍生关系。并可以为每个项目生成一份全面的 AI 物料清单(AI-SBOM),实现 AI 资产的透明化管理,从根源上评估供应链风险的传递。
模型文件风险扫描:支持对 PyTorch、TensorFlow、Keras、Pickle、Transformers 等多种格式的模型文件进行深度扫描,检测不安全的反序列化、风险配置、风险脚本等高危风险。
测试阶段:AI 智能红队安全测试
在应用部署前,必须对其进行严格的安全测试。问境 AIST 提供了一套先进的 AI 红队测试工具,用于模拟针对 AI 系统的真实攻击。

资产指纹识别和检测:该工具可以通过收集 AI 服务指纹,识别 AI 应用系统所使用的框架、模型以及 MCP 服务等信息,通过知识库关联匹配,明确高危资产清单。
漏洞模拟利用:帮助安全团队对编码扫描阶段和指纹识别阶段发现的漏洞,通过 AI 智能体对其进行漏洞可利用性验证,从而评估风险的真实影响,并为修复提供依据。
模型风险评估:通过预置的、针对 OWASP Top10 For LLMs 的攻击模板,结合大模型对业务的理解能力,对大模型应用和智能体进行模拟攻击,检查如:提示词注入、模型越狱、不安全的输出以及无解消费等风险。
插件和工具检测:针对大模型应用场景,对其使用的插件(Plugins)、MCP 服务、AI Agent 进行专门的安全检测,防止其被滥用与执行恶意操作或窃取提示词和敏感数据。
情报预警:AI 风险情报
在 AI 应用安全体系中,情报预警是实现主动防御的关键环节。随着攻击手法日益复杂,仅依赖传统的被动防护手段已不足以应对。悬镜问境 AIST 内置的 AI 风险情报(AI Threat Intelligence) 模块,结合悬镜多年在供应链安全情报的深厚积累,为企业 AI 资产提供实时、精准的威胁感知与预警能力。

高价值及独有情报:包含 0Day / 1Day 漏洞、在野漏洞,以及悬镜独有的漏洞情报,为企业提供领先业界的预警优势。
时效性强:以小时级为单位的快速推送,确保企业在攻击发生之前即可获得最新威胁情报,做到先知先觉。
全面覆盖AI生态:覆盖 AI 模型、AI 应用、AI 组件及底层框架,既关注基础大模型安全,也兼顾应用交互与底层依赖的安全性。
AI-SBOM 联动:与 AI 物料清单(AI-SBOM) 深度融合,能够将实时漏洞情报映射到企业自身的模型、依赖组件和服务资产上,实现精准、可操作的风险响应。
运行阶段:实时防护和可观测性
当AI应用正式上线后,问境AIST依托于悬镜专利级的智能代码疫苗技术,通过 RASP 应用运行时威胁自我免疫技术和智能体防火墙,为大模型应用提供持续的防护、审计和监控能力。

运行时审计和可观测性:通过在应用中植入代码疫苗探针,所有经过应用的流量、攻击和执行的动作(工具调用、外部 API 访问等)都可以被详细记录下来,为企业安全运营和事件响应提供全面的数据支撑和可观测性,实现对 AI 系统运行状态的持续监控。
智能体风险自免疫:通过代码疫苗技术,将安全威胁自我免疫能力注入到应用中,实时拦截 Web 应用攻击行为,并可对提示词注入、诱导输出、提示词泄露、敏感信息泄露等进行日志监控或在线拦截能力。
问境 AIST 在运行阶段的审计和监控方案的独到之处是,通过代码疫苗技术,将 Runtime-SCA(运行时组件成分分析)技术、RASP(运行时应用威胁自我免疫)技术、APM(应用性能监控)技术和智能体防火墙技术等多重能力融合在一个轻量级探针中。智能代码疫苗探针可以无感融入到 DevOps 的各种流程中,在不污染源代码、无需修改复杂配置的基础上,使应用天然具备对各种高危攻击的免疫能力。

场景覆盖:问境AIST的应用场景都有哪些?
源码风险审计:对AI 智能体应用源代码进行审计:OWASP LLM Top 10风险、编码风险、工具调用风险和软件组成成分分析(供应链安全风险);

模型风险分析:通过静态(模型风险扫描) + 动态(模型风险评估),对模型供应链风险和模型自身输出安全质量进行评估打分。

运行时风险监控:通过动态资产嗅探(AI 设施扫描)和代码疫苗智能体运行时审计,识别 AI 智能体应用在运行过程中依赖的 AI 组件框架风险、运行时 OWASP LLM Top10 风险、工具调用风险以及模型输入输出审计分析。

目标用户:哪些用户适合使用问境AIST?
有开发团队,正在建设 AI 智能体应用开发安全的公司:全部模块,为用户提供一个覆盖 AI 智能体应用从开发、测试到部署、运行全生命周期的安全检测与监控审计的解决方案。

已上线 AI 智能体应用,有需求对其进行供应链安全分析、模型资产梳理、模型风险进行评估的公司:AI 模型扫描、AI 红队扫描和智能体运行时审计模块,协助用户梳理模型资产及其供应链相关风险;模型风险评估和智能体运行时审计可以帮助用户解决模型侧风险评估和审计的需求。

有计划进行智能体应用安全性评测的公司,例如通过信通院、公安三所等测评认证的,通过问境 AIST 可以提前对应用风险进行评估。产品也有计划和测评机构合作,作为测评工具提供给各个机构。

价值亮点:问境AIST都有哪些产品价值?
前置化的源头风险治理:在AI应用的初始构建阶段构筑防线,通过对项目代码和数字供应链的审查,确保安全从开发初期就内置于AI应用系统中,从而在源头控制风险。
深度的AI供应链透明化管理:生成全面的AI物料清单(AI-SBOM)和模型血缘关系图谱 ,帮助企业实现AI资产的透明化管理,从根源上评估供应链风险的传递。
主动的智能化红队测试:能够模拟针对 OWASP Top 10 for LLMs 的攻击向量 ,并对已发现的漏洞进行可利用性验证 ,从而主动评估风险的真实影响。
情报驱动的供应链风险治理:问境AIST内置的AI风险情报通过与其它各模块深度联动,将高时效的独家  AI供应链风险情报精准映射到企业自身资产,帮助企业实现从“被动响应”到“积极防御”的转变,抢在攻击到来之前消除潜在风险。
高效统一的运行时自我免疫:借助专利的“智能代码疫苗”探针,问境 AIST 为 AI 应用注入了统一且轻量级的运行时自我免疫能力,无需繁琐配置即可自动防御各类攻击,极大提升了安全运营效率。
全面的生命周期覆盖:问境 AIST 覆盖 AI应用从开发、测试到部署、运行全生命周期,通过将全面的安全能力无缝融入现有 CI/CD 流程,赋能企业在有效管控供应链等新型风险的同时,安全、合规地加速AI技术落地与业务创新。
核心优势:问境AIST都有哪些核心优势
问境 AIST是悬镜自研的 AI 安全赋能平台,全面保护 AI 应用开发生命周期安全和 AI 资产供应链安全。在 AI 供应链安全方面,问境AIST提供强大的模型风险检测能力、精细的模型血缘图谱构建能力、影子模型发现能力以及 AI-BOM 生命周期管理能力,帮助用户清晰掌握 AI 模型来源、构成以及潜在风险,确保 AI 供应链透明与可信。在 AI 安全编码方面,问境 AIST 凭借业界领先的 SAST 和 SCA 技术,为用户提供针对性的 AI 框架漏洞分析、AI 应用代码安全审计以及只能化的安全编码助手,从源头保障 AI 应用的开发过程的安全。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐