AI 和 LLM 可观测性
监控、优化和保护生成式 AI 应用程序、LLM 和智能体工作流程——提升性能、可解释性及合规性。
集成和观测
通过为主流 AI 平台提供原生支持，集成和观测 AI 堆栈的每一层（从用户应用程序到 LLM 和基础设施）。
业务影响
跟踪 AI 如何提高生产力、减少支持工单、实现自主运行并带来投资回报。
应用程序性能
跟踪 AI 驱动应用程序的最终用户体验、可用性和可靠性。
编排层
跟踪编排框架的链路性能、防护措施和提示缓存。
智能体间通信
观察智能体协议、命令执行、工具使用情况以及多智能体通信。
模型完整性
评估模型输出的令牌使用情况、成本、稳定性、延迟、调用错误和资源利用率。
语义缓存和向量数据库
监控 RAG 流水线、数据量、分布和检索模式。
基础设施监控
跟踪 GPU、TPU 和计算资源的利用率、饱和度及错误情况。
一家美国财富 500 强金融服务互助公司，借助单一平台实现对多个 LLM 及其驱动应用的端到端可观测性，消除了监控盲区并大幅节约成本。
智能体 AI、生成式 AI 和 LLM 的端到端可观测性
降低成本并提升智能体 AI 和 LLM 技术栈的性能
- 通过统一且可定制的仪表板，监控生成式 AI 应用程序的运行指标（例如令牌成本、请求时长、问题和故障），推动主动应对措施
- 利用智能检测技术识别用户行为变化，预测成本增加，并主动进行调整，以实现成本管理
- 通过分析最慢请求和错误的追踪数据，缩短 AI 智能体和 LLM 响应时间，提高可靠性
- 通过 A/B 测试结果比较不同 AI 模型的性能，制定有关在生产环境中部署哪些模型的明智决策
建立信任，监控 LLM 输入和输出的保障措施
- 通过监控和分析防护指标，保障 AI 应用程序质量，规避潜在偏见、错误及 AI 系统滥用风险
- 识别模型幻觉，发现恶意提示注入等 LLM 滥用企图，并防止
- 个人身份信息 (PII) 泄露，检测有毒语言 分析 LLM 防护机制的有效性并进行必要调整，确保提供最佳用户体验和安全性
解释、记录并追溯 AI 服务输出
- 通过跟踪信息和日志，全面了解每个用户请求的执行情况，涵盖整个应用程序堆栈：前端、后端、编排、RAG、LLM 和智能体层。
- 记录、跟踪和映射服务之间的依赖关系，涵盖整个架构
- 智能检测功能可自动精准定位 LLM 链中错误和故障的问题根源，并在影响客户之前主动快速解决问题
降低合规风险并保障生成式 AI 应用安全
- 全面且经济高效地记录所有输入输出数据，维护从提示到响应的完整数据溯源，构建清晰审计追踪链，以确保符合监管标准
- 可将所有提示存储长达 10 年
- 构建可视化仪表板，直观呈现 AI 系统的行为与性能，提升运行透明度并验证合规性
- 通过监控基础设施数据（包括温度、内存利用率和进程使用情况），助力碳减排计划实施
加入 Dynatrace 合作伙伴计划
贵组织是否制定 AI 解决方案？与我们联系以获得 AI 可观测性就绪合作伙伴认证。
