AIとLLMのオブザーバビリティ

生成AIアプリケーション、大規模言語モデル（LLM）、およびエージェントによるワークフローの監視、最適化、保護を行い、パフォーマンス、説明可能性、およびコンプライアンスを向上させます。

自社のエージェント型AIイニシアチブとDynatraceのAIオブザーバビリティ機能を組み合わせることで、開発と運用のワークフローを最適化できました。

Kulvir Gahunia Site Reliability Office代表, TELUS

AIアプリケーションスタック全体にわたるシームレスな統合

主要なAIプラットフォームのネイティブサポートにより、ユーザーアプリケーションからLLMやインフラストラクチャーに至るまで、あらゆるAIスタック層を統合・監視します。

ビジネスインパクト

AIがどのように生産性を向上させ、サポートチケットを削減し、自律的に動作して投資利益率（ROI）をもたらしているかを追跡します。

アプリケーションパフォーマンス

AI搭載アプリケーションのエンドユーザー体験、可用性、および信頼性を可視化します。

オーケストレーション層

オーケストレーション・フレームワーク全体における、チェーンのパフォーマンス、ガードレール、およびプロンプト・キャッシングを追跡します。

エージェント間のコミュニケーション

エージェントのプロトコル、コマンド実行、ツールの利用状況、およびマルチエージェント間の通信を観測します。

モデルの完全性

トークンの使用状況、コスト、安定性、レイテンシ、呼び出しエラー、モデル出力のリソース利用率を評価します。

セマンティックキャッシュとベクトルデータベース

RAGパイプライン、データ量、分布、およびリトリーバル・パターンを監視します。

インフラストラクチャ監視

GPU、TPU、およびコンピューティング・リソース全体の使用率、飽和度、エラーを追跡します。

お客様の信頼を獲得するために、私たちはISO 42001認証の取得を目指しています。DynatraceのAIオブザーバビリティなら、LLMとその動作に関するインサイトを入手できるので、認証の取得に必要な多くの制御要件を満たすことができます。

Matt Eisengruber Head of Architecture, CDL

トークンコスト、リクエスト所要時間、プロブレムといった生成AIアプリケーションの運用メトリクスを、統合・カスタマイズ可能なダッシュボードで監視し、プロブレムを未然に防ぐプロアクティブなアクションへ
高度な検知機能を活用してユーザー行動の変化を特定し、コスト増大を予測し、先手打って設定変更を行うことで、戦略的なコスト管理を実現
低速なリクエストやエラーのトレース分析を通じて、AIエージェントやLLMのレスポンス時間を短縮し、アプリケーションの信頼性を向上
異なるAIモデルの性能をA/Bテストで比較し、データ主導のインサイトに基づいた本番環境導入に最適なモデルを選定

フロントエンドからバックエンド、オーケストレーション、RAG、LLM、エージェントレイヤーに至るまで、各ユーザーリクエストの実行プロセスをトレースとログによりエンドツーエンドで可視化
アーキテクチャ全体を網羅する各サービス間の依存関係のログ記録、トレース、およびマッピング
高度な検出により、LLMチェーンのエラーや失敗の根本原因を自動的に特定し、顧客に影響が及ぶ前に率先的に解決を推進