Configure your Splunk Observability Cloud account to collect AWS Bedrock metrics

Learn how to configure your Splunk Observability Cloud account to collect AWS Bedrock metrics.

You can monitor the performance of Amazon Web Services (AWS) Bedrock applications by configuring your AWS Bedrock applications to send metrics to Splunk Observability Cloud. This solution creates a cloud connection in your Splunk Observability Cloud account that collects metrics from AWS CloudWatch.

Complete the following steps to collect metrics from AWS Bedrock applications.

  1. Connect AWS to Splunk Observability Cloud. For more information on the connection methods and instructions for each method, see Available options to connect with AWS.
    To gain permission to collect all AWS Bedrock attributes, add the following permissions to your AWS IAM policy JSON snippet:
    JSON 
    "bedrock:ListTagsForResource",
"bedrock:ListFoundationModels",
"bedrock:GetFoundationModel",
"bedrock:ListInferenceProfiles"
  2. To monitor AWS Bedrock metrics with Splunk Observability Cloud, run your applications that use AWS Bedrock models.

メトリクス

AWS Bedrock で使用可能なメトリクスについて確認します。

AWS Bedrock アプリケーションでは以下のメトリクスが使用可能です。メトリクスについて、詳細は AWS ドキュメントの 「Monitoring the performance of Amazon Bedrock」および「View organization metrics for Splunk Observability Cloud」を参照してください。
メトリクス名 タイプ ユニット（Units） 説明
InputTokenCount counter count 使用済み入力トークン。
OutputTokenCount counter count 使用済み出力トークン。
Invocations counter サンプル数 AWS Bedrock API 操作への成功リクエスト数。
InvocationLatency ヒストグラム ミリ秒 AWS スケジュールモデルへのリクエスト遅延等における呼び出し時間。通常はミリ秒単位。
sf.org.num.awsServiceAuthErrorCount gauge count

AWS サービスによる認証エラー総数。

  • ディメンション：integrationId、orgId、namespace（AWS Cloudwatch ネームスペース）、clientInterface（AWS SDK インターフェイス）、method（AWS SDK メソッド）

  • データ解像度：1 秒
sf.org.num.awsServiceCallThrottles gauge count

AWS API コール制限の超過を要因として AWS にスロットルされた Amazon API を対象にした、発信コール数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）

  • データ解像度：5 秒
sf.org.num.awsServiceCallThrottledRetryFailures gauge count AWS サービスコールスロットル再試行の失敗数。
sf.org.num.awsServiceCallCountExceptions gauge count

Amazon API への呼び出しのうち、例外が発生した回数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）、location（clientあるいはserverで示される、例外が発生した箇所）

  • データ解像度：5 秒
sf.org.num.awsServiceCallCount gauge count

Amazon API への呼び出し総数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）

  • データ解像度：5 秒

属性

AWS Bedrock アプリケーションで使用可能なリソース属性について確認します。

AWS Bedrock アプリケーションでは以下のリソース属性が使用可能です。

OpenTelemetry 名称 表示名 説明
id id AWS 固有識別子

Next steps

How to monitor your AI components after you set up Observability for AI.

After you set up data collection from supported AI components to Splunk Observability Cloud, the data populates built-in experiences that you can use to monitor and troubleshoot your AI components.

The following table describes the tools you can use to monitor and troubleshoot your AI components.
Monitoring tool Use this tool to Link to documentation
Built-in navigators Orient and explore different layers of your AI tech stack.
Built-in dashboards Assess service, endpoint, and system health at a glance.
Splunk Application Performance Monitoring (APM) service map and trace view View all of your LLM service dependency graphs and user interactions in the service map or trace view.

Splunk APM を使用して LLM サービスをモニタリングする