AWS Bedrock API のモニタリング

Splunk AppDynamics Python エージェントは、OpenAI API の使用状況と関連メトリックをモニターするのに役立ちます。Boto3 ライブラリを使用して作成された converse および converse_stream 要求をモニターします。

次のメトリックは、アプリケーション、階層、およびノードの各レベルで報告されます。

  • 入力トークン = 0.5$
  • 完了トークン = 1.5$
  • トークン
  • 遅延
  • 1分あたりのコール数

前提条件

Python エージェントは、AppDynamics で AWS Bedrock の Boto3 をサポートします。詳細については、https://boto3.amazonaws.com/v1/documentation/api/latest/index.htmlAmazon S3 ドキュメントを参照してください。

AppDynamics を使用して OpenAI API exit コールをモニターするには、次の前提条件を満たしていることを確認します。

カスタムダッシュボードの作成

  1. Custom_dashboard_script.zip をダウンロードします。内容は以下のとおりです。
    ディレクトリ（Directory） 説明
    templates ダッシュボードファイルを作成するための json テンプレートが含まれています。
    dashboard ダッシュボード json ファイルがここで作成されます。サンプル json ファイルが含まれています。
    main.py ダッシュボードを作成するための Python スクリプト。
    readme.md ソリューションの説明。
  2. 以下のコマンドを実行します：
    CODE 
    cd Custom_dashboard_script
python3 main.py

    上記のコマンドでは、作成するダッシュボードのタイプ（アプリケーションまたは階層）を指定するように求められます。

  3. 選択したダッシュボードのタイプに基づいて、次のダッシュボードの詳細を指定するように求められます。
    アプリケーション レベル ダッシュボードの詳細
    変数 説明 デフォルト 使用可能な値 必須
    ダッシュボード名 ダッシュボードとレポートに表示されるダッシュボードタイトル。 bedrock_app_dashboard bedrock_app_dashboard オプション
    アプリケーション名 OpenAI バックエンドコールを使用するアプリケーションの名前。 bedrock_app なし あり
    階層レベルダッシュボードの詳細
    変数 説明 デフォルト 使用可能な値 必須
    モデル名 モニターするモデルの名前。 amazon-titan-dashbaord なし あり
    ダッシュボード名 ダッシュボードとレポートに表示されるダッシュボードタイトル。 bedrock_app_dashboard bedrock_app_dashboard オプション
    アプリケーション名 OpenAI バックエンドコールを使用するアプリケーションの名前。 bedrock_app なし あり
    注: モデル名に特殊文字が含まれている場合は、それらの文字をハイフン（-）に置き換える必要があります。たとえば、モデル名が「amazon-titan-lite:1」の場合は、名前を「amazon-titan-lite-1」に変更します。
  4. コントローラ UI でダッシュボードをインポートします。カスタムダッシュボードおよびテンプレートの作成と管理 を参照してください
    ヒント: [Tiers & Nodes] > [My Dashboards] の順に移動し、既存のダッシュボードからウィジェットをコピーして貼り付け、選択したアプリケーションのダッシュボードを作成して簡単にナビゲーションできるようにします。