1.はじめに
前回、前々回のブログではDataiku13.4の新機能である、AI Agentの構築について解説しました。
前回
https://www.keywalker.co.jp/blog/dataiku-ai-agent-app.html
前々回
https://www.keywalker.co.jp/blog/dataiku-new-feature-13-4-aiagent.html
AI エージェントは自律的にタスクをこなしてくれるのでとても便利ではあるのですが、裏側でどのような動きをしてるかはわかりません。アプリケーションとしても運用するには少々不安が残ります。
DataikuにはTraces Explorerというエージェントの動きを監視することができるツールがあります。
今回の記事ではTraces Explorerについて紹介します。
2.Trace Exploerについて
Traces Explorerはエージェントの応答やコストを可視化するアプリケーションです。
参考ドキュメント
https://doc.dataiku.com/dss/latest/generative-ai/agents/tracing.html
このアプリケーションでエージェントの挙動とクエリにたいしてどのようにコストが掛かっているか可視化することができます。Traces Explorerはプラグインストアからインストールすることができます。
プラグインストアからインストールできたら、Webapp>+NEW WEBAPPからTraces Explorerを作成可能です。
次に監視の対象となるデータセットを選択します。
DataikuではDataiku Answersなどチャット形式のアプリケーションを作成する場合、応答生成の記録を保持するデータセットを作成する必要があります。今回はlogというデータセットを作成しました。
logには質問内容や生成応答の結果、処理のタイプなどが格納されたllm_contextというカラムが生成されます。これを利用してアプリケーションの挙動を監視します。
先ほど紹介したデータセットを用いてTraces Explorerを構成していきます。
LLM Raw Responses Datasetにはエージェントアプリケーションの作成時にログ用に設定したデータセットを選択します。
LLM Raw Responses Columnにはエージェントの応答の詳細が格納されたカラム(llm_context)を選択します。
設定し、VIEW WEBAPPをクリックすると、アプリケーションの画面に遷移します。
画面左にエージェント用のアプリで使用した過去のプロンプトが表示されています。各プロンプトごとに画面中央の図が表示されます。
画面上部には生成にかかわるトークン数と、かかったコストが表示されます
ツリー図では各処理の呼び出し先やどのようなツールがつかわれたかが可視化されます。アイコンの大きさは処理にかかった時間を表します。
アイコンをクリックすると、処理の詳細を確認することもできます。
ツリー図だけでなく、時系列でみることもできます。
Traces Explorerを用いることによって、生成AIのアプリケーションのブラックボックスになりがちなところを可視化することができました。
3.おわりに
本記事ではTraces Explorerを紹介しました。LLMのアプリケーションにおいてネックになりがちなコストパフォーマンスの部分を監視できるツールは運用上有用です。
Dataikuではアプリケーションの作成だけでなく、運用にも対応することができます。
これを機に、運用監視を取り入れたLLMを用いたアプリ開発を視野に入れてみてはいかがでしょうか。
株式会社キーウォーカーでは、AIエージェント以外にもDataikuを用いた様々なデータ活用の事例がございます。
興味を持っていただけましたら、ぜひ弊社フォームよりお問い合わせください。
この記事の著者：K.Hiruta
