開発者ツールを駆使したLLMOpsと生成AIアプリケーションの本番運用

生成AIアプリのフローが複雑化する中で、プロトタイプから本番環境までの移行をLLMOpsで自動化・簡素化する必要性は増す一方です。Azure AI Studioを活用して、モデルの選択、プロンプティング、反復的なデバッグ、評価、デプロイ、モニタリングといった一連のLLMのライフサイクル管理を実現するにはどこから始めればいいでしょうか。本セッションでは、コードファーストの prompt flow SDK やLangChainのようなフレームワークを使用してCopilot アプリをテストおよびトラブルシューティングし、VS Codeで対話的にLLMチャットアプリケーションをデバッグします。その後、パフォーマンスと安全性の基準を満たしていることを確認し、アプリケーションを本番環境へデプロイし、継続的なモニタリングを実行します。