私はGen AIチャットボットを構築し、金融サービス会社の内部文書の箱を検索し、ユーザーが文書をより速く検索、スキャン、概要するツールを有するようにしました。最大80%の効率を作成し、Retrieval-Augmented Generation(RAG)を採用し、文書の箱(ディレクトリのグループ)に文書を埋め込み、Cloude、Titan、Llama-3などのLLMを比較してからTitanを採用し、文書検索のための文脈意識、正確な回答を提供しました。
モデルを比較し、パイプラインを調整し、パフォーマンスを最適化しようと試み、コムプットを調節する3スプリントの作業で、それはタイタンモデルでかなりうまく機能しました(タイタンはテキストモデルのために設計されており、私の使用ケースはその機能範囲の下に位置しています)。私が展示し、デモしたすべてのユーザーは、それが大好きです。それは、金融製品文書のFAQや標準T&Cのドキュメント(用語学が重くて足跡に満ちているなど)の検索とスキャンの時間を節約しました。私は私の仕事の結果に誇りを持っている一つの質問を持っていたが、私はこれが最高の価格とパフォーマンスを持つソリューションであることを100%確信しています - 特にAIの時代に? より具体的に、「
成功の問題
あなたがアイデアをテストして検証するためにうまく機能するものを構築するとき、それは偉大な成果のように感じる - あなたがバーが単に「働く」ことを認識するまで。 顧客は、金融サービスなどの高度に規制された業界でGenAIを使用することに過剰に慎重であるにもかかわらず、それはまだ、それはすでにそこに存在しているものを上回っているということを満足していないように見えます。 企業準備プラットフォームは、Amazon Q、Microsoft Copilot、およびGoogle Geminiのような企業ソリューションよりも高い価格を請求するのに十分です。 信頼性を高め、幻想を排除し、多くのガードレイルで品質を認識しているRAGと私のソリューションがすでにビジネスに存在しているエコシステムと深く統合されています。 例えば、
私の場合、Amazon Q Business Enterprise は 1 つのユニット(20K ドキュメントまたは 200Mb 抽出されたテキスト)に対して 1 時間あたり $ 0.264 を請求していますが、私はドキュメントあたりのトランザクションあたりのコストを $ 0.23 として計算していました。
私が作ったチャットボットを誇りに思いましたが、スケーリングとコスト効率の面では、私は突然非常に緊張した場所にいました。
タイトル:Hard Decision: Build vs. Buy in the GenAI Era
これは新しい問題ではありませんが、GenAI で物事はより複雑になってきました. 以下は、AWS Q Business に似ている内部チャットボットの開発中に学んだことの概要です(いくつかの拡張まで)。
|
Feature |
In-house GenAI Chatbot |
AWS Q Business / Off-The-Shelf ChatBot |
|---|---|---|
|
Control |
You have full customization (RAG, LLM tuning, |
Limited to platform capabilities – but fairly flexible |
|
Data Privacy |
You can enforce custom encryption, anonymization, or add new layers |
Predefined policies & integrations – needs configuration |
|
Cost |
Significantly higher (especially if you use Bedrock type of environments) |
Cost-effective for enterprise level solutions |
|
Setup Time |
Weeks of model selection, actual development, QA, iterations |
Hours, sometimes minutes (can have account support) |
|
LLM Model Options |
Choose your model (Claude, Llama-3, Titan, etc.) |
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) |
|
Maintenance |
you have to manage yourself - scaling, uptime, latency tuning |
Handled by provider |
Control
あなたは完全なカスタマイズ(RAG、LLMトイニング、
速いエンジニアリング
プラットフォーム能力に限られていますが、かなり柔軟です。
Data Privacy
カスタマイズされた暗号化、匿名化、または新しいレイヤーを追加することができます。
既定のポリシーと統合 - Configuration needs
Cost
著しく高い(特にベッドロック型環境を使用する場合)
企業レベルのコスト効率的なソリューション
Setup Time
モデル選択の数週間、実際の開発、QA、イーテレーション
時間、時には数分(アカウントサポートが可能)
LLM Model Options
モデルを選択してください(Claude、Llama-3、Titanなど)
Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4)
Maintenance
you have to manage yourself - scaling, uptime, latency tuning. あなたは自分自身を管理しなければなりません。
プロバイダーによる取り扱い
では、住宅内で建てる価値はあるのでしょうか?
はい、いや、いや。
私のクライアントが100%のコントロールを欲しがり、既知の規制をすべて適用するように強制したい場合(それらが完全に適用可能で必要ではない場合でも)、文書処理、検索、モデル説明性に関して、内部の構築は有意義でした。 規制要件のダブルチェックとカスタマイズされたクエリ構造がビジネスに価値を生み出すことができ、それらは付加価値のためにより多くを支払う準備ができているかもしれません。
建てるべきなら:
- データとモデルの行動をより厳格にコントロールする必要があります。
- 複雑な財務文書、マルチソースRAGなどのユニークなワークフロー内で作業する必要があります。
- コア製品内で追加のAI機能を追加したい
- あなたの組織は、開発、メンテナンス、インフラコストのために事前に投資する準備ができています。
買うべきなら:
- You want quick wins for small scope and showcases. あなたは小さなスコアやショーカスのために迅速な勝利を望む
- あなたの使用例は比較的標準的です(例えば、ドキュメントQ&A、ポリシーナビゲーションなど)。
- あなたはコスト敏感です。
- 既にベンダーのエコシステム(AWS、Microsoft、Googleなど)に入っています。
思考閉鎖
GenAI チャットボットの作成は有益であり、ビジネスに迅速な利益を生み出すこともできます。 GenAI ツールの実験を開始し、チームのスキルを向上させることも比較的簡単です。しかし、市場はスーパースピードで動いている。 AWS のようなテクノロジーの巨人は、AWS Q Business のようなツールの障壁をさらに低下させています。だから、常に「作るべきか買うべきか?」と尋ねる価値があります。 なぜなら、私たちはこの時代にコードと競争しているわけではありません。 我々は、数十億ドル規模のインフラストラクチャ、才能、ポリシー化された UI/UX やツール付きの巨人によって作成された商品化された GenAI ツールと競争しています。
