従来のシステムインテグレーション（SI）案件は、初期の要件定義から完成までが明確に計画され、各フェーズにおいて達成すべき数値目標が設定されています。たとえば、物流管理システムでは、決められた条件に従い、何を何個、いつまでに発注するかといった具体的な指示が出され、その通りに処理が進めば評価が高くなります。一方、AI案件では、過去のデータから学習するため、出力結果は確率的で変動性を伴います。例えば、AIが「そろそろ何を何個発注した方が良いかもしれない」という判断を下す場合、100%の正しい判断ではなく、熟練の担当者の感覚に近い判断が提供されると高く評価すべきということです。

SI案件では、初期段階で策定された詳細なプロジェクト計画書に基づき、各工程で達成すべき目標が明確に定められます。例えば、ある企業の在庫管理システムでは、システム起動後に在庫データが正確に更新され、指定されたタイムラインで各種帳票が出力されることが求められます。もし、たとえば定められた在庫更新が「〇〇分以内に完了する」という数値目標が達成されれば、計画との乖離が速やかに検知され、運用の安定性が確保されます。

3.1 AI案件の評価 ― 定量だけでは語れない「質」と「協働」の視点

AI技術は、膨大なデータを元に自己学習し、そのアウトプットはあくまで確率的です。例えば、カスタマーサポートにおけるチャットボットの場合、正答率が約80％だとします。これは、単に数値として100％の達成を目指す従来の方法とは異なり、人間のオペレーターの対応と比較しても大きな差がないと考えられたりします。重要なのは、AIが標準的な問い合わせの大部分を迅速に処理し、残りの複雑なケースについては熟練のオペレーターが補完するという、人とAIが協働する運用体制の構築です。

3.2 従来手法との比較 ― 決定論的評価と確率的アプローチの違い

SI案件では、あらかじめ定めた仕様に基づく正誤判定で成果が測定されます。例えば、システムが「定められた通りに在庫データを更新する」場合は、仕様通りの達成として高く評価されます。しかし、AI案件では、たとえばチャットボットが基礎的な問い合わせに対して80％の正答率を示すとき、その評価は単なる数値だけではなく、平均応答時間の短縮や顧客満足度の向上など、全体の協働効果をも総合的に評価する必要があります。具体的には、初動応答時間が従来のシステムと比較して半分以下に短縮され、結果として平均解決時間が30％短縮され、顧客満足度が向上するなどの成果が報告される等です。

4.1 新たな評価指標の導入と運用改善のサイクル

AI案件の導入後は、定期的なデータ分析とフィードバックに基づく改善サイクルが不可欠です。例えば、初期のパイロットプロジェクトでチャットボットの応答パターンやエスカレーションのルールを詳細に分析し、その結果を踏まえて、月次でレビューし、四半期ごとに評価会議を実施し、改善計画を立案するという流れが考えられます。KPIとしては、問い合わせ件数の削減率、平均応答時間、顧客満足度指標などを設定し、これらの成果指標に基づいた改善が実施されることが望まれます。

4.2 人とAIの共存 ― ハイブリッドモデルによるリスク分散と効率化

AI単独ではカバーしきれない複雑なケースへの対応において、人間が補完するハイブリッドモデルが効果を発揮します。たとえば、チャットボットが80％のケースを自動処理し、複雑な問い合わせは専門オペレーターが対応することで、全体としての顧客対応の効率が向上します。具体的なKPIとしては、エスカレーション率の低下、再問い合わせ率の改善、並びに顧客満足度のスコア向上などが挙げられ、これらの指標を通じて運用効果が評価されます。

従来のSI案件では、初期計画に基づく明確な指標で運用される一方、AI案件はその確率的な特性により、新たな評価軸と柔軟な運用方法が求められます。経営者は、単なる数値評価にとどまらず、AIと人間の協働によって全体の業務改善がどのように実現されるかを総合的に判断する必要があります。本コラムで示した評価変革と運用改善の具体策は、企業全体の変革を促進し、将来的な競争優位性の構築に寄与するものと考えられます。

2025年9月