機密データを外に出せず、AI活用が止まり、現場の課題だけが残っている
設計データ、審査資料、顧客との通話記録。価値のある情報ほど機密性が高く、クラウドのAIには渡せない。セキュリティ部門の判断を待つうちに検討が止まり、現場の課題だけが残る。データを外に出さない前提のままAIを活用できれば、機密性の高いコア業務にこそ競争力強化の余地があります。
APPROACH
オンプレミス環境だからといって、高度なAI活用を諦める必要はありません。Spark+は、閉域網やオンプレミス環境で動作するAIの検証と構築に取り組んできました。
鍵になるのは、限られた計算資源で必要な精度を出す設計です。大規模なモデルをそのまま持ち込むのではなく、用途を絞ったSLM（大規模言語モデルより軽量でコンパクトなAIモデル）にファインチューニング（追加学習によるパラメータ調整）を施すことで、比較的小さなGPUでも実用に足る精度を確保します。図表を多く含む文書の検索についても、独自のアーキテクチャによりオンプレミス環境で構築した実績があります。
社内のセキュリティ審査や技術審査への対応も、導入工程の一部として進めます。
設計上の要点大規模モデルをそのまま持ち込まず用途を絞る。比較的小さなGPUでも実用精度に届かせるための選択
※ 実案件の構成を一般化した一例です。構成は要件に応じて変わります。
SERVICE
CASE
機密性の高い通話記録の要約を、オンプレミス環境で自動化
BEFORE
カスタマー応対の通話内容の記録・要約を人手で行っていた。機密情報が多く、クラウド経由のLLMを使用できない状況だった。
AFTER
通話記録を要約するSLMをオンプレミス環境で開発し、ファインチューニングで精度を確保。データを外部に出さない構成のまま、要約の自動化を実現した。
RELATED
CLIENT
秘匿性の高いデータに関するAI活用のボトルネックをご相談ください。 オンプレミス前提でのAI適用が可能な範囲を整理します。
初回のご相談は無料です。構想段階や、課題がまだ言葉になっていない段階でも構いません。現状を伺いながら、AIで解ける課題かどうかのアセスメントからご一緒します。