おはようございます！マネジメントオフィスいまむらの今村敦剛です。
ISO42001各箇条解説シリーズ、最後のセクション、箇条10「改善」を解説をします。問題が起きたときにどう対処し、AIマネジメントシステムをどうやって良くしていくか、その考え方と手順が整理できるようになります。
動画でも解説しています（無料・登録不要）
ISO42001 箇条10の位置づけ
まず、箇条10の位置づけから確認しましょう。箇条10は「改善」です。PDCAサイクルでいうと最後の「A（Act）」、つまり問題が見つかったときの処置と改善のフェーズにあたります。
箇条10での改善は、何をもとに行うのでしょうか。基本的には箇条9の「パフォーマンス評価」の結果をもとに改善をします。
箇条９では、監視や測定、内部監査、マネジメントレビューを行い、決めたルールのとおりに仕事ができているか、期待した結果が出ているかをチェックしました。そこで「目標に届いていない」「ルールどおりに運用できていない」「このままだとリスクがある」といったことが明らかになれば、それらの不具合に対して手を打ったり、期待通りの効果がでるように仕事のやり方を見直します。
ISO42001 箇条10の要求事項
箇条10.1と10.2の要求事項は4つあります。
まず箇条10.1「継続的改善」です。ここで言っていることはシンプルです。組織は、AIマネジメントシステムの適切性、妥当性、有効性を継続的に改善しなければなりません。一度仕組みを作ったら終わりではないですからね。組織の目的や体制は変わりますし、AIの使い方も変化します。そうした変化に合わせて、今の仕組みが状況に合っているか、仕組みや資源が足りているか、狙いどおりの結果につながっているかを、より良くしていくことが求められています。
次に、箇条10.2「不適合及び是正処置」です。ここは、何かルール違反や予期せぬトラブル、つまり不適合が起きたときに、組織がどう動くべきか、プロセスとして確立することを要求しています。ここでは例として、顧客対応用のAIチャットボットが、学習データに含まれていた偏りの影響で差別的な回答をしてしまった、という不適合が見つかったケースを想定して解説します。
まず不適合が起きたとき、必要に応じて不適合を管理し、修正するための処置をとり、さらに結果に対処します。チャットボットの例で言えば、差別的な回答をこれ以上出さないように制御をかける、対象の応答を停止する、あるいは一時的にサービスを止めるといった応急処置がこれにあたります。同時に、影響を受けた顧客への説明や謝罪、問い合わせ対応など、起きてしまった結果への対応も含まれます。まずは被害の拡大を止める、という段階です。
しかし、火を消すだけでは再発します。そこで次に、再発や他への横展開を防ぐために、原因を除去するための処置が必要かどうかを評価しなければなりません。ここが重要で、いきなり対策を決めるのではなく、必要性を評価することが求められています。その評価は、不適合をレビューし、原因を決め、同様の不適合がすでに存在するか、あるいは起こり得るかを確認することで行います。チャットボットの例なら、どの入力に対して、どんな差別的表現が出たのかを具体的に確認します。そのうえで、なぜ起きたのかを掘り下げます。もし原因が、学習データに偏見を含む情報が混入していたことだと分かれば、同じデータセットを使っている他のモデルや他の機能でも、似た問題が起き得ないかを点検します。ここまでやって初めて、何を是正処置として実施すべきかの判断材料が揃います。
次に、必要な処置を実施します。ここが是正処置の本番です。単に出力をフィルタで塞ぐだけではなく、原因に手を打って再発を防ぐことが狙いです。例えば、学習データの収集やクリーニングの手順を見直し、偏りを検知するチェック工程を追加する、評価用のデータセットを整備して定期的に検査する、といった対策が考えられます。重要なのは、原因に対応した処置を実行することです。
そして、取った是正処置が本当に効いているかをレビューしなければなりません。チャットボットであれば、同様の入力に対して差別的な回答が出なくなったかを確認し、さらに別の副作用が起きていないかも見ます。ここで効果が確認できて初めて、是正処置が有効だったと言えます。
必要に応じて、AIマネジメントシステムそのものを変更します。今回の不適合が、現場のミスというよりルールやプロセスの欠陥から生じたのであれば、個別対策だけでは不十分です。例えば、データ管理の規定、評価の手順、承認フロー、教育の仕組みなどを、マネジメントシステムとして見直し、仕組み化して再発を防ぐことが求められます。
次の要求事項です。規格は、不適合が及ぼした影響に見合った程度の処置にすることを求めています。小さな影響の不適合に対して、過剰な対策で現場を疲弊させる必要はありませんし、逆に重大な影響があるのに軽い対策で済ませてはいけません。影響の大きさに見合った是正処置が求められます。
最後に、文書化です。規格は、証拠として文書化した情報を利用可能な状態にすることを求めています。残すべき証拠は、どんな不適合が起きて、それに対してどんな処置をしたのか、そして是正処置の結果がどうだったのか、この二つです。いつ、何が起き、どう対応し、原因をどう捉え、何を実施し、結果がどうだったのか。これを記録として残すことで、同じ失敗を繰り返さず、組織の知見として蓄積できます。
まとめ
はい、というわけで、ISO42001箇条10.1「継続的改善」と10.2「不適合及び是正処置」について解説をしました。今日の内容を一言でまとめると、箇条9で見つかった問題に対して手を打つ。不適合の場合は、原因まで調べて再発防止する必要を検討する、ということでした。
失敗やトラブルはよくありませんが、AIマネジメントシステムを強くするための材料にもなります。この改善のプロセスを回して、より信頼されるAIの運用へつなげてください。
これでISO42001の要求事項の解説は一通り終了です。このシリーズとしては、今後は管理策の解説もしていきたいと思います。引き続きどうぞよろしくお願いいたします。