AIの「精度90%」を信用していい？

ここでは「精度」を全体の正答率として考えます。以下は仕組みを説明するための仮の数字であり、研究結果や顧客実績ではありません。

正常品900件、不良品100件の合計1,000件に対して、すべてを「正常」と判定したとします。

全体では900件が正解なので、正答率は90%です。しかし、不良100件はすべて見逃しています。

不良を見つけることが目的なら、全体の正答率に加え、不良をどれだけ検出できたかを見る必要があります。

また、「精度」が正答率を指すのか、別の指標を指すのかも確認します。指標名と計算対象が分からない場合は、元の件数表から説明してもらうと確認しやすくなります。

数字の読み方とともに、次のような条件を確認します。

• 学習や調整に使っていないデータで評価したか。
• 同じ対象のよく似た画像が、学習側と評価側へ分かれていないか。
• 実際に扱う品種や撮影条件が、評価対象に含まれているか。
• 良い条件の結果だけを選んでいないか。
• 判定基準を変えた場合、別の評価用データで確認したか。

検証の条件を知ることで、今の結果から何を判断でき、何を追加で確かめるべきかが分かります。

公開研究「ML Evaluation Workbench」では、公開データPalmer Penguinsの344羽分の測定値を使い、くちばしの長さ・厚さの2項目から3種類を分類しました。写真ではなく、表形式のデータを使う評価です。

単純な基準を含む3方式を比較

• 常に最多の種類を答える（多数派基準）
  学習データで最も多い種類だけを答えます。測定値を使う方法の効果を比べる出発点です。
• 数値を組み合わせ、種類の境目を学ぶ（ロジスティック回帰）
  二つの測定値から、どの種類らしいかを計算します。
• 似ている5羽の多数決で決める（5近傍法・KNN）
  測定値の近い学習例を使う方法です。

種類の比率を保ってデータを5組に分け、4組で学習・残り1組で評価する役割を入れ替えました（5分割交差検証）。3方式で同じ分割を使い、欠損の補完と値の尺度をそろえる処理も学習側だけで決めています。下表は5回の評価の平均です。

macro F1は、種類ごとの誤判定と見逃しをまとめ、3種類を同じ重みで平均した指標です。1に近いほど良く、件数の多い種類だけで全体の結果が良く見えることを避けます。表は5回の平均であり、別のデータでの性能保証ではありません。

入力条件が変わると、結果も変わる

評価側の測定値の25%を人工的に欠損させると、平均macro F1はロジスティック回帰で0.770、5近傍法で0.759まで低下し、順位も入れ替わりました。欠損率はデータの行数ではなく、元々値があった入力セルに対する割合です。

各分割の指標に加え、別途固定した86件のテストの一件ごとの予測と誤分類もCSVへ保存しています。正解数はロジスティック回帰81件、5近傍法83件でした。結果から間違った入力へ戻れる評価の仕組みも実装しています。

対象は一つの小さな公開データで、欠損も人工的に加えたものです。モデルの探索・最適化や、製造現場の画像での性能は検証していません。業務では、通常時の成績に加え、欠損や測定条件の変化、人による再確認の負担を評価する進め方をご提案いたします。

評価設計（GitHub） ／ 3方式の結果CSV ／ 欠損・ノイズの結果CSV

1. 90%とは、何の割合ですか？ 対象の件数と、正解・間違いの内訳を確認します。
2. 何を使って評価しましたか？ 学習・調整用との違い、品種や条件を確認します。
3. どんな間違いが残りますか？ 見逃し、誤判定、苦手な条件を確認します。
4. 運用では、誰が何件を確認しますか？ AIの判定後の業務まで確認します。