AI判定履歴一覧

• 処理の終了を確認する
• 教師de判定（スポット判定）の結果
• 自然文de判定の結果
• 評価品質自動検証の結果

教師de判定、自然文de判定、評価品質自動検証の実行履歴を一覧表示します。処理終了の確認、結果の確認はこの履歴一覧から行います。

処理の終了を確認する

AI判定履歴一覧を表示します。
「ログイン」＞「MENU」＞「AI判定履歴」を開きます。

教師de判定（スポット判定）、自然文de判定、評価品質自動検証、３つの実行履歴が同じ一覧に表示されます。
過去３ヶ月以内の実行履歴に限ります（３ヶ月を超えた履歴は削除されます）。

教師de判定（スポット判定）の履歴

1. ①に任意に付けたタイトル名が表示されます。
2. ②処理受付日時には判定を実行した日時が表示されます。
3. 判定処理が終了すると、③処理状況が「完了」となります。（「受付」→「処理中」→「完了」）
4. ①のタイトル名または③の「完了」をクリックし、スクリーニング・ＡＩナビゲータ画面で結果を確認します。
   （→教師de判定（スポット判定）の結果）
5. スクリーニング・ＡＩナビゲータ画面で「判定結果をタイトルへ返送」を行うと、「AI判定結果(教師特許)」「AI判定順位(教師特許)」 「AI確率」「ノイズ確率」「サーチ確率」「確率差」 へそれぞれの値が保存され、④判定結果送信日時に保存した日時が設定されます。



「AI判定結果(教師特許)」「AI判定順位(教師特許)」について

Ver4.3より項目名が変わりました。以前はそれぞれ「AI判定結果」「AI判定順位」でしたので、過去に出力したファイルを取込む際にはご留意ください。

自然文de判定の履歴

1. ①に任意に付けたタイトル名が表示されます。
2. ②処理受付日時には判定を実行した日時が表示されます。
3. 判定処理が終了すると、③処理状況が「結果反映」となります。（「受付」→「処理中」→「結果反映」）
4. ③の「結果反映」をクリックすると、「AI判定結果(自然文)」「AI判定順位(自然文)」「類似度」へそれぞれの値が保存され、 ④判定結果送信日時に保存した日時が設定されます。（→自然文de判定の結果）
   サーチ教師数、ノイズ教師数は空欄です。

評価品質自動検証の履歴

1. ①には「評価品質自動検証」と表示されます。
2. ②処理受付日時には検証を実行した日時が表示されます。
3. 検証処理が終了すると、③処理状況が「ダウンロード」となります。（「受付」→「処理中」→「ダウンロード」）
   判定項目、サーチ教師数、ノイズ教師数、判定結果送信日時、サーチ判定は空欄です。
4. ③の「ダウンロード」をクリックし、ダウンロードされるマクロ付Excelファイルで結果を確認します。
   （→評価品質自動検証の結果）

教師de判定（スポット判定）の結果

AI判定履歴一覧のタイトル名、または「完了」をクリックし、スクリーニング・ＡＩナビゲータ画面を開きます。

スクリーニング・ＡＩナビゲータ画面では、AI判定の結果を各項目へ保存したり出力したりすることができます。 また、次のＡまたはＢの設定で再学習ができます。

Ａ.スクリーニング・AIナビゲータで設定する
分布図を見ながらサーチ境界線、ノイズ境界線を調整します。
教師特許の非表示／表示、サーチ／ノイズ境界線を変更した場合は⑤件数を更新をクリックして画面を更新してください。
Ｂ.確率差構成比で設定する・・・サーチ判定、ノイズ判定の割合を％で設定します。
数字は整数で、サーチ確率とノイズ確率の合計が100％以下になるように設定してください。

ＡＢどちらも設定可能ですが、判定結果はどちらか一方による結果ひとつです。
ＣにてＡＢどちらの設定方法を採用するかを選択し、 判定結果を各項目へ保存する場合は⑥判定結果をタイトルへ返送、出力する場合は⑦判定結果を出力をクリックしてください。

⑥判定結果をタイトルへ返送・・・「AI判定結果(教師特許)」「AI判定順位(教師特許)」「AI確率」「ノイズ確率」「サーチ確率」「確率差」 にそれぞれの値を保存し、AI判定履歴一覧④判定結果送信日時に保存した日時を設定します。

⑦判定結果を出力・・・判定結果をExcel出力します。


教師特許の変更
⑧「教師特許の変更による再学習」または「重要ワードで結果を確認」にて教師特許を変更し、⑨再学習を実行にて再学習ができます。
再学習をした場合は、AI判定履歴一覧①には「受付番号：999999の再学習」という名前で表示されます。
（スクリーニング・ＡＩナビゲータ画面、再学習については、こちらをご参考ください。）

※確率は、少数第一位表示で、サーチ確率は切り上げ、ノイズ確率は切り下げます。（サーチ確率＝ノイズ確率の場合は同じ値で保存します。）

自然文de判定の結果

AI判定履歴一覧のタイトル名にカーソルを合わせると、判定処理で入力した文章がツールチップ表示されます。
また、タイトル横のマークをクリックすると文章がコピーされますので、テキストとして取り出すことができます。

AI判定履歴一覧の「結果反映」をクリックすると、「AI判定結果(自然文)」「AI判定順位(自然文)」「類似度」にそれぞれの値を保存し、 ④判定結果送信日時に保存した日時を設定します。

評価品質自動検証の結果

AI判定履歴一覧の「ダウンロード」をクリックし、マクロ付Excelファイルをダウンロードします。

事前にExcelのセキュリティ設定（マクロの有効化）が必要ですので、必ずセキュリティ部門に確認の上、ご設定ください。

1. ダウンロ－ドしたファイルを開きます。
   Excelセキュリティによりブロックされた場合は解除してください。（→ブロックの解除）
   
2. 「評価品質自動検証」をクリックすると検証が開始します。
   
3. 検証が終了するとファイルの保存画面が表示されますので、ファイルを任意の場所に保存してください。
   
4. 保存したファイルが検証結果ファイルです。

検証結果ファイル

①グラフ・・・混同行列、再現率飽和グラフ、サーチ案件出現位置グラフ
②一覧・・・対象案件リスト
③偽陰性リスト・・・偽陰性案件リスト（シート内「THE調査力 抄録表示」ボタンでリストの案件をTHE調査力で表示し、評価の見直しができます。）
④偽陽性リスト・・・偽陽性案件リスト（シート内「THE調査力 抄録表示」ボタンでリストの案件をTHE調査力で表示し、評価の見直しができます。）

k分割交差検証法

k分割交差検証法は、対象の特許データをk個にランダムに分割（2～8）します。 k個のデータはそれぞれ順番に検証セットとして使われ、残りのデータセットは学習セットとしてモデルをあてはめるのに使用されます。 合計で、k個のモデルがあてはめられ、k個の検証結果が得られます。

THE調査力AI「評価品質自動検証」では、4分割で行います。

4個の検証結果の平均値を取ります。


＜判定結果の解説＞