DeepSkyの検査精度を向上させるには(学習編)
スカイロジックの鈴木です。
今回のテーマはDeepSkyの精度を向上させるための設定のコツについてです。
検証中や導入後にユーザー様からいただいたご質問、ご報告でDeepSkyの設定に関する
有益な情報が多くございましたので紹介いたします。
今回のテーマはDeepSkyの精度を向上させるための設定のコツについてです。
検証中や導入後にユーザー様からいただいたご質問、ご報告でDeepSkyの設定に関する
有益な情報が多くございましたので紹介いたします。
Q. 過学習の判断方法は?
教師画像とテスト画像を分けて評価(検査)することで最適な学習回数を推測することができます。
例えば、同じアノテーションデータで5000回、10000回、20000回学習した品種を3つ作成し、
教師画像n枚とテスト画像n枚をそれぞれ3つの品種で検査させます。
この時に10000回学習させた品種の正答率が最も高かった場合、
5000回だと学習不十分で、20000回だと過学習という判断ができます。
つまり、10000回の学習(正確には10000~19999の間)が、精度よく検出できると言えます。
例えば、同じアノテーションデータで5000回、10000回、20000回学習した品種を3つ作成し、
教師画像n枚とテスト画像n枚をそれぞれ3つの品種で検査させます。
この時に10000回学習させた品種の正答率が最も高かった場合、
5000回だと学習不十分で、20000回だと過学習という判断ができます。
つまり、10000回の学習(正確には10000~19999の間)が、精度よく検出できると言えます。
Q. 収束0.1以下とは?ラベル数が増えると収束しにくくなる?
学習中に学習が十分か不十分か判断する1つにLOSS値があり、このLOSS値は収束0.1以下が目安とご案内しています。
しかしながら、あくまで目安ですので学習させている内容によっては収束していても誤検出したり、
0.1以下になっていなくてもよい精度で検出できたりすることがあります。
この時も、精度を確認する方法としては上記のように異なる学習回数の品種それぞれの正答率で判断する方法が効果的です。
また、学習がなかなか収束しない時に多い原因として考えられることは、
①教師画像中の検出するべき箇所にアノテーションBOXを囲んでいない。(見落とし)
②登録しているLabel数が多い(10以上)
③異なるLabel名で登録しているが、相異点となる特徴が少ない。(似ているモノを異なるLabel名で登録している)
などがあります。
しかしながら、あくまで目安ですので学習させている内容によっては収束していても誤検出したり、
0.1以下になっていなくてもよい精度で検出できたりすることがあります。
この時も、精度を確認する方法としては上記のように異なる学習回数の品種それぞれの正答率で判断する方法が効果的です。
また、学習がなかなか収束しない時に多い原因として考えられることは、
①教師画像中の検出するべき箇所にアノテーションBOXを囲んでいない。(見落とし)
②登録しているLabel数が多い(10以上)
③異なるLabel名で登録しているが、相異点となる特徴が少ない。(似ているモノを異なるLabel名で登録している)
などがあります。
Q. 途中から追学習した時とリセットして再学習した時の違いは?
追加学習:
既に5000回学習した品種(モデル)があり、そこに教師画像を追加し、アノテーション作業を行って、
5001回目(続き)から学習することを追加学習と言います。
追加学習は、既に学習された品種に対して精度の微調整を行うようなイメージです。
追加学習前の土台となる部分があるので、数枚の教師画像を追加しただけでは変化が少ない傾向があります。
再学習:
既に5000回学習した品種(モデル)を削除してから教師画像を追加し、アノテーション作業を行って、
1回目(最初)から学習することを再学習と言います。
教師画像を追加した状態で0から学習を行うため、追加学習と比べて追加した教師画像が
学習に与える影響は大きく、精度もより変化する傾向があります。
既に5000回学習した品種(モデル)があり、そこに教師画像を追加し、アノテーション作業を行って、
5001回目(続き)から学習することを追加学習と言います。
追加学習は、既に学習された品種に対して精度の微調整を行うようなイメージです。
追加学習前の土台となる部分があるので、数枚の教師画像を追加しただけでは変化が少ない傾向があります。
再学習:
既に5000回学習した品種(モデル)を削除してから教師画像を追加し、アノテーション作業を行って、
1回目(最初)から学習することを再学習と言います。
教師画像を追加した状態で0から学習を行うため、追加学習と比べて追加した教師画像が
学習に与える影響は大きく、精度もより変化する傾向があります。