東芝は、あらかじめ学習していないノイズ量にも対応できる深層学習(ディープラーニング)型画像ノイズ除去技術を開発した。
これにより、学習範囲を超えたノイズ量の画像であってもノイズを除去し高画質な画像を得ることができるようになると云う。
[開発の背景]
写真や動画を撮影すると、本来の情景を覆うように画像全体に粒状のノイズが生じる。
このようなノイズは、画質を悪くするだけでなく、例えば監視カメラでは被写体の視認性を低下させ、ロボットの目などの物体認識カメラでは認識精度を低下させるため、多くの場合、撮影後にデジタル処理を用いて除去する。
このノイズ除去では、ノイズだけを取り除き、本来の情景をぼかさず正確に復元する必要がある。
ノイズ除去の方式としては、これまで、開発者がアルゴリズムを細かく設計するハンドクラフト方式が多く開発されてきたが、近年のAIの開発の進歩で、ノイズ除去にも深層学習を用いることで、高い復元精度が得られることが分かった。
しかし、従来の深層学習方式では、学習データに含まれるノイズ量に最適化された固定のニューラルネットワークが構築されるため、あらかじめ学習したノイズ量の画像に対しては高画質な画像が得られるが、ノイズ量は周囲の明るさやカメラの露光時間によって変化することから、学習時と異なるノイズ量の画像に対しては調整ができず、十分なノイズ除去効果が得られなかったと云う。
[同技術の特徴]
そこで同社は、あらかじめ学習していないノイズ量であっても対応できる深層学習型ノイズ除去技術を開発した。
ニューラルネットワークでは、脳の神経細胞を模した活性化関数でデータを変換をするが、これまでは、活性化関数として、負のデータを全てゼロにして、正のデータはそのままとするReLU(rectified linear unit)関数が多く用いられてきた。
しかし今回新たに、絶対値がしきい値以下のデータをノイズとみなしてゼロにするSoft-shrinkage関数を採用。
更に、しきい値をノイズ量に比例して切替え、入力される画像のノイズ量に応じてノイズ除去の対応範囲を変更できるようにすることで、学習範囲を超えたノイズ量にも対応できるようにしたとのことだ。
同技術により、深層学習方式でノイズ除去の強さが調整できるようになり、想定外のノイズ量の画像に対して復元誤差が従来の深層学習型ノイズ除去技術に比べ1/3以下に改善し(※1)、十分な画質が得られるようになったと云う。
東芝は今後、この技術と、各システムに応じたノイズ量推定技術を組み合わせることで、高精度な映像システムの早期実現を目指すとしている。
※1:
まず、深層学習型ノイズ除去の画質評価によく用いられる、Berkeley Segmentation Data Set and Benchmarks(カリフォルニア大学バークレイ校から配布)の400枚の256階調の原画像に標準偏差22.5から27.5のノイズを付加したノイズ画像で学習。
次に、別の68枚の原画像に標準偏差40のノイズを付加したノイズ画像に対してノイズ除去を行い、得られた処理画像の復元精度を評価した。処理画像の原画像に対する誤差(平均二乗誤差の68枚の平均)が、従来方式では468であったのに対し、開発方式では137と1/3以下に改善した。