Colorization using Optimizationとは

原論文 ペイントやPhotoShop(TM)のようなビットマップエディタにおける「ペイント」処理を高度化したもの。従来のペイント処理にはない以下の用な長所がある。
  1. 輝度情報を生かしたまま色調だけを変えることができる。
    →
  2. 「許容誤差」などのパラメータが不要。境界があいまいでも可。
    →
  3. マスク設定が簡単
    → →
  4. 最適化プロセスを３次元(X軸/Y軸/時間軸)的に拡張することによって動画への応用も可能


Colorizationのアルゴリズム

多くのColorization using Optimizationのアルゴリズムは繰り返し最適化アルゴリズムに基づいて構成されている。 繰り返し最適化アルゴリズムは、最適解を得ることができるが、膨大な計算コストがかかることでも知られている。
基礎的なアルゴリズムであるガウスザイデル法でインプリメントした場合、320×240の画像の着色で２～３分、800×600 の画像の場合、数時間かかることもある。
高速計算法であるマルチグリッド法などを用いた場合でも、320×240の着色で20～30秒、800×600の場合20～30分程度 かかる。
ユーザー側から見た場合、着色の操作は、「とりあえず着色」→「気に入らない部分の色を少し変える」というプロセ スを繰り返すものになる。処理速度が遅いことがアルゴリズムの普及を妨げている。
アートロジック社では、Colorizationの手法がラベリングの手法と似ていることに着目して、数桁高速に同品質の画像を 得ることに成功した。320×240の場合で1秒未満、800×600の場合でも数秒で処理することができる。

Colorizationの応用例

  1. グレイスケール画像への着色
  2. カラー画像への再着色
    指定色のパレットを動的に変化させると、リアルタイムに色を変化させることができる。
    カラーシミュレーションシステム
    1. 化粧品業界
      クライアントの顔をリアルタイムに取り込んで、PCのスクリーンを鏡のように見せながら化粧品の効果をリアルタイムで確認するシステムなど
    2. 住宅内外装業界
      住宅の外周を１周するカメラから画像を取り込んで、外装の色の効果を周辺360度の景観込みでシミュレートする。
    3. アパレル皮革業界等で
      衣料皮革製品のカラーシミュレーションだけでなく、帽子から靴までのトータルコーディネイトをサポートする。
  3. カラー画像セグメンテーション
    カラー画像の領域分割を行う。
  4. 動画像への(再)着色
    静止画のX軸Y軸に対して、時間方向のZ軸を追加するだけで、全く同じアルゴリズムを動画に適用することができる。 セグメンテーションも動画へ応用することができる。