宮崎グループ

ずらしレンズ配列型CMOS複眼撮像装置を用いた高速3次元計測

はじめに

 精度のよい3次元計測法として,複数のパターンを投影して三角測量の原理で計測物体までの距離を測定する空間コード化法がある.しかし,この手法は複数の画像を取得する必要があることから,実時間計測には向かなかった.高速撮影が可能な撮像システムを用いれば高速計測は可能であるが高コストとなる.我々は,入手が容易で安価なCMOSイメージセンサを用いて複数のレンズを持つ複眼撮像システムを構成することにより,1回の撮像時間の間に基づく3次元計測の高速化を実現する.

複眼撮像システムによる時間差画像の取得

 複眼撮像システムは図1に示されるようにレンズアレイと光学隔壁,イメージセンサにより構成される.光学隔壁は隣の光学系に光が入射することを防ぐために設置されている.各レンズにより形成される画像を個眼像と呼ぶ.撮像にはローリングシャッター方式のCMOSイメージセンサデバイスを用いる.CMOSイメージセンサの各画素に入射する光はラスター走査によって左上から右下へ逐次的に取得される.CMOSイメージセンサを用いた複眼撮像システムでは,各個眼像の取得タイミングが,その位置に応じてずれる.したがって,CMOS複眼撮像システムで1回撮影すると,取得タイミングが異なる複数の画像を得ることができる.

tombo_001.jpg(51759 byte)

図1 Schematic diagram of a TOMBO system

 この時間差画像取得システムにおいて,レンズアレイが正方格子状に配列されている場合は,すぐ横に並んでいる個眼像間の時間差が非常に短くなるため,空間コード化法などによる3次元計測において複数の画像を取得するために使うことはできない.そこで,図2に示すように,隣り合う個眼像の位置を縦方向にずらしてレンズを配置することにより各個眼像の取得タイミングを制御する.取得タイミングは個眼像の縦方向の位置で決定することができる.各個眼像においても各画素の取得タイミングは個眼像の左上から右下へ向けて時間差を持って取得される.

tombo_002.jpg(53416 byte)

図2 Rhomboidal lens arrangement for time-sequential image acquisition

撮像システムによる高速3次元計測

 空間コード化法は,図3に示すように測定対象に複数の2値パターンを投影して3次元空間をコード化し,三角測量の原理を用いて3次元形状情報を得る手法である.図中のパターンA,B,Cが物体に投影された画像をそれぞれ取得する.空間コードは各位置に割り当てられているビット列であり,各ビットの1,0は各パターン投影による光の照射の有無を意味している.プロジェクタから測定点までを結ぶ線とベースラインのなす角φは,測定した空間コードから知ることができる.一方,カメラから測定点まで結ぶ線とベースラインのなす角θは,取得画像中の測定点の位置から知ることができる.測定点の距離は三角測量によってベースラインの距離dと角度φ,θより求めることができる.計測分解能は投影パターンの数に依存する.

tombo_003.jpg(53821 byte)

図3 Time-multiple binary-encoded light projection for 3-D measurement

 空間コード化法は,図3に示すように測定対象に複数の2値パターンを投影して3次元空間をコード化し,三角測量の原理を用いて3次元形状情報を得る手法である.図中のパターンA,B,Cが物体に投影された画像をそれぞれ取得する.空間コードは各位置に割り当てられているビット列であり,各ビットの1,0は各パターン投影による光の照射の有無を意味している.プロジェクタから測定点までを結ぶ線とベースラインのなす角φは,測定した空間コードから知ることができる.一方,カメラから測定点まで結ぶ線とベースラインのなす角θは,取得画像中の測定点の位置から知ることができる.測定点の距離は三角測量によってベースラインの距離dと角度φ,θより求めることができる.計測分解能は投影パターンの数に依存する.

tombo_004.jpg(87865 byte)

図4 Time-sequential image acquisition synchronized with six-pattern projection

原理確認実験

 我々は図4に示したのと同じ配列のレンズアレイにより構成される複眼撮像システムを作製した.CMOSイメージセンサの画素数は1280 × 1024でフレームレートは15 fpsであった.各レンズの直径は1mmで焦点距離は1.88 mmとした.光学系とCMOSイメージセンサは9 mm × 9.6 mm × 3 mmのサイズで組立てられた.電子シャッターの速度は3.047 msとした.各レンズの光軸の位置やレンズとセンサ間の距離などはチェッカーパターンの撮影によりキャリブレーションを行った.

 我々は,パターン投影器を作製するために,グレイコードに基づく二値ストライプパターンを持つ6種類の光マスクを作製し,垂直方向に並べて配置した.一列に並んだLED光源を各光マスクの後ろに配置し,その点灯により投影するパターンを切り替えた.ベースラインの長さは20 cmパターン投影器から物体までの直線とベースラインのなす角は約45度とした.光マスクと光源は垂直方向に並べて配置したため,各光マスクと対象物体と複眼撮像システムとの間における配置における水平方向の幾何学的関係は同等になる.

 CMOSイメージセンサと同期して90 Hzの変更レートで6種類の投影パターンを逐次的に切り替え,複眼撮像システムにより対象物体の撮像を行った.光学系が元から持つ陰影の特性を補正してから二値化を行った.そして必要な部分を切り取って結合し,各パターン投影に対応する画像を再構成し,それらの6枚の画像から空間コード化画像を得た.空間コード化画像から三角測量の原理に基づいて各点の距離を求めて距離画像を得た.図5に,人の顔を測定対象としたときの距離マップを示す.計測領域内の計測可能な奥行きの段階数は64であり,これは投影パターンの数により決定される.

tombo_005.jpg(158857 byte)

図5 3-D measurement result of human face