自然光変動の影響を大幅に軽減できる分光撮影技術を開発

【概要】

奈良先端科学技術大学院大学（学長：塩﨑一裕）先端科学技術研究科情報科学領域の舩冨卓哉准教授、向川康博教授らは、大阪大学大学院情報科学研究科の松下康之教授、千葉大学の久保尋之准教授、立命館大学の田中賢一郎准教授らと共同で、自然光の変動の影響を大幅に軽減し、高精度に光の波長ごとの明るさを計測できる分光撮像技術を開発しました。また、フランスのピカルディ・ジュール・ヴェルヌ大学のカロン・ギヨム准教授（兼：産業技術総合研究所国際客員研究員）、ムアディブ・ムスタファ教授らと共同でレーザや写真を用いた測量を行う建築遺産のデジタル化プロジェクトに参画し、世界遺産であるアミアン大聖堂のステンドグラスの分光撮像に成功しました。この研究成果は、International Journal of Computer Visionの特集号Computer Vision and Cultural Heritage Preservationに2022年3月25日に公開されました。

高分解能分光計と回転ミラーシステムという装置で構成される計測システムによって、400-2500nm（1nmは10億分の1メートル）の範囲において1nm以下の分解能での高精細な分光撮像が可能となっています。ただし、このシステムは、画像の1画素ずつを順次計測する方式であるため、画像全体を計測するためには、数時間程度を要します。また大規模な建造物を対象とする場合には、自然光下での計測となるため、天気や太陽高度などの経時変化の影響を受け、正しい計測ができないという問題がありました。これに対して今回、回転ミラーシステムが持つ柔軟な計測能力を活かし、分光撮像の際に1行ずつ画像全体を計測することに加え、垂直方向の計測を1列だけ追加することにより、撮像が自然光の変動から受ける影響を大幅に軽減する技術を開発しました。

今回開発した分光撮像技術の向上により、貴重な資料をデジタル化して記録保存する「デジタルアーカイブ」の文化的・学術的・社会的資源としての価値を高めることができます。災害などによる文化財の消失への備えとしての役割はもちろん、大聖堂に設置されたステンドグラスなどの貴重な文化財をあるがままで分光解析を行うことが可能になり、見た目では分からない組成に関する解析や、さまざまな歴史的資料の検証にも役立つことが見込まれます。また、多様な環境下におけるステンドグラスの見え方を、よりリアルに再現できるVRの鑑賞など、コロナ禍の観光資源として新たな活用が期待されます。

【背景と目的】

ピカルディ・ジュール・ヴェルヌ大学（フランス・アミアン）のMIS研究室はこれまで、フランス北部のアミアン大聖堂、ボーヴェ大聖堂、パリのノートルダム大聖堂を対象としたデジタルアーカイブのプロジェクトE-Cathedralを進めてきました。このプロジェクトは、より正確で信頼性の高い完全なデジタルアーカイブを目指し、新しいセンサの開発や現地での計測方法の設計に取り組み、建造物の立体形状の精緻な計測を実現してきました。中でも、大聖堂にあるステンドグラスは形だけでなく、外光が透過することによる色の見え方を記録することも重要です。そこでJSPS(日本学術振興会)-MEAE/MESRI（外務省高等教育・研究省）日仏交流促進事業（JSPSが日本側を、在日フランス大使館がフランス側を支援するPHC-Sakuraプログラム）の一環として、奈良先端科学技術大学院大学光メディアインタフェース研究室がMIS研究室と協働し、世界遺産でヨーロッパ最大のアミアン大聖堂にあるステンドグラスを対象としてデジタルアーカイブ技術の開発に取り組むことになりました。

このプロジェクトでは、人の視覚が捉える光の3原色（赤、緑、青）を計測するだけではなく、より細分化した波長の光の像を記録する分光撮像に取り組みました。分光は成分分析などにも用いられており、見た目の記録だけでなく、非破壊での化学分析を通した歴史的考証にも貢献できる可能性があります。光メディアインタフェース研究室では、JST CRESTの研究領域「計測技術と高度情報処理の融合によるインテリジェント計測・解析手法の開発と応用」の研究課題「多元光情報の符号化計測と高次元化処理の協調設計」の一環で、これまでに、高精細な分光撮像に向けた高分解能分光計と回転ミラーシステムで構成される計測システムを製作し、400-2500nmの範囲において1nm以下の分解能での計測が可能となっていました。

ただしこのシステムは、画像の1画素ずつを順次計測するシステムのため、狭い範囲での画像計測でもかなりの計測時間を要します。例えば、空間解像度の画素数が300×300の撮像でも1時間程度かかります。実験室など安定した環境での撮影では問題ありませんが、自然光下での計測では、天気や太陽高度などの経時変化の影響を受け、正しい計測結果が得られないという問題がありました。特に大聖堂のステンドグラスを対象とした場合、計測のための安定した環境を用意するのは困難です。そこで今回、回転ミラーシステムが持つ柔軟な計測能力を活かし、分光撮像の際にわずかな計測を追加することにより、撮像が受ける自然光の変動の影響を大幅に軽減する技術を開発しました。

分光撮像の計測システムでは、画像の1画素ずつを順次計測する一般的な方式として、画像の1行ずつを走査線として順に走査する「ラスタスキャン」を行いますが、今回開発した手法ではこれに加え、ラスタスキャンの走査線と垂直な方向に、画像のどこか1列を走査します。1行あるいは1列だけの走査は数十秒程度しかかからず、この間に起こる自然光の変動はほとんど無視できます。しかし、全画素の走査では、数十秒程度の計測を数百回繰り返すことになり、合計では数時間を要するため、自然光の変動の影響を無視することはできません。

追加計測を行った1列では、変動の影響を受けた分光画像と、変動の影響を受けていない追加計測で、二重に計測が得られます。この2つを比較することで、ラスタスキャンを行っていた間の自然光の変動を知ることができます。このようにして得られる変動の成分を分光画像から差し引くことによって、変動の影響を補償した分光画像を得ることができるようになりました。3枚のステンドグラスについて、分光画像とカメラで撮影した画像とを比較し、自然光の変動が補償されていることを確認することができました。

【今後の展開】

今回開発した分光撮像技術は、全画素の走査に加え、1列分の走査を追加することにより、自然光の変動の影響を大幅に軽減することが可能となりました。追加に係る計測時間は1%未満と見積もることができ、ほとんど無視できる程度です。今回開発した分光撮像技術の向上により、デジタルアーカイブの文化的・学術的・社会的資源としての価値を高めることができます。災害などによる文化財の消失への備えとしての役割はもちろん、大聖堂に設置されたステンドグラスなどの貴重な文化財をあるがままで分光解析を行うことが可能になり、見た目では分からない組成に関する解析や、さまざまな歴史的資料の検証にも役立つことが見込まれます。また、多様な環境下でのステンドグラスの見え方をよりリアルに再現できるVRの鑑賞など、コロナ禍の観光資源として新たな活用が期待されます。

また、この国際共同研究によって今回撮影された分光画像と、大聖堂を撮影した他のセンサ（全方位カメラ、レーザ距離計など）のデータを統合する試みが、フランス国立研究センターや産業総合技術研究所との共同研究にも発展しています。

今回の成果の基となった計測は2018年に実施したものであり、3枚のステンドグラスについて、1枚あたり1時間程度で計測したデータを基に研究を進めました。試験的な計測でしたので、短時間で実験を終えられるよう、比較的粗い空間解像度で計測を行いました。今回開発した手法により、より時間をかけて、精細な解像度での計測も可能になるはずですが、コロナ禍による制限もあり今後の計測の見通しが立っていません。パンデミックが終息し、大聖堂を訪れて計測できる日を待ち望んでいます。

###

【掲載論文】

タイトル: Eliminating temporal illumination variations in whisk-broom hyperspectral imaging

著者: Takuya Funatomi, Takehiro Ogawa, Kenichiro Tanaka, Hiroyuki Kubo, Guillaume Caron, El Mustapha Mouaddib, Yasuyuki Matsushita & Yasuhiro Mukaigawa

掲載誌: International Journal of Computer Vision

【研究室ホームページ】

http://omilab.naist.jp/index-jp.html

【用語解説】

高分解能分光計：プリズムや回折格子などの光学素子を利用して、広範囲の波長の光を空間的に分散させ、光の波長ごとの明るさを高精度に計測できる装置です。一般的な分光カメラの分解能は高性能なものでも多くとも10nm程度ですが、この研究で用いた装置は1nm以下の分解能を持ちます。

回転ミラーシステム：上下方向に70°・左右方向に360°の範囲をそれぞれ0.01°刻みで回転することができるミラーシステムです。高分解能分光計と接続することで、分光撮像が可能となります。最大で1秒あたり25点を計測することができます。

ラスタスキャン：画像の1画素ずつを順次走査する一般的な方式の1つで、画像の1行ずつを走査線として順に並行に走査します。例えば、ブラウン管を利用したディスプレイやレーザ方式のプロジェクタでも同じ方式が用いられます。

---

---