BreakThrough 発想を学ぶ

高速ビジョンから、システム全体の高速化へ。ヒューマンインターフェイスにも応用可能石川 正俊/東京大学情報理工学系研究科長

<連載第2回(全4回)>

2019.04.04

SHARE
  • facebook
  • twitter

前回の第1回では、21世紀型のテクノロジー創出について、解説していただいた。研究者の発想の転換と、それを正しく評価する社会の重要性が見えてきた。
第2回は、石川先生の代表的な研究成果である最先端テクノロジーについて、お話を伺う。テーマは、「高速ビジョンの、医療・福祉分野への応用について」だ。


「高速ビジョン」という新しい価値

私は1993年頃から、「高速ビジョン」の研究を始めました。いまも画像処理の研究者の多くは、4Kや8Kなどといったより美しい映像を撮ることを目標にしますが、私は、ほかの誰かと同じような研究はしていません。当時は誰も考えていなかった「速く撮り、速く処理する」ことを目標にしました。前回お話したシンセシスを生むための独創的な研究です。
さて、通常のビデオカメラは1秒間に30枚(30fps)の映像を撮影します。これは、人間の目のスピードに合わせたレートでした。そこで私は、1秒間に1000枚(1000fps)の映像が撮れる画像処理を目指し、高速ビジョンの開発を行いました。

速さの違いを、下の図で説明しましょう。
野球のピッチャーが150㎞/hの速球を投げたとします。これを従来型の1秒間に30枚の映像を撮る30fpsのビデオカメラで撮影すると、約140㎝ごとの映像が撮影されます。一方、1秒間に1000枚の映像を撮る1000fpsの高速ビジョンでは、約4㎝ごとの映像が撮影されるのです。
私が研究を始めた頃は、人間の目が30fpsなのだから、それ以上早い映像は必要ないと思われていました。しかし、実際に撮影してみると、それまでは見えていなかったボールの軌跡が鮮明にわかるようになりました。速く撮れる映像から、新しい価値が生まれたのです。

ビデオと高速ビジョンの早さの違い
高速ビジョンで見ると、山なりの軌跡だったことがわかる

言われてみれば、納得の理論だが、ほかの誰もが気づかないところを目指した着眼点がすばらしい。高速ビジョンという新しい価値は、このあと、どのように進展したのだろうか。

撮影速度だけではなく、システム全体を早くするには

高速ビジョンでカメラの撮影・処理速度が速くなっても、それを動かすコンピューターや動作を行うアクチュエーターが遅いままだと、システム全体のスピードは従来と変わりません。どれか一つでも遅いものがあると、システム全体は遅いものに合わせるしかないからです。
そこで、私は、人間の感覚系に相当するセンサー、頭脳に相当するコンピューター、筋肉に相当するアクチュエーター、この3つともを速くする開発を行いました。
1993年、センサーと処理が1000fpsのスピードに向上したときは、わずか4000画素でしたが、1.2m×1.2mの大きな箱が必要でした。それが徐々に小型化され、2018年5月に市販が始まった「ビジョンチップ」は、ソニーとの共同研究で、対角線距離が5.678㎜、127万画素の汎用積層型ビジョンチップです。小型化・軽量化と共に、0.363Wという低消費電力も実現しました。このため、たとえばドローンなどにも搭載可能です。この高速ビジョンチップを利用した研究成果が、そろそろ出てくるのではないかと、私は楽しみにしています。

短期間で、ビジョンチップは小型化を果たした

高速ビジョンは、汎用積層型ビジョンチップが市販されるまでに発展した。では、高速ビジョンを医療や福祉の分野で応用することはできないのだろうか。

ジェスチャーで空中像に絵を描くヒューマンインターフェイス

高速ビジョンはさまざまな研究分野で活用されています。医療においては、特に、ヒューマンインターフェイスが注目されています。
ヒューマンインターフェイスでは、人間の動きを高速ビジョンでとらえて、その動きに合わせて、ロボットやディスプレイや機械などを動かす用途を想定しています。
その場合、まず、人間の動きを撮ることから始めます。人間の動きは意外と速く、手を振るような場合でも数十㎞/hになると言われます。こうなると、従来型の30fps撮影では不十分ですから、1000fpsの高速ビジョンを使って、詳細に撮影・処理していきます。
高速で撮影した映像を、高速で処理をし、高速で再生すると、手を動かしている様子を撮影した動画がリアルタイムで再生できるようになります。しかも、自分の動きと再生される動画の動きに遅れがないかのように、人間の目では後れを認識できない程度まで、撮影・画像処理・再生の高速化が実現できました。
この技術を応用すると、空中像のなかに絵を描く、といったことが可能になります。空中像は、宇都宮大学准教授の山本裕紹氏が開発した技術ですが、テーブルの下に高速ディスプレイを置き、ミラーや反射シートなどを利用して、空中に像をつくるものです。
たとえば、PCディスプレイの画像を空中像として再現させ、その中に絵を描きます。絵を描くのはあくまでもジェスチャーですが、絵を描く様子を高速ビジョンで撮影、高速で動画処理を行うと、リアルタイムで空中像の中にドローイングができていきます。自分の手の動きとドローイングの動きに遅れがなければ、操作性が上がり、きれいな絵が描けます。
これは、手術中の医師が患者のデータを空中像として見ながら、患部の印などを書き込むといった形で実用化に向けて、研究開発されています。
そのほかにも、3次元ディスプレイをジェスチャーで動かす研究なども進んでいます。

取材日:2019年3月11日

<連載第2回・完>

 

連載

第一回 アナリシスからシンセシスへの発想転換と、そうして生まれた新しい価値を、正しく評価する社会に

第二回 高速ビジョンから、システム全体の高速化へ。ヒューマンインターフェイスにも応用可能

第三回 高速トラッキングが、顕微鏡下の作業やロボット手術などの手技をアシストする

第四回 中小企業は低コストのPOCで、社会受容性を判定し、ブレークスルーに挑戦して


石川 正俊(いしかわ・まさとし)
東京大学情報理工学系研究科 研究科長

1977年東京大学工学部計数工学科卒業。1979年東京大学大学院工学系研究科 計数工学専門課程 修士課程を修了し、1988年工学博士(東京大学)。1979年には通商産業省工学技術院(現 国立研究開発法人 産業技術総合研究所)主任研究官を経て、1989年から東京大学工学部計数工学科の助教授。その後、東京大学理事・副学長などを歴任し、2016年より現職。
専門分野は、システム情報学(センサ工学、ロボット工学、画像処理、認識行動システム、生体情報処理)。センサフュージョン、超並列・超高速ビジョン、超高速ロボット、ビジュアルフィードバック、メタパーセプション、光コンピューティング、触覚センサの知能化、生体情報の回路モデル等の研究に従事する。
国内・国際学会などから数多くの受賞歴に加え、2011年11月には紫綬褒章を受章。

◇主な共著書
『ロボット制御学ハンドブック』(近代科学社)2017年12月刊
『情報ネットワーク科学入門』(コロナ社)2015年10月刊 など多数

SNSでシェアしよう

関連記事