筑波大学COG研究紹介：研究室に参加したい皆さんへ

 私達の研究室「Computational Optics Group」（筑波大学安野研究室）への参加を希望する皆さんへ向けた研究室・研究紹介ビデオを公開します。

先日公開したセミナービデオの内容を40分程度に抜粋したものです。（冒頭に安野からのメッセージが追加され、解説は新たに取り直されています。）研究室参加に興味のある方はぜひご覧ください。（すでにセミナービデオをご覧になった方は冒頭のメッセージだけでもどうぞ。）

Publication: How dense is the tissue? Deep learning reveals the particle density of tissue

 
Our colleague Praew, Thitiya Seesan recently reported a new deep-learning based framework for estimating the scatterer density of a tissue. In this framework, a tissue is imaged by optical coherence tomography (OCT). A small patch of the OCT image, which is dominated by a small granular pattern so-called ``speckle,'' is processed by a deep-convolved neural network (DCNN). And the DCNN estimates the density of the scatterer in the sample. 

Since cell organelles are the major scatterer in the tissue, the scatterer density estimation can assesses the integrity of the tissue.

In general, DCNN needs to be trained with a huge dataset. Praew made a wave-optics based OCT image formation simulator, which synthesized a vast number of virtual OCT images. It is used to train the DCNN. Since the training dataset was obtained without experiments, this framework enables highly accurate DCNN-based scatterer density estimator with nearly negligible cost.

The details of this frame work are published in Biomedical Optics Express.

T. Seesan, I.A. El-Sadek, P. Mukherjee, L. Zhu, K. Oikawa, A. Miyazawa, L.T.W. Shen, S. Matsusaka, P. Buranasiri, S. Makita, and Y. Yasuno, "Deep convolutional neural network-based scatterer density and resolution estimators in optical coherence tomography," Biomed. Opt. Express 13, 168-183 (2022).

>> Full-length article (open access). 

私達の研究室の Praew (Thitiya Seesan)さんが深層学習ニューラルネットワークを用いて整体組織の散乱体密度を計測する新たなフレームワークについて論文を発表しました。このフレームワークでは、組織はまずOCT（光コヒーレンストモグラフィー）でイメージングされます。OCT画像を拡大してみると、それが「スペックル」と呼ばれる小さな顆粒状のパターンで構成されていることがわかります。Praewさんの開発したニューラルネットワークは、この顆粒状のパターンを処理して組織の中の散乱体密度を割り出します。

組織内の散乱体とは、例えば、細胞内小器官のことです。ですので、このフレームワークで組織内の散乱体密度を計測することで、組織の特性、正常性・異常性を評価することが可能になります。

一般的に、ニューラルネットワークをトレーニングするには大量の実験データ（OCT画像）が必要とされます。Praewさんは波動光学に基づいたOCT画像シミュレータを開発し、それによりニューラルネットワークをトレーニングするための大量の疑似OCT画像を生成することに成功しました。これにより、実験を行うことなく、極めて低コストで高精度にニューラルネットワークをトレーニングすることが可能になりました。

この研究の詳細は Optica の論文誌 Biomedical Optics Express に掲載されています。

T. Seesan, I.A. El-Sadek, P. Mukherjee, L. Zhu, K. Oikawa, A. Miyazawa, L.T.W. Shen, S. Matsusaka, P. Buranasiri, S. Makita, and Y. Yasuno, "Deep convolutional neural network-based scatterer density and resolution estimators in optical coherence tomography," Biomed. Opt. Express 13, 168-183 (2022).

>> Full-length article (open access). 

Seminar talk: 光と信号処理で見る生体の機能と形態

筑波大学イノベイティブ計測技術開発研究センター主催のセミナーにおいて安野が最近の研究「計算光学顕微鏡（Computationally augmented optical coherence microscope)」について講演を行いました。ビデオを公開します。これまでまとめて日本語で話す機会がなかった、私たちの最近の研究成果を概観しています。長丁場のセミナートークですが、ぜひお楽しみください。

トーク冒頭では、私たちの研究グループ（Computational Optics Group）を紹介しています。

また、トークの最後では、私（安野）から筑波大学に関わるすべての人たちへのメッセージが含まれています。

YouTube「光と信号処理で見る生体の機能と形態＋「認識する計測」: Computationally Augmented OCT Microscope」（別ウィンドウが開きます）

※　講演時間の都合で深層学習を使った「構成的計測」と「高精度・高機能眼底イメージング」は含まれていません。「構成的計測」は近々いちどまとめたいと思います。「高精度・高機能眼底イメージング」はひとまずこのショートトーク（英語版10分 YouTube）をお楽しみください。

Publication: Three-dimensional dynamics optical coherence tomography for tumor spheroid evaluation

 Our colleague Ibrahim Abd El-Sadek recently reported label-free volumetric imaging of human tumor spheroid.

In this research, he improved our previously reported label-free tissue activity method into three-dimensional (3D). By introducing a new probe-beam scan protocol and an optimized signal processing method, he successfully visualized and quantified the  3-D tissue viability of human breast cancer cell cultures (MCF7) spheroid. By virtue of the non-invasiveness of the method,  the hourly time-course alteration of the spheroid viability was investigated. The spheroids were also treated by anti-cancer drugs and their drug response was also visualized in 3D.

The details are reported in Biomedical Optics Express.

>> Full length article (open access).

私達の研究室で博士取得のために研究している Ibrahim El-Sadek さんが腫瘍スフェロイド（培養腫瘍細胞塊）の活動性の三次元イメージングに成功しました。

この研究では、私達が以前に開発した活動性イメージング手法に新たな走査プロトコルと信号処理手法を導入することで、三次元の活動性イメージングを実現しました。この手法がラベルフリー・非侵襲であることを利用し
て、スフェロイドの活動性の変化の1時間おきのライムラプス計測を行いました。これにより、スフェロイドの活動の時間変化の定量化に成功しました。さらに、この腫瘍スフェロイドに抗がん剤を適用し、その後の変化を上記の新手法で計測することにより、腫瘍スフェロイドの抗癌剤に対する反応を画像化することに成功しました。

本研究の詳細は Biomedical Optics Express 誌で報告しています。

>> Full length article (open access).

Citation: I.A. El-Sadek, A. Miyazawa, L.T.W. Shen, S. Makita, P. Mukherjee, A. Lichtennegger, S. Matsusaka, and Y. Yasuno, ``Three-dimensional dynamics optical coherence tomography for tumor spheroid evaluation,'' Biomed. Opt. Express 12, 6844- 6863 (2021).

Publication: Label-free multi-contrast imaging of mouse liver microvascular complex

 Our colleague Pradipta Mukherjee recently reported a non-invasive three-dimensional (3D) imaging of  microvascular complex in mouse livers. The imaging was performed by multi-contrast optical coherence tomography (OCT) developed by our group at the University of Tsukuba.

In this study, he investigated the functional and structural properties of healthy and early fibrotic mouse liver tissues using the custom-made multi-contrast OCT which is capable of measuring tissue dynamics, attenuation coefficient, and local birefringence. High dynamics appearance was found in healthy liver microvascular complex just after the scarification. In addition, a clear 3D network of vessel-like structure was clearly visualized in early fibrotic liver without any contrast agent.

So, multi-contrast OCT might become a powerful tool to investigate liver metabolic disorders in a nondestructive.

The details of the research is published in Scientific Reports.

>> Full length article (open access)

私達の研究室の Pradipta Mukherjee 研究員が「マウス肝臓の血管周辺組織の活動の三次元ラベルフリーイメージング」について論文発表を行いました。

この研究では、私達のグループで開発された、3次元ラベルフリーなマルチコントラストOCT顕微鏡を用いてマウス肝臓組織の形態、活動性、光散乱特性、複屈折（偏光）特性の三次元画像化を行っています。この研究により、正常マウスと肝線維化モデルマウスの肝臓両方で、組織摘出後にも血管付近に強い組織活動を示す領域が存在することが画像化によって示されました。

この研究の詳細は Scientific Reports 誌に掲載されています。

>> Full length article (open access)

Citation: P. Mukherjee, A. Miyazawa, S. Fukuda, T. Yamashita, D. Lukmanto, K. Okada, I. A. El-Sadek, L. Zhu, S. Makita, T. Oshika, and Y. Yasuno, "Label-free functional and structural imaging of liver microvascular complex in mice by Jones matrix optical coherence tomography," Sci. Rep. 11, 20054 (2021).

Short Lecture on Motion-Free Wide-Field and Multi-contrast Imaging Retinal Pathology

 Here we release a short (9-min) presentation about “wide-field, three-dimensionally motion-free, and multi-contrast retinal imaging.” The imaging was performed by our latest Lissajous scan optical coherence tomography (OCT) device with polarization sensitivity. The Lissajous scan method enables perfectly motion free wide field imaging of the retina. The vascular pathology is highlighted by OCT-angiography feature of our device. In addition, the polarization sensitivity of  our OCT gives a specific contrast to the pathology of retinal pigment epithelium.

>>YouTube video

私たちの開発した偏光感受型 Lissajous による「高画角・モーションフリー・マルチコントラスト3次元網膜イメージング」に関するショートプレゼンテーション（9分間）を公開します。この研究では光コヒーレンストモグラフィー（OCT）に Lissajous scan と呼ばれる走査方式とそれに基づいた信号処理を導入することで高画角で、かつ眼球のモーションの影響を受けない三次元イメージングを実現しています。さらに、OCTアンギオグラフィー技術により血管の異常を可視化し、偏光感受性計測を導入することで色素上皮の異常の可視化を行っています。

>> YouTube video

Short Lecture on Multi-contrast Optical Coherence Microscope

 Here we release a short (15-min) video about our "multi-contrast optical coherence microscope (OCM)" project. The multi-contrast OCM enabled deep-tissue imaging, label-free metabolic contrast, tissue ultrastructure (microstructure) assessment, and quantitative 3D polarization imaging.

The video gives a short introduction to our recent development of the multi-contrast OCMOCM. 

私達の開発している「マルチコントラスト OCT顕微鏡」のハイライト解説ビデオ（英語15分）を公開します。このマルチコントラストOCT顕微鏡は組織の深い部分を光分解で可視化できる他、非侵襲ラベルフリーにかつ三次元的に組織代謝を可視化したり、3次元かつ定量的に組織の偏光特性を可視化することができます。ビデオでは最近の研究結果をまとめて解説しています。

>> YouTube video

認識論的計測学

 グループリーダーである安野がここ数年思索をすすめている思考フレームワーク「認識論的計測学」について、解説（講義）ビデオを公開します。

認識論的計測学は計測を認識という行為の一部ととらえることで、センシング（狭義の計測）から病気のAIによる自動診断などの「理解」までを統一したモデルで説明するための試みです。2019年夏から親しい方たちに断片的な説明だけを行ってきましたが、今回、筑波大学大学院講義の一部としてある程度まとまった解説をおこないました。

2時間近い長丁場の講義ですが、ぜひお楽しみください。

>> YouTube ビデオ
>> 講義シリーズ「社会と研究と計測」のプレイリスト

Publication: Computational multi-directional imaging

Our colleague Daisuke Oida recently reported a new high-resolution tissue assessment method so-called "computational multi-directional imaging."

This method is the combination of phase sensitive optical coherence tomography (OCT) and holographic signal processing. This method generates multiple OCT images which are similar to those taken from several observation directions. By using this method, Daisuke successfully visualized sub-OCT-resolution microstructures of ex vivo muscle samples.

The details are reported in Biomedical Optics Express, a journal of Optical Society of America.

>> Full-length article (open access)

私達の研究室の笈田大介君が「computational multi-directional imaging」という新しいイメージング手法に関する論文を出版しました。

この技術は、位相感受型OCT装置とホログラフィック信号処理を組み合わせたものであり、一回の計測で取得したトモグラフィーから「あたかも様々な方向から観察したような」複数のトモグラフィーを作り出します。今回の研究ではさらに、この多方向からの観察画像を解析することで、OCTの分解能以下の組織の形状を可視化することに成功しました。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に出版されました。

>> Full-length article (open access)

Citation:

Daisuke Oida, Kiriko Tomita, Kensuke Oikawa, Tai-Ang Wang, Shuichi Makita, Meng-Tsan Tsai, and Yoshiaki Yasuno, "Computational multi-directional optical coherence tomography for visualizing the microstructural directionality of the tissue," Biomed. Opt. Express 12, 3851-3864 (2021), https://doi.org/10.1364/BOE.426125.

Publication: High-precision motion artifact free OCT for eye

We have published a paper on our new method for correcting eye movements. In this study, we developed a new method to estimate eye movements by image registration using multiple image types.

Using this method, we obtained OCT images of the human retina that were corrected for eye movements. Compared to the conventional method using a single image type, the new method can more accurately correct for the effects of eye movements.

The details are reported in Biomedical Optics Express, a journal of Optical Society of America.

>> Full length article (open access).

私達が開発した眼球運動の補正方法に関する論文を発表しました。この研究では新たに複数の画像種類を用いた画像レジストレーションにより、眼球運動を推定する手法開発しました。

この手法により、眼球運動を補正した ヒト網膜の OCT 画像の取得しました。従来の単一画像種を用いた手法と比較して、より正確に眼球運動の影響を補正することが可能になりました。

詳細は米光学会の学術雑誌 Biomedical Optics Express に発表されています。

>> Full length article (open access).

Citation:

Shuichi Makita, Masahiro Miura, Shinnosuke Azuma, Toshihiro Mino, Tatsuo Yamaguchi, and Yoshiaki Yasuno, "Accurately motion-corrected Lissajous OCT with multi-type image registration," Biomed. Opt. Express 12, 637-653 (2021)