Publication: Neural network accelerates label-free cellular-metabolism imaging

Our colleague, Yusong Liu, recently demonstrated a method for high-speed, volumetric, and label-free imaging of tissue activity. This method utilizes dynamic optical coherence tomography (D-OCT) and extends it with a deep-learning image generation network.

D-OCT is a cutting-edge tool capable of revealing tissue and cellular metabolism without invasive procedures. It captures a time series of OCT images, typically ranging from a few tens to over a hundred images at a single location, and analyzes the fluctuations in OCT signals to visualize tissue and cellular metabolism. However, D-OCT suffers from a lengthy measurement time, averaging around 1 minute per volume, which limits its application for large-scale screening of in vitro tissue cultures.

Yusong introduced a neural network for image generation. This network is trained to produce high-quality D-OCT images from just four OCT images, resulting in a significant reduction in image acquisition time, to approximately 6 seconds per volume. This method underwent careful validation, including its application to cancer spheroid samples, and demonstrated performance equivalent to the traditional, slower D-OCT.

The details of this research are published in Biomedical Optics Express.

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

私たちの研究室の Yusong Liu さんが組織活動性を高速、3次元、ラベルフリーにイメージングする手法の開発に成功しました。この方法は、ダイナミック光コヒーレンストモグラフィー（D-OCT）技術を deep learning 画像生成ネットワークで拡張したものです。

D-OCTは、侵襲的な処置なしに組織や細胞の代謝を可視化できるイメージング技術です。D-OCTは、通常、サンプル上の一ヶ所につき数十枚から百枚を超える時系列のOCT画像を撮影し、そのOCT信号の時間変動を解析することで組織や細胞の代謝を可視化します。しかし、D-OCTは1ボリュームあたり平均1分程度という長い計測時間を必要とします。そのため、in vitro組織培養の大規模スクリーニングへの応用には限界がありました。

Yusong さんは、D-OCTにあらたに画像生成のニューラルネットワーク技術を導入しました。このネットワークは、わずか4枚のOCT画像から高品質のD-OCT画像を生成することが可能であり、その結果、1ボリュームあたり約6秒と、画像取得時間の大幅な短縮が実現されました。腫瘍スフェロイドサンプルへの適用を含む詳細な検証を行い、この手法が従来の低速のD-OCTと同等の性能を持つことが実証されました。

この研究の詳細は米光学会の学術誌 Biomedical Optics Express に掲載されています。

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

（この記事の日本語版は www.DeepL.com で翻訳したものを一部修正したものです。）

Publication: Knowing noise is the way to know sample

Our colleague, Thitiya “Praew” Seesan, recently demonstrated a new deep learning-based tissue scatterer density estimator, which enables significantly improved estimation accuracy. 

The sub-resolution scatterer density is believed to be sensitive to tissue abnormality, and hence is expected to be a strong biomarker for the early detection of several diseases. However, there had been no way to measure the scatterer density. In 2022, Praew introduced a convolutional neural network for this problem. The neural network analyzes the local spatial pattern (i.e., speckle) of optical coherence tomography and estimates the scatterer density. 

There was a chicken-and-egg problem. The neural network should be trained by a set of speckle patterns and its ground-truth scatterer density. However, there was no way to know the scatterer density. Praew solved this problem by developing a numerical speckle simulator that can generate millions of speckle patterns with an arbitrary (i.e., known) set of ground truth scatterer densities. Although this method was successful, there was a residual problem: the estimator exhibits systemic estimation error if the scatterer density is low (and hence signal-to-noise ratio is low).

This time, Praew solved this issue by introducing a newly designed theoretical noise model into the speckle simulation. This noise model is, to the best of our knowledge, the first model of OCT that accurately represents the spatial properties of all types of noises exhibiting in OCT. The introduction of this noise model vastly improved the estimation accuracy. Hence, we believe the scatterer density estimator here is going to be a useful tool for the early detection of tissue abnormality.

The details of this research is reported in Biomedical Optics Express.

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

私たちの研究室の Thitiya Seesan (Praew) さんが大幅な推定精度向上を可能にする新しいdeep-learning を用いたディープラーニングベースの生体組織の散乱体密度推定器の実現に成功しました。

イメージング分解能以下の散乱体密度は組織異常の影響を強く受けるため、様々な疾患の早期検出のためのバイオマーカーと考えられています。しかし、これまで散乱体密度を測定する方法はありませんでした。2022年、Praewさんはこの問題を解決するために畳込みニューラルネットワークを導入しました。この ニューラルネットワークは、光コヒーレンストモグラフィー(OCT)の局所空間パターン（すなわち、スペックル）を分析し、散乱体密度を推定します。

しかし、ここに「ニワトリとたまご」の問題がありました。ニューラルネットワークはスペックルパターンとその背後にある散乱体密度（真値）をセットにしてトレーニングする必要があります。しかし、この散乱体密度を知る方法はありません。Praew さんは、数値的な「スペックルシミュレータ」を開発することでこの問題を解決しました。このシミュレータは、任意に設定した散乱体密度をもとにスペックルを生成することができます。この生成したスペックルによりニューラルネットワークのトレーニングが可能です。この方法は成功しましたが、まだ残る問題がありました。散乱体密度が低い場合（したがって、信号対ノイズ比が低い場合）、推定に系統的な推定誤差が生じます。

今回、Praewさんは、この問題を解決するために、新たに開発した理論的なノイズモデルをスペックルシミュレーションに導入しました。このノイズモデルは、私たちの知る限り、OCTで発生するすべての種類のノイズの空間的特性を正確に表現する最初のモデルです。このノイズモデルの導入により、推定精度が大幅に向上しました。私たちはこの散乱体密度推定器が組織の異常の早期検出に貢献するものと期待しています。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に掲載されています。

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

（この記事の日本語版は ChatGPT 3.5で英語版から翻訳したものを一部修正したものです。）