Publication: Neural network accelerates label-free cellular-metabolism imaging

Our colleague, Yusong Liu, recently demonstrated a method for high-speed, volumetric, and label-free imaging of tissue activity. This method utilizes dynamic optical coherence tomography (D-OCT) and extends it with a deep-learning image generation network.

D-OCT is a cutting-edge tool capable of revealing tissue and cellular metabolism without invasive procedures. It captures a time series of OCT images, typically ranging from a few tens to over a hundred images at a single location, and analyzes the fluctuations in OCT signals to visualize tissue and cellular metabolism. However, D-OCT suffers from a lengthy measurement time, averaging around 1 minute per volume, which limits its application for large-scale screening of in vitro tissue cultures.

Yusong introduced a neural network for image generation. This network is trained to produce high-quality D-OCT images from just four OCT images, resulting in a significant reduction in image acquisition time, to approximately 6 seconds per volume. This method underwent careful validation, including its application to cancer spheroid samples, and demonstrated performance equivalent to the traditional, slower D-OCT.

The details of this research are published in Biomedical Optics Express.

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

私たちの研究室の Yusong Liu さんが組織活動性を高速、3次元、ラベルフリーにイメージングする手法の開発に成功しました。この方法は、ダイナミック光コヒーレンストモグラフィー（D-OCT）技術を deep learning 画像生成ネットワークで拡張したものです。

D-OCTは、侵襲的な処置なしに組織や細胞の代謝を可視化できるイメージング技術です。D-OCTは、通常、サンプル上の一ヶ所につき数十枚から百枚を超える時系列のOCT画像を撮影し、そのOCT信号の時間変動を解析することで組織や細胞の代謝を可視化します。しかし、D-OCTは1ボリュームあたり平均1分程度という長い計測時間を必要とします。そのため、in vitro組織培養の大規模スクリーニングへの応用には限界がありました。

Yusong さんは、D-OCTにあらたに画像生成のニューラルネットワーク技術を導入しました。このネットワークは、わずか4枚のOCT画像から高品質のD-OCT画像を生成することが可能であり、その結果、1ボリュームあたり約6秒と、画像取得時間の大幅な短縮が実現されました。腫瘍スフェロイドサンプルへの適用を含む詳細な検証を行い、この手法が従来の低速のD-OCTと同等の性能を持つことが実証されました。

この研究の詳細は米光学会の学術誌 Biomedical Optics Express に掲載されています。

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

（この記事の日本語版は www.DeepL.com で翻訳したものを一部修正したものです。）

Publication: Knowing noise is the way to know sample

Our colleague, Thitiya “Praew” Seesan, recently demonstrated a new deep learning-based tissue scatterer density estimator, which enables significantly improved estimation accuracy. 

The sub-resolution scatterer density is believed to be sensitive to tissue abnormality, and hence is expected to be a strong biomarker for the early detection of several diseases. However, there had been no way to measure the scatterer density. In 2022, Praew introduced a convolutional neural network for this problem. The neural network analyzes the local spatial pattern (i.e., speckle) of optical coherence tomography and estimates the scatterer density. 

There was a chicken-and-egg problem. The neural network should be trained by a set of speckle patterns and its ground-truth scatterer density. However, there was no way to know the scatterer density. Praew solved this problem by developing a numerical speckle simulator that can generate millions of speckle patterns with an arbitrary (i.e., known) set of ground truth scatterer densities. Although this method was successful, there was a residual problem: the estimator exhibits systemic estimation error if the scatterer density is low (and hence signal-to-noise ratio is low).

This time, Praew solved this issue by introducing a newly designed theoretical noise model into the speckle simulation. This noise model is, to the best of our knowledge, the first model of OCT that accurately represents the spatial properties of all types of noises exhibiting in OCT. The introduction of this noise model vastly improved the estimation accuracy. Hence, we believe the scatterer density estimator here is going to be a useful tool for the early detection of tissue abnormality.

The details of this research is reported in Biomedical Optics Express.

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

私たちの研究室の Thitiya Seesan (Praew) さんが大幅な推定精度向上を可能にする新しいdeep-learning を用いたディープラーニングベースの生体組織の散乱体密度推定器の実現に成功しました。

イメージング分解能以下の散乱体密度は組織異常の影響を強く受けるため、様々な疾患の早期検出のためのバイオマーカーと考えられています。しかし、これまで散乱体密度を測定する方法はありませんでした。2022年、Praewさんはこの問題を解決するために畳込みニューラルネットワークを導入しました。この ニューラルネットワークは、光コヒーレンストモグラフィー(OCT)の局所空間パターン（すなわち、スペックル）を分析し、散乱体密度を推定します。

しかし、ここに「ニワトリとたまご」の問題がありました。ニューラルネットワークはスペックルパターンとその背後にある散乱体密度（真値）をセットにしてトレーニングする必要があります。しかし、この散乱体密度を知る方法はありません。Praew さんは、数値的な「スペックルシミュレータ」を開発することでこの問題を解決しました。このシミュレータは、任意に設定した散乱体密度をもとにスペックルを生成することができます。この生成したスペックルによりニューラルネットワークのトレーニングが可能です。この方法は成功しましたが、まだ残る問題がありました。散乱体密度が低い場合（したがって、信号対ノイズ比が低い場合）、推定に系統的な推定誤差が生じます。

今回、Praewさんは、この問題を解決するために、新たに開発した理論的なノイズモデルをスペックルシミュレーションに導入しました。このノイズモデルは、私たちの知る限り、OCTで発生するすべての種類のノイズの空間的特性を正確に表現する最初のモデルです。このノイズモデルの導入により、推定精度が大幅に向上しました。私たちはこの散乱体密度推定器が組織の異常の早期検出に貢献するものと期待しています。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に掲載されています。

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

（この記事の日本語版は ChatGPT 3.5で英語版から翻訳したものを一部修正したものです。）

Publication: Different drugs have different effects on cancer cells, as revealed by dynamic OC

Our colleague, Ibrahim Abd El-Sadek, successfully non-invasively visualized the response of breast cancer spheroids to anti-cancer drugs, which varies depending on the drug type.

A cancer spheroid is an in vitro aggregation of cancer cells and is an emerging and promising tool for drug testing. Although spheroid cultivation technology is rapidly advancing, there is currently no suitable label-free imaging technique for it. Ibrahim has developed a new three-dimensional microscopic tomography called dynamic OCT, which enables label-free visualization of cellular activity.

Ibrahim conducted a systematic study to investigate the effects of three types of anti-cancer drugs — paclitaxel, doxorubicin, and tamoxifen — on breast cancer spheroids using dynamic OCT. The study successfully visualized highly variable spatial patterns of cellular activity and revealed strong dependency on the types of drugs used.

The details of this research are published in Scientific Reports.

Citation: I.A. El-Sadek, R. Morishita, T. Mori, S. Makita, P. Mukherjee, S. Matsusaka, and Y. Yasuno, "Label-free visualization and quantification of the drug-type-dependent response of tumor spheroids by dynamic optical coherence tomography," Sci. Rep. 14, 3366 (2024). https://doi.org/10.1038/s41598-024-53171-4

>> Full article (open access)

私たちの研究室の Ibrahim Abd El-Sadek さんが、抗がん剤の種類によって変化する乳がんスフェロイドの薬剤を非侵襲に可視化することに成功しました。

がんスフェロイドは、がん細胞を凝集させた培養試料であり、薬物試験におけるツールとして期待されています。近年、スフェロイド培養技術は急速に進歩していますが、いまだに十分に利用できる非侵襲イメージング技術がありません。Ibrahim さんは、細胞活動を外部からのラベル物質の導入なく、非侵襲に視覚化できる新しい3次元顕微トモグラフィー技術「Dynamic OCT」を開発しました。

Ibrahim さんは、ダイナミックOCTを用いて、パクリタキセル、ドクソルビシン、タモキシフェンといった3種類の抗がん剤が乳がんスフェロイドに与える影響を調査する系統的な研究を行いました。この研究において細胞活動の変化の空間パターンを可視化することに成功し、また、そのパターンが使用される薬剤のタイプに強く依存することを明らかにしました。

この研究の詳細は、Scientific Reportsに掲載されています。

Citation: I.A. El-Sadek, R. Morishita, T. Mori, S. Makita, P. Mukherjee, S. Matsusaka, and Y. Yasuno, "Label-free visualization and quantification of the drug-type-dependent response of tumor spheroids by dynamic optical coherence tomography," Sci. Rep. 14, 3366 (2024). https://doi.org/10.1038/s41598-024-53171-4

>> Full article (open access)

（この記事の日本語版は ChatGPT 3.5で英語版から翻訳したものを一部修正したものです。） 

Publication: The accuracy of polarization measurement can be improved by multiple-scattering rejection

Our colleague, Lida Zhu, recently reported a new method to enable volumetric three-dimensional (3D) polarization property measurement with improved accuracy.

Polarization-sensitive optical coherence tomography (PS-OCT) is an optical tomographic modality enabling 3D imaging of polarization properties (i.e., birefringence and polarization uniformity) of biological tissue. Although PS-OCT has been successful, it was recently found that the accuracy of polarization imaging is significantly degraded in the deep regions of the tissue due to noise originating from multiple-scattering photons (MS-photons).

Lida introduced his own developed MS-photon rejection method, which is the active probe-beam-focus modulation followed by holographic signal processing, into PS-OCT. His careful study using scattering phantom and postmortem small samples proved the improved accuracy of PS-OCT by this method.

The details of this research are published in Biomedical Optics Express.

Citation: L. Zhu, S. Makita, J. Tamaoki, Y. Zhu, P. Mukherjee, Y. Lim, M. Kobayashi, and Y. Yasuno, “Polarization-artifact reduction and accuracy improvement of Jones-matrix polarization-sensitive optical coherence tomography by multi-focus-averaging based multiple scattering reduction," Biomed. Opt. Express 15, 256-276 (2024). https://doi.org/10.1364/BOE.509763

>> Full article (open access)

私たちの研究室の Lida Zhu さんが3次元生体偏光計測の精度を向上するための新しい方法を開発しました。

偏光感受型光コヒーレンストモグラフィー（PS-OCT）は、生体組織の偏光特性（複屈折と偏光均一性）の3次元イメージングを可能にする光断層技術です。これまで PS-OCT は様々な生体計測に適用されてきましたが、多重散乱光に由来するノイズのために、組織の深部では計測精度が著しく低下することがわかってきました。

Lida Zhu さんは、独自に開発した多重散乱光除去法をPS-OCTに導入しました。この方法は、OCTのプローブ光の焦点の変調とホログラフィック信号処理を組み合わせたものです。散乱ファントム（疑似試料）と固定小型魚サンプルを用いた研究により、この手法によるPS-OCTの精度向上が証明されました。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に掲載されました。

Citation: L. Zhu, S. Makita, J. Tamaoki, Y. Zhu, P. Mukherjee, Y. Lim, M. Kobayashi, and Y. Yasuno, “Polarization-artifact reduction and accuracy improvement of Jones-matrix polarization-sensitive optical coherence tomography by multi-focus-averaging based multiple scattering reduction," Biomed. Opt. Express 15, 256-276 (2024). https://doi.org/10.1364/BOE.509763

>> Full article (open access)

（この記事の日本語版は www.DeepL.com で翻訳したものを一部修正したものです。）