Multi-contrast OCT reveals retinal abnormality in genetic retinal disease (ARB)

(Japanese verison can be found after the English version.)

Our collaborator Masahiro Miura recently published a case series that utilizes multimodal imaging techniques to investigate retinal pigment epithelium (RPE) alterations in autosomal recessive bestrophinopathy (ARB), which is an inherited macular degeneration caused by BEST1 gene mutations. The study focuses on two Japanese siblings diagnosed with ARB, employing short-wavelength autofluorescence (SW-AF), near-infrared autofluorescence (NIR-AF), and our own-developed polarization-sensitive optical coherence tomography (PS-OCT).

The key findings of Miura’s study are two. At first, NIR-AF imaging consistently revealed widespread hypo-AF in macular lesions, which PS-OCT corroborated by showing a decrease in RPE melanin content in corresponding areas. This clinical finding suggests selective RPE melanin damage. Importantly, standard OCT did not indicate typical RPE damage.

Second, the presence of hyper-NIR-AF dots was noted, with PS-OCT confirming increased melanin accumulation and SW-AF detecting lipofuscin accumulation at these sites. These findings indicate that the hyper-AF dots likely represent stacked RPE cells or RPE dysmorphia, reflecting reactive RPE changes.

We believe that the combination of NIR-AF and PS-OCT provides valuable, detailed insights into both diffuse RPE melanin damage and RPE activity-related changes in ARB.

More details can be found in an article published in Medicine.

Citation: M. Miura, S. Makita, Y. Yasuno, S. Azuma, T. Mino, T. Hayashi, S. Kameya, and K. Tsunoda, “Multimodal imaging analysis of autosomal recessive bestrophinopathy: Case series,” Medicine 103, e38853 (2024), https://doi.org/10.1097/MD.0000000000038853

>> Full-length article (open access).

私たちの共同研究者である三浦雅博氏がマルチモーダル画像診断技術を利用した「常染色体劣性ベストロフィノパチー (ARB)」における網膜色素上皮 (RPE) の変化に関する臨床論文を発表しました。ARBはBEST1遺伝子変異によって引き起こされる遺伝性黄斑変性症です。本研究では、ARBと診断された日本人兄弟を対象に、短波長自家蛍光 (SW-AF)、近赤外自家蛍光 (NIR-AF)、および私たちが開発した偏光感受型光干渉断層計 (PS-OCT) を用いた画像評価を行っています。

この研究で見出された主な所見は以下の２つです。まず、 NIR-AF画像では、黄斑病変に広範な低自家蛍光  (hypo-AF) が見出され、PS-OCTではRPEメラニン含有量の減少を確認しました。重要なことに、通常の（旧来の）OCTではRPE損傷は示されませんでした。

また、 高NIR-AFドットの存在が確認され、PS-OCTではメラニン蓄積の増加が、SW-AFではリポフスチン蓄積がこれらの部位で検出されました。これらの所見は、高AFドットが積み重なったRPE細胞またはRPE異形成を表している可能性が高く、反応性のRPE変化を反映していることを示しています。

NIR-AFとPS-OCTの組み合わせは、ARBにおけるび
まん性RPEメラニン損傷とRPE活動関連変化の両方について、貴重で詳細な洞察を提供すると考えられます。

この研究の詳細はジャーナル「Medicine」で論文として公表されています。

Citation: M. Miura, S. Makita, Y. Yasuno, S. Azuma, T. Mino, T. Hayashi, S. Kameya, and K. Tsunoda, “Multimodal imaging analysis of autosomal recessive bestrophinopathy: Case series,” Medicine 103, e38853 (2024), https://doi.org/10.1097/MD.0000000000038853

>> Full-length article (open access).

Publication: AI accelerates label-free metabolic imaging

Our colleague Yusong Liu recently introduced a neural-network (NN)-based method for high-speed volumetric dynamic optical coherence tomography (DOCT) that visualizes tissue metabolism without any invasiveness. Conventional DOCT requires a large number of OCT frames (typically 32) at each location, resulting in lengthy volumetric acquisition times (e.g., 52.4 seconds per volume).

The new NN-based DOCT utilizes a modified U-Net architecture to produce high-quality LIV (a specific type of DOCT) images from only four OCT frames. This significantly reduces the volumetric acquisition time to just 6.55 seconds per volume.

The NN was trained using breast and colon cancer spheroid samples with a customized weighted mean absolute error (wMAE) loss function to improve accuracy with skewed data distributions. Evaluations showed that NN-based DOCT images closely resemble conventional LIV images. The model also proved applicable to other sample types, such as alveolar organoids, despite being trained solely on spheroids.

This method enables a faster and reliable alternative for volumetric DOCT imaging.

The more details are published in Biomedical Optics Express.

Citation: Yusong Liu, Ibrahim Abd El-Sadek, Rion Morishita, Shuichi Makita, Tomoko Mori, Atsuko Furukawa, Satoshi Matsusaka, and Yoshiaki Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024), https://doi.org/10.1364/BOE.519964

>> Full-length article (open access)

私たちの研究室ののYusong Liu さんがニューラルネットワーク（NN）ベースの高速ダイナミック光コヒーレンストモグラフィー（DOCT）法を発表しました。この手法は、組織代謝を非侵襲的かつ高速に可視化します。従来のDOCTでは、各部位で多数のOCTフレーム（通常32枚）を取得する必要がありました。そのため、３次元計測には１分近い長い計測時間が必要でした。

新しいNNベースのDOCTは、改良されたU-Netアーキテクチャを活用し、わずか4枚のOCTフレームから高品質のLIV（DOCTの一種）画像を生成します。これにより、体積画像取得時間が1体積あたりわずか6.55秒へと大幅に短縮されました。

このニューラルネットワークは、乳がんおよび大腸がんのスフェロイドサンプルから得られた学習データセットと、カスタマイズされた加重平均絶対誤差（wMAE）損失関数を用いて学習させています。このwMAEにより、偏った学習データ分布においても高い精度の学習を実現しました。評価の結果、NNで生成された画像は従来のLIV画像と非常に類似しており、様々な画像指標において優れた一致性と高い再現性を示すことがわかりました。また、このモデルはスフェロイドのみを用いて学習させたにもかかわらず、肺胞オルガノイドなどの他のサンプルタイプにも適用可能であることが示されました。

この手法により、今後、高速で信頼性の高いDOCT計測が実現されます。

詳細は、Biomedical Optics Express 誌に学術論文として掲載されています。

Citation: Yusong Liu, Ibrahim Abd El-Sadek, Rio
n Morishita, Shuichi Makita, Tomoko Mori, Atsuko Furukawa, Satoshi Matsusaka, and Yoshiaki Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024), https://doi.org/10.1364/BOE.519964

>> Full-length article (open access)

Publication: Clearing animal image by removing multiple scattering

(See below for Japanese translation.)

Our colleague Yiqiang Zhu  presented the B-scan-wise Multi-Focus Averaging (B-MFA) method, a novel technique to reduce multiple scattering (MS) noise in in vivo optical coherence tomography (OCT) images.

Traditional OCT image quality, especially in deep tissue, is degraded by multiple-scattering (MS) photons. Although some previous methods can remove MS photons from the image, they require the sample to remain stable for tens of seconds, and hence its in vivo application was challenging.

Yiqinag's B-MFA addresses this by sequentially acquiring multiple cross-sectional OCT frames (B-scans) with rapidly changing focus positions using an electrically tunable lens (ETL). These frames are then computationally corrected for defocus and coherently averaged. This process works because MS photon trajectories are inconsistent with varying focus, allowing their signal to be suppressed while preserving the desired single-scattering signal.

The critical advantage of B-MFA is its very short acquisition time per B-scan (e.g., 67.1 ms), drastically reducing the impact of sample motion for in vivo measurements. B-MFA was validated on in vivo rice fish (medaka fish) and demonstrated significant improvements of the image contrast and sharpness by reducing MS noise.

This technique will enable clear and high-contrast imaging in deep tissue by OCT.

The details of this technology is reported in a peer-reviewered journal, Biomedical Optics Express.

Citation: Y. Zhu, L. Zhu, Y.H. Lim, S. Makita, Y. Guo, and Y. Yasuno, "Multiple scattering suppression for in vivo optical coherence tomography measurement using the B-scan-wise multi-focus averaging method," Biomed. Opt. Express 15, 4044-4064 (2024), https://doi.org/10.1364/BOE.524894
>> Full article (open access)

私達の研究室の Yiqiang ZhuさんがOCT画像のなかの多重散乱（MS）ノイズを低減を低減する新しい技術である B-MFA法に関する論文を発表しました。

従来のOCT画像の品質は、特に深部組織においては多重散乱（MS）光子によって劣化します。従来の手法では画像からMS光子を除去できるものもありますが、サンプルを数十秒間安定に保つ必要があり、生体内での応用は困難でした。

B-MFA法では、電気的に調整可能なレンズを用いて焦点位置を急速に変化させながら、複数の断面OCTフレーム（Bスキャン）を連続的に取得することでこの問題に対処します。これらのフレームは、計測後にホログラフィック演算によって焦点ずれを補正され、コヒーレントに平均化されます。ノイズのもととなるMS光子は焦点の変化により軌道と位相を変化させますが、ノイズではない単一散乱信号は焦点の変化に伴って変化しません。そのため、B-MFA法によって、単一散乱の信号を維持しながら、MS光子の信号が抑制できます。

B-MFAの重要な利点は、Bスキャンあたりの取得時間が非常に短い（例えば67.1ミリ秒）ため、サンプルの動きの影響を大幅に軽減できることです。B-MFAを用いて活きたメダカの画像を撮影し、MSノイズを低減によって画像のコントラストと鮮明度が大幅に向上することを実証しました。

この技術により、OCT による深部組織の鮮明で高コントラストの画像化が可能になります。

この技術の詳細は、査読付きジャーナル「Biomedical Optics Express」に報告されています。

Citation: Y. Zhu, L. Zhu, Y.H. Lim, S. Makita, Y. Guo, and Y. Yasuno, "Multiple scattering suppression for in vivo optical coherence tomography measurement using the B-scan-wise multi-focus averaging method," Biomed. Opt. Express 15, 4044-4064 (2024), https://doi.org/10.1364/BOE.524894
>> Full article (open access)

ARVO 2024 presentations

Our colleagues and collaborators gave presentations at the annual meeting of the Association for Research in Vision and Ophthalmology (ARVO 2024).

Here, we share our presentation posters. I hope you enjoy them!

Deep learning-based scatterer density estimation reveals age-related reduction of scatterers in inner retinal layers

presented by Praew, Thitiya Seesan

>> Poster (PDF version)

Toward in vivo cellular retinal imaging by standard-speed optical coherence tomography without adaptive optics

presented by Shuichi Makita
>> Poster (PDF version)

Three-dimensional evaluation of retinal autofluorescence imaging with

presentd by Masahiro Miura (to be sahred soon).

synthesized multi-contrast polarization-sensitive OCT imaging

Evaluation of RPE damage in AMD using synthesized polarization-sensitive OCT imaging

presented by Kosei Yanagida (to bo shared soon).

Publication: Neural network accelerates label-free cellular-metabolism imaging

Our colleague, Yusong Liu, recently demonstrated a method for high-speed, volumetric, and label-free imaging of tissue activity. This method utilizes dynamic optical coherence tomography (D-OCT) and extends it with a deep-learning image generation network.

D-OCT is a cutting-edge tool capable of revealing tissue and cellular metabolism without invasive procedures. It captures a time series of OCT images, typically ranging from a few tens to over a hundred images at a single location, and analyzes the fluctuations in OCT signals to visualize tissue and cellular metabolism. However, D-OCT suffers from a lengthy measurement time, averaging around 1 minute per volume, which limits its application for large-scale screening of in vitro tissue cultures.

Yusong introduced a neural network for image generation. This network is trained to produce high-quality D-OCT images from just four OCT images, resulting in a significant reduction in image acquisition time, to approximately 6 seconds per volume. This method underwent careful validation, including its application to cancer spheroid samples, and demonstrated performance equivalent to the traditional, slower D-OCT.

The details of this research are published in Biomedical Optics Express.

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

私たちの研究室の Yusong Liu さんが組織活動性を高速、3次元、ラベルフリーにイメージングする手法の開発に成功しました。この方法は、ダイナミック光コヒーレンストモグラフィー（D-OCT）技術を deep learning 画像生成ネットワークで拡張したものです。

D-OCTは、侵襲的な処置なしに組織や細胞の代謝を可視化できるイメージング技術です。D-OCTは、通常、サンプル上の一ヶ所につき数十枚から百枚を超える時系列のOCT画像を撮影し、そのOCT信号の時間変動を解析することで組織や細胞の代謝を可視化します。しかし、D-OCTは1ボリュームあたり平均1分程度という長い計測時間を必要とします。そのため、in vitro組織培養の大規模スクリーニングへの応用には限界がありました。

Yusong さんは、D-OCTにあらたに画像生成のニューラルネットワーク技術を導入しました。このネットワークは、わずか4枚のOCT画像から高品質のD-OCT画像を生成することが可能であり、その結果、1ボリュームあたり約6秒と、画像取得時間の大幅な短縮が実現されました。腫瘍スフェロイドサンプルへの適用を含む詳細な検証を行い、この手法が従来の低速のD-OCTと同等の性能を持つことが実証されました。

この研究の詳細は米光学会の学術誌 Biomedical Optics Express に掲載されています。

Citation: Y. Liu, I.A. El-Sadek, R. Morishita, S. Makita, T. Mori, A. Furukawa, S. Matsusaka, and Y. Yasuno, "Neural-network based high-speed volumetric dynamic optical coherence tomography," Biomed. Opt. Express 15, 3216-3239 (2024). https://doi.org/10.1364/BOE.519964

>> Full article (open access)

（この記事の日本語版は www.DeepL.com で翻訳したものを一部修正したものです。）

Publication: Knowing noise is the way to know sample

Our colleague, Thitiya “Praew” Seesan, recently demonstrated a new deep learning-based tissue scatterer density estimator, which enables significantly improved estimation accuracy. 

The sub-resolution scatterer density is believed to be sensitive to tissue abnormality, and hence is expected to be a strong biomarker for the early detection of several diseases. However, there had been no way to measure the scatterer density. In 2022, Praew introduced a convolutional neural network for this problem. The neural network analyzes the local spatial pattern (i.e., speckle) of optical coherence tomography and estimates the scatterer density. 

There was a chicken-and-egg problem. The neural network should be trained by a set of speckle patterns and its ground-truth scatterer density. However, there was no way to know the scatterer density. Praew solved this problem by developing a numerical speckle simulator that can generate millions of speckle patterns with an arbitrary (i.e., known) set of ground truth scatterer densities. Although this method was successful, there was a residual problem: the estimator exhibits systemic estimation error if the scatterer density is low (and hence signal-to-noise ratio is low).

This time, Praew solved this issue by introducing a newly designed theoretical noise model into the speckle simulation. This noise model is, to the best of our knowledge, the first model of OCT that accurately represents the spatial properties of all types of noises exhibiting in OCT. The introduction of this noise model vastly improved the estimation accuracy. Hence, we believe the scatterer density estimator here is going to be a useful tool for the early detection of tissue abnormality.

The details of this research is reported in Biomedical Optics Express.

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

私たちの研究室の Thitiya Seesan (Praew) さんが大幅な推定精度向上を可能にする新しいdeep-learning を用いたディープラーニングベースの生体組織の散乱体密度推定器の実現に成功しました。

イメージング分解能以下の散乱体密度は組織異常の影響を強く受けるため、様々な疾患の早期検出のためのバイオマーカーと考えられています。しかし、これまで散乱体密度を測定する方法はありませんでした。2022年、Praewさんはこの問題を解決するために畳込みニューラルネットワークを導入しました。この ニューラルネットワークは、光コヒーレンストモグラフィー(OCT)の局所空間パターン（すなわち、スペックル）を分析し、散乱体密度を推定します。

しかし、ここに「ニワトリとたまご」の問題がありました。ニューラルネットワークはスペックルパターンとその背後にある散乱体密度（真値）をセットにしてトレーニングする必要があります。しかし、この散乱体密度を知る方法はありません。Praew さんは、数値的な「スペックルシミュレータ」を開発することでこの問題を解決しました。このシミュレータは、任意に設定した散乱体密度をもとにスペックルを生成することができます。この生成したスペックルによりニューラルネットワークのトレーニングが可能です。この方法は成功しましたが、まだ残る問題がありました。散乱体密度が低い場合（したがって、信号対ノイズ比が低い場合）、推定に系統的な推定誤差が生じます。

今回、Praewさんは、この問題を解決するために、新たに開発した理論的なノイズモデルをスペックルシミュレーションに導入しました。このノイズモデルは、私たちの知る限り、OCTで発生するすべての種類のノイズの空間的特性を正確に表現する最初のモデルです。このノイズモデルの導入により、推定精度が大幅に向上しました。私たちはこの散乱体密度推定器が組織の異常の早期検出に貢献するものと期待しています。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に掲載されています。

Citation: T. Seesan, P. Mukherjee, I.A. El-Sadek, Y. Lim, L. Zhu, S. Makita, and Y. Yasuno, “Optical-coherence-tomography-based deep-learning scatterer-density estimator using physically accurate noise model,” Biomed. Opt. Express 15, 2832-2848 (2024). https://doi.org/10.1364/BOE.519743

>> Full article (open access)

（この記事の日本語版は ChatGPT 3.5で英語版から翻訳したものを一部修正したものです。）

Publication: Different drugs have different effects on cancer cells, as revealed by dynamic OC

Our colleague, Ibrahim Abd El-Sadek, successfully non-invasively visualized the response of breast cancer spheroids to anti-cancer drugs, which varies depending on the drug type.

A cancer spheroid is an in vitro aggregation of cancer cells and is an emerging and promising tool for drug testing. Although spheroid cultivation technology is rapidly advancing, there is currently no suitable label-free imaging technique for it. Ibrahim has developed a new three-dimensional microscopic tomography called dynamic OCT, which enables label-free visualization of cellular activity.

Ibrahim conducted a systematic study to investigate the effects of three types of anti-cancer drugs — paclitaxel, doxorubicin, and tamoxifen — on breast cancer spheroids using dynamic OCT. The study successfully visualized highly variable spatial patterns of cellular activity and revealed strong dependency on the types of drugs used.

The details of this research are published in Scientific Reports.

Citation: I.A. El-Sadek, R. Morishita, T. Mori, S. Makita, P. Mukherjee, S. Matsusaka, and Y. Yasuno, "Label-free visualization and quantification of the drug-type-dependent response of tumor spheroids by dynamic optical coherence tomography," Sci. Rep. 14, 3366 (2024). https://doi.org/10.1038/s41598-024-53171-4

>> Full article (open access)

私たちの研究室の Ibrahim Abd El-Sadek さんが、抗がん剤の種類によって変化する乳がんスフェロイドの薬剤を非侵襲に可視化することに成功しました。

がんスフェロイドは、がん細胞を凝集させた培養試料であり、薬物試験におけるツールとして期待されています。近年、スフェロイド培養技術は急速に進歩していますが、いまだに十分に利用できる非侵襲イメージング技術がありません。Ibrahim さんは、細胞活動を外部からのラベル物質の導入なく、非侵襲に視覚化できる新しい3次元顕微トモグラフィー技術「Dynamic OCT」を開発しました。

Ibrahim さんは、ダイナミックOCTを用いて、パクリタキセル、ドクソルビシン、タモキシフェンといった3種類の抗がん剤が乳がんスフェロイドに与える影響を調査する系統的な研究を行いました。この研究において細胞活動の変化の空間パターンを可視化することに成功し、また、そのパターンが使用される薬剤のタイプに強く依存することを明らかにしました。

この研究の詳細は、Scientific Reportsに掲載されています。

Citation: I.A. El-Sadek, R. Morishita, T. Mori, S. Makita, P. Mukherjee, S. Matsusaka, and Y. Yasuno, "Label-free visualization and quantification of the drug-type-dependent response of tumor spheroids by dynamic optical coherence tomography," Sci. Rep. 14, 3366 (2024). https://doi.org/10.1038/s41598-024-53171-4

>> Full article (open access)

（この記事の日本語版は ChatGPT 3.5で英語版から翻訳したものを一部修正したものです。） 

Publication: The accuracy of polarization measurement can be improved by multiple-scattering rejection

Our colleague, Lida Zhu, recently reported a new method to enable volumetric three-dimensional (3D) polarization property measurement with improved accuracy.

Polarization-sensitive optical coherence tomography (PS-OCT) is an optical tomographic modality enabling 3D imaging of polarization properties (i.e., birefringence and polarization uniformity) of biological tissue. Although PS-OCT has been successful, it was recently found that the accuracy of polarization imaging is significantly degraded in the deep regions of the tissue due to noise originating from multiple-scattering photons (MS-photons).

Lida introduced his own developed MS-photon rejection method, which is the active probe-beam-focus modulation followed by holographic signal processing, into PS-OCT. His careful study using scattering phantom and postmortem small samples proved the improved accuracy of PS-OCT by this method.

The details of this research are published in Biomedical Optics Express.

Citation: L. Zhu, S. Makita, J. Tamaoki, Y. Zhu, P. Mukherjee, Y. Lim, M. Kobayashi, and Y. Yasuno, “Polarization-artifact reduction and accuracy improvement of Jones-matrix polarization-sensitive optical coherence tomography by multi-focus-averaging based multiple scattering reduction," Biomed. Opt. Express 15, 256-276 (2024). https://doi.org/10.1364/BOE.509763

>> Full article (open access)

私たちの研究室の Lida Zhu さんが3次元生体偏光計測の精度を向上するための新しい方法を開発しました。

偏光感受型光コヒーレンストモグラフィー（PS-OCT）は、生体組織の偏光特性（複屈折と偏光均一性）の3次元イメージングを可能にする光断層技術です。これまで PS-OCT は様々な生体計測に適用されてきましたが、多重散乱光に由来するノイズのために、組織の深部では計測精度が著しく低下することがわかってきました。

Lida Zhu さんは、独自に開発した多重散乱光除去法をPS-OCTに導入しました。この方法は、OCTのプローブ光の焦点の変調とホログラフィック信号処理を組み合わせたものです。散乱ファントム（疑似試料）と固定小型魚サンプルを用いた研究により、この手法によるPS-OCTの精度向上が証明されました。

この研究の詳細は米光学会の研究誌 Biomedical Optics Express に掲載されました。

Citation: L. Zhu, S. Makita, J. Tamaoki, Y. Zhu, P. Mukherjee, Y. Lim, M. Kobayashi, and Y. Yasuno, “Polarization-artifact reduction and accuracy improvement of Jones-matrix polarization-sensitive optical coherence tomography by multi-focus-averaging based multiple scattering reduction," Biomed. Opt. Express 15, 256-276 (2024). https://doi.org/10.1364/BOE.509763

>> Full article (open access)

（この記事の日本語版は www.DeepL.com で翻訳したものを一部修正したものです。）