Sammendrag
Computational pathology continues to advance through deep learning. However, interactive analysis of gigapixel whole slide images remains challenging due to high computational demands and long processing times. Variability in tissue morphology and staining quality further complicates automated cell detection and quantification in clinical workflows.
In this study, we present an integrated and efficient framework for simultaneous cell segmentation and classification, demonstrating its utility through the quantification of tumor-infiltrating lymphocytes (TILs) in non‐small cell lung cancer (NSCLC). Initially, we adapt a state‐of‐the‐art deep learning model as a baseline method for TIL quantification, achieving high segmentation and classification performance (Dice score: 0.84, F1‐score: 0.75). The results correlate with standard immunohistochemical CD8 staining and patient survival outcomes.
Building on this baseline, we develop an automated pipeline (“Fast TILs”) that integrates patch extraction, the selection of prognostically significant regions, and rapid, simultaneous cell segmentation and classification. This optimized pipeline reduces processing time by approximately 95%, performing analysis in approximately four minutes per slide while achieving superior prognostic accuracy compared to conventional CD8 IHC (concordance index: 0.649 vs. 0.599). Moreover, it generates visual overlays and quantitative metrics, eliminating human sampling bias and remaining adaptable to other biomarkers.
To further improve clinical usability, we refine our methodology into a lightweight model. Our multi-step development strategy involves dataset enhancement via cross‐relabeling, knowledge distillation from larger foundation models, and integration with open digital pathology platforms such as QuPath. This lightweight model demonstrates robust segmentation and classification performance (coefficient of determination: 0.749, panoptic quality score: 0.496), distinguishing between benign, malignant, and inflammatory cell populations interactively in resource‐limited clinical settings.
Overall, this work provides a practical, accurate, and computationally efficient approach for integrating deep learning–based cell quantification into clinical pathology workflows. Further validation in larger patient cohorts is necessary to confirm clinical robustness and generalizability.
Beregningsbasert patologi fortsetter å utvikle seg gjennom dyp læring. Imidlertid forblir interaktiv analyse av gigapiksel helslidebilder utfordrende på grunn av høye beregningskrav og lange behandlingstider. Variasjonen i vevsmorfologi og fargingskvalitet kompliserer ytterligere automatisert cellegjenkjenning og kvantifisering i kliniske arbeidsflyter.
I denne studien presenterer vi et integrert og effektivt rammeverk for samtidig cellesegmentering og klassifisering, og demonstrerer dets nytteverdi gjennom kvantifiseringen av tumorinfiltrerende lymfocytter i ikke-småcellet lungekreft. I utgangspunktet tilpasser vi en banebrytende dyp læringsmodell som en grunnlinjemetode for cellekvantifisering, og oppnår høy ytelse i både segmentering og klassifisering (Dice-score: 0.84, F1-score: 0.75). Resultatene korrelerer med standard immunhistokjemisk CD8-farging og pasientoverlevelsesutfall.
Med utgangspunkt i denne grunnlinjen utvikler vi en automatisert pipeline som integrerer utvinning av bildeutsnitt, valg av prognostisk signifikante regioner, og samtidig cellesegmentering og klassifisering. Denne optimaliserte pipelinen reduserer behandlingstiden med omtrent 95%, og utfører analysen på omtrent fire minutter per slide, samtidig som den oppnår bedre prognostisk nøyaktighet sammenlignet med den CD8-IHC-kliniske tilnærmingen (konkordansindeks: 0.649 vs. 0.599). Videre genererer den visuelle overlegg og kvantitative metrikker, eliminerer menneskelig utvalgsbias og forblir tilpasningsdyktig for andre biomarkører.
For å ytterligere forbedre den kliniske brukervennligheten, forfiner vi vår metodikk til en lettvektsmodell. Vår flerstegs utviklingsstrategi innebærer forbedring av datasettet via kryssmerking, kunnskapsdestillasjon fra større grunnmodeller, og integrasjon med åpne digitale patologi-plattformer som QuPath. Den utviklede lettvektsmodellen demonstrerer robust ytelse i segmentering og klassifisering (determinatsjonskoeffisient: 0.749, panoptisk kvalitets-score: 0.496), og skiller interaktivt mellom godartede, ondartede og inflammatoriske cellepopulasjoner i ressursbegrensede kliniske omgivelser.
Samlet sett gir dette arbeidet en praktisk og beregningsmessig effektiv tilnærming for å integrere dyp læringsbasert cellekvantifisering i kliniske patologi-arbeidsflyter. Ytterligere validering i større pasientkohorter er nødvendig for å bekrefte klinisk robusthet og generaliserbarhet.
Har del(er)
Paper I: Shvetsov, N., Grønnesby, M., Pedersen, E., Møllersen, K., Busund, L.-T.R., Schwienbacher, R., Bongo, L.A. & Kilvaer, T.K. (2022). A Pragmatic Machine Learning Approach to Quantify Tumor-Infiltrating Lymphocytes in Whole Slide Images. Cancers, 14, 2974. Also available in Munin at https://hdl.handle.net/10037/27371.
Paper II: Shvetsov, N., Sildnes, A., Tafavvoghi, M., Busund, L.-T.R., Dalen, S.M., Møllersen, K., Bongo, L.A. & Kilvær, T.K. (2025). Fast TILs—A pipeline for efficient TILs estimation in non-small cell lung cancer. Journal of Pathology Informatics, 17, 100437. Also available at https://doi.org/10.1016/j.jpi.2025.100437.
Paper III: Shvetsov, N., Kilvaer, T.K., Tafavvoghi, M., Sildnes, A., Møllersen, K., Busund, L.-T.R. & Bongo, L.A. A Lightweight and Extensible Cell Segmentation and Classification Model for Whole Slide Images. (Manuscript). Also available on arXiv at https://doi.org/10.48550/arXiv.2502.19217.