Uncertainty and Representation Learning in Image Recognition: Advancing Deep Learning for Microfossil Analysis

Abstract

Alongside the rapid development of deep learning, image recognition has achieved significant advances, with particularly promise within the supervised learning paradigm. While current models demonstrate strong predictive performance on benchmark datasets, deep neural networks often lack robustness, exhibiting unpredictable failures in operation. Challenges such as out-of-distribution data from unseen groups and domain-shift between training and test data highlight the need for accurate uncertainty estimates. Although many methods have been proposed, current approaches fail to address all sources of uncertainty comprehensively. Additionally, existing uncertainty measures are insufficient for practical evaluation, as they do not adequately assess the real-world usability.

Microfossil analysis is one of many applications that stands to benefit from deep learning advancements. Microfossils are abundant worldwide and serve as indicators of past environments and subsurface structures, making them invaluable for both academic research and the energy sector. Recent digitization efforts have also produced large volumes of unlabeled data, underscoring the importance of methodologies that can exploit this.

This thesis aims to address three core challenges in deep learning methodology: uncertainty, self-supervised learning, and interpretability.

First, this work presents advances in uncertainty estimation and microfossil analysis. From a methodological perspective, uncertainty is advanced in two directions: by comparing deep learning uncertainty to human participants, leading to the proposal of new uncertainty measures, and by introducing a novel method for estimating uncertainty in out-of-distribution scenarios.

Second, this thesis establishes a new state-of-the-art in microfossil analysis by using self-supervised learning. These advancements enable the development of an automated pipeline for microfossil analysis and the automatic generation of biostratigraphy reports. Finally, this work investigates interpretability methods, with a particular focus on analyzing a state-of-the-art model for sea ice prediction.

By addressing these challenges, this thesis contributes to advancing deep learning methodologies while demonstrating their potential for impactful applications in microfossil analysis.

Det har skjedd en betydelig utvikling innenfor dyplæring og automatisk bildegjenkjenning de siste årene. Dette gjelder spesielt innenfor veiledet læring, hvor moderne modeller har oppnådd svært gode resultater. En stor utfordring er at disse modellene har en tendens til å gjøre uforklarlige feil, og er dermed ikke robuste. Denne utfordringen er spesielt tydelig når det gjelder krevende test data, noe som fordrer metodikk som kan gi sannferdige usikkerhetsestimater. Nåværende metoder for usikkerhetsestimering adresserer ikke alle kildene til usikkerhet i tilstrekkelig grad. I tillegg, så er de typiske målene på usikkerhet ufullstendige, siden de ikke måler nytteverdien av estimatene for praktisk bruk.

Mikrofossilanalyse er ett av mange anvendelsesområder som kan dra nytte utviklingen innen dyplæring. Mikrofossiler finnes i mengder overalt og er viktige indikatorer for historiske klimatiske forhold og nåværende geologiske strukturer. Mikrofossilanalyse er dermed svært viktig både innenfor akademisk forskning, og i energisektoren. Som en følge av et nylig digitaliseringsarbeid, så finnes det nå store mengder av umerkede mikrofossilbilder, og metodikk for å utnytte umerket data står dermed helt sentralt.

Denne avhandlingen har som mål å adressere tre hovedutfordringer innenfor dyplæring: usikkerhet, selv-ledet læring, og tolkbarhet.

For det første, så presenter dette arbeidet nyvinninger i usikkerhetsestimering og mikrofossilanalyse. Fra et metodeperspektiv, så er usikkerhetsmetodikken utviklet i to retninger: ved å sammenligne dyplæringsmodeller og mennesker for å utvikle nye mål på usikkerhet, og ved å introdusere en ny metode for usikkerhetsestimering i scenarioer med krevende test data. For det andre, så etablerer denne avhandlingen, ved bruk av selv-ledet læring, det siste og beste innenfor automatisk mikrofossilanalyse. Til slutt, så utforsker denne avhandlingen også metoder for tolkbarhet, der fokuset er på bruk av dyplæring for prediksjon av hav-is.

Ved å adressere disse tre kjerneutfordringene, så bidrar dette arbeidet til å utvikle dyplæringsmetodikk som også muliggjør tilpasning av dyplæring for praktisk bruk.