In context learning

L'In-context learning (apprendimento contestuale in italiano) è una capacità dei modelli linguistici avanzati, come i transformer, di apprendere rapidamente nuovi compiti basandosi esclusivamente sul contesto fornito nel prompt, senza necessità di ulteriori aggiornamenti dei parametri interni del modello (fine-tuning). Questa forma di apprendimento è emersa chiaramente con l’introduzione di modelli come GPT-3, dove pochi esempi forniti nel testo in ingresso consentono al modello di generalizzare e risolvere compiti specifici in modalità few-shot (pochi esempi) o addirittura zero-shot (nessun esempio)^[1].

Funzionamento

Nel contesto dell’In-context learning, il modello linguistico utilizza gli esempi contenuti nel prompt per inferire implicitamente le regole o i pattern necessari per svolgere il compito richiesto. Ad esempio, fornendo al modello alcune frasi tradotte in lingue diverse, esso può apprendere rapidamente a tradurre nuove frasi senza aver ricevuto un addestramento specifico su quella particolare coppia linguistica^[2].

Rilevanza

L’In-context learning è rilevante perché imita la capacità umana di apprendere rapidamente da pochi esempi, permettendo ai modelli di essere flessibili e adattabili^[3]. Ciò consente l’applicazione dei modelli linguistici a una varietà di compiti diversi senza la necessità di dataset estesi e specificamente etichettati, risparmiando risorse e tempo.

Sfide e limiti

Nonostante i benefici, l’In-context learning presenta sfide importanti. Una delle principali è la sensibilità al prompt: piccole modifiche nella formulazione degli esempi possono significativamente alterare le risposte generate dal modello^[4]. Inoltre, la capacità di generalizzazione non è sempre garantita, e i modelli possono fallire in compiti che richiedono ragionamenti complessi o conoscenze approfondite non esplicitamente presenti nel prompt fornito^[5]. Infine, i modelli sono spesso limitati dalla dimensione della finestra di contesto, che definisce quante informazioni possono essere elaborate contemporaneamente^[6].

Pertanto, l’In-context learning rappresenta un importante passo avanti verso modelli linguistici più versatili, ma la comprensione completa del suo funzionamento e delle sue limitazioni rimane una sfida aperta nella ricerca contemporanea.

Note

^ Brown et al. (2020), “Language Models are Few-Shot Learners” (NeurIPS 2020)
^ Min et al. (2022), “Rethinking the Role of Demonstrations: What Makes In-context Learning Work?” (EMNLP 2022)
^ Wei et al. (2022), “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (NeurIPS 2022)
^ Zhao et al. (2021), “Calibrate Before Use: Improving Few-Shot Performance of Language Models” (ICML 2021)
^ Lu et al. (2022), “Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity” (ACL 2022)
^ Liu et al. (2023), “Lost in the Middle: How Language Models Use Long Contexts” (ACL 2023)

Voci correlate

Portale Linguistica: accedi alle voci di Wikipedia che trattano di linguistica

[1] Brown et al. (2020), “Language Models are Few-Shot Learners” (NeurIPS 2020)

[2] Min et al. (2022), “Rethinking the Role of Demonstrations: What Makes In-context Learning Work?” (EMNLP 2022)

[3] Wei et al. (2022), “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (NeurIPS 2022)

[4] Zhao et al. (2021), “Calibrate Before Use: Improving Few-Shot Performance of Language Models” (ICML 2021)

[5] Lu et al. (2022), “Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity” (ACL 2022)

[6] Liu et al. (2023), “Lost in the Middle: How Language Models Use Long Contexts” (ACL 2023)

[1]

[2]

[3]

[4]

[5]

[6]