Principal Trait Analysis: Towards Deriving "Skills" in Human-AI Collaboration
Di cosa parla
Si cercano i "tratti" — modi ricorrenti di parlare e chiedere aiuto a un agente AI — che si associano al successo nei compiti. Un metodo automatico analizza conversazioni umano-AI e ricava tratti comuni, assegnando a ogni persona un punteggio. Test su due insiemi di coding (studenti con tutor AI e sviluppatori con un agente) mostrano che questi tratti spiegano comportamenti e aiutano a prevedere esiti, ma non è chiaro se siano realmente competenze stabili.
Cosa permette di osservare
Permette di esplorare se gli stili di interazione con AI possono essere riconosciuti automaticamente, insegnati o usati per formare professionisti, e come questi stili varino tra contesti ed evolvano nel tempo.
Dalla fonte
Large Language Model-powered agents are increasingly used in the workplace via human-artificial intelligence (AI) collaboration. In this new era of work, it is important to understand the kinds of prompting traits that contribute to task success. Moreover, we need to uncover key skills required for modern professionals and inform educators on how to foster these skills among students. Existing guidelines for human-AI collaboration are built from either top-down theory or context-specific observations of human-AI interactions. However, since LLM capabilities are rapidly improving, theory may not be able to explain emerging interaction patterns, and empirical guidelines may become obsolete quickly. In this work, we explore an automated, data-driven approach to uncover patterns, which we term traits, of effective human-AI interaction that are aligned with task outcomes. We propose Principa…