Do Influence Tactics Matter? Investigating Prompt Framing Effects in LLM Code Generation
Di cosa parla
Si indaga se il modo di formulare una richiesta a modelli linguistici di grandi dimensioni — programmi che generano testo e codice — cambia il codice che otteniamo. Gli autori hanno trasformato strategie persuasive della psicologia in esempi di richiesta e le hanno confrontate valutando aspetti come correttezza e sicurezza del codice. Hanno osservato che certe formulazioni, in particolare quelle che enfatizzano l'urgenza, risultano associate a peggioramenti nella correttezza e nella sicurezza.
Cosa permette di osservare
Permette di esplorare come le scelte di comunicazione influenzino l'affidabilità e i possibili rischi del codice generato, e quale stile di richiesta conviene usare quando si collabora con un assistente automatico per programmare.
Dalla fonte
Large Language Models (LLMs) are increasingly integrated into software engineering workflows, helping developers write, debug, test, and maintain code. While prompt wording and structure are known to influence model performance, the impact of psychologically inspired prompt framings remains unexplored. This study investigates whether different psychology-based communication strategies that humans use to persuade or motivate others can lead to more effective prompt framing, which may, in turn, affect LLM behaviour in coding tasks. Drawing on Yukl & Falbe's well-known taxonomy, we operationalized eight influence tactics (like rational persuasion, ingratiation, and exchange) into reproducible prompt templates. These prompt templates were evaluated across five leading open-weight LLMs using two widely adopted benchmarks: LiveCodeBench and SWE-bench Verified. We assessed the resulting code o…