Evaluating LLM Generated Detection Rules in Cybersecurity
Di cosa parla
Uno strumento aperto per testare quanto bene i modelli linguistici (software che generano testo) riescono a scrivere regole di rilevamento per la sicurezza informatica. Confronta regole prodotte dall’intelligenza artificiale con quelle scritte da persone e propone tre misure di valutazione ispirate alla pratica degli esperti, per affrontare la difficoltà di capire e fidarsi delle regole generate dall’AI.
Cosa permette di osservare
Permette di esplorare se i modelli di testo possono sostituire o integrare gli analisti nella creazione di regole di sicurezza, quali errori tendono a fare e quanta supervisione umana serve per fidarsi dei risultati.
Dalla fonte
LLMs are increasingly pervasive in the security environment, with limited measures of their effectiveness, which limits trust and usefulness to security practitioners. Here, we present an open-source evaluation framework and benchmark metrics for evaluating LLM-generated cybersecurity rules. The benchmark employs a holdout set-based methodology to measure the effectiveness of LLM-generated security rules in comparison to a human-generated corpus of rules. It provides three key metrics inspired by the way experts evaluate security rules, offering a realistic, multifaceted evaluation of the effectiveness of an LLM-based security rule generator. This methodology is illustrated using rules from Sublime Security's detection team and those written by Sublime Security's Automated Detection Engineer (ADE), with a thorough analysis of ADE's skills presented in the results section.