Cross-Corpus Evaluation of Generalizable Vulnerability Detection in IoT Firmware
Di cosa parla
È stato creato un nuovo insieme di firmware etichettati a mano prelevati da repository pubblici e usato per addestrare e confrontare strumenti che trovano vulnerabilità nei dispositivi IoT. L'obiettivo è capire se modelli e strategie di addestramento riescono a funzionare su firmware diversi, risolvendo il problema di dati di bassa qualità e poco rappresentativi che riducono l'affidabilità degli scanner automatici. Esperimenti con addestramento a tappe, combinazioni di modelli e controlli di robustezza mostrano miglioramenti e mantengono le prestazioni anche dopo semplici modifiche al codice.
Cosa permette di osservare
Consente di esplorare se dati specifici per il dominio e percorsi di apprendimento graduali rendono più affidabile il rilevamento di vulnerabilità su firmware diversi, e in che misura l'uso combinato di più modelli e i test di robustezza influenzano i risultati.
Dalla fonte
IoT firmware vulnerability detection remains challenging due to heterogeneous firmware ecosystems, resource-constrained platforms, and limitations in existing benchmarks. Many datasets are synthetic or general-purpose and lack human-verified, contamination-screened annotations, limiting evidence on cross-corpus generalization across training sources, model architectures, and curriculum strategies. To address this gap, this paper introduces IoTVulBench, a human-verified benchmark for cross-corpus firmware vulnerability detection. IoTVulBench-Core was constructed from GitHub repositories, validated by three expert reviewers, and evaluated on a contamination-screened held-out target across five model architectures, two tuning methods, and three curriculum strategies, with ensemble, distillation, and robustness analyses. Models trained on IoTVulBench achieved the highest MCC among matched s…