Reliable Inference in Edge-Cloud Model Cascades via Conformal Alignment
Di cosa parla
Si propone un metodo per far collaborare un modello leggero sul dispositivo e uno nel cloud: quando il dispositivo restituisce un insieme di possibili risposte, questo deve includere la risposta vera con la probabilità scelta dall'utente, come farebbe il cloud. Per farlo formalizzano la «copertura condizionata» e propongono un meccanismo di allineamento che decide cosa gestire localmente; nei test mantengono la copertura riducendo le richieste al cloud e aumentando solo leggermente la dimensione degli insiemi.
Cosa permette di osservare
Permette di esplorare quanto ci si può affidare alle risposte locali rispetto a quelle del cloud e come bilanciare quante decisioni restano sul dispositivo, la grandezza degli insiemi di risposta e il ricorso al cloud.
Dalla fonte
Edge intelligence enables low-latency inference via compact on-device models, but assuring reliability remains challenging. We study edge-cloud cascades that must preserve conditional coverage: whenever the edge returns a prediction set, it should contain the true label with a user-specified probability, as if produced by the cloud model. We formalize conditional coverage with respect to the cloud predictive distribution, and introduce a conformal alignment-based (CAb) cascading mechanism that certifies this property with user control over the risk level. Our method casts escalation from edge to cloud models as a multiple-hypothesis testing (MHT) problem, tailoring conformal alignment (CA) to select which inputs can be safely handled at the edge. The proposed CAb model cascading method yields statistical guarantees on the average fraction of edge decisions that satisfy cloud-level condi…