Network Flow Algorithms for Structured Sparsity

Abstract

accepted for publication in Adv. Neural Information Processing Systems, 2010.We consider a class of learning problems that involve a structured sparsity-inducing norm defined as the sum of $\ell_\infty$-norms over groups of variables. Whereas a lot of effort has been put in developing fast optimization methods when the groups are disjoint or embedded in a specific hierarchical structure, we address here the case of general overlapping groups. To this end, we show that the corresponding optimization problem is related to network flow optimization. More precisely, the proximal problem associated with the norm we consider is dual to a quadratic min-cost flow problem. We propose an efficient procedure which computes its solution exactly in polynomial time. Our algorithm scales up to millions of variables, and opens up a whole new range of applications for structured sparse models. We present several experiments on image and video data, demonstrating the applicability and scalability of our approach for various problems.Nous considérons une classe de problèmes d'apprentissage régularisés par une norme induisant de la parcimonie structurée, définie comme une somme de normes $\ell_\infty$ sur des groupes de variables. Alors que de nombreux efforts ont étés mis pour développer des algorithmes d'optimisation rapides lorsque les groupes sont disjoints ou structurés hiérarchiquement, nous nous intéressons au cas général de groupes avec recouvrement. Nous montrons que le problème d'optimisation correspondant est lié à l'optimisation de flots sur un réseau. Plus précisément, l'opérateur proximal associé à la norme que nous considérons est dual à la minimisation d'un coût quadratique de flot sur un graphe particulier. Nous proposons une procédure efficace qui calcule cette solution en un temps polynomial. Notre algorithme peut traiter de larges problèmes, comportant des millions de variables, et ouvre de nouveaux champs d'applications pour les modèles parcimonieux structurés. Nous présentons diverses expériences sur des données d'images et de vidéos, qui démontrent l'utilité et l'efficacité de notre approche pour résoudre de nombreux problèmes