Depth-based Multi-View 3D Video Coding

Abstract

Interessen for tre-dimensionale video (3DV) teknologier er vokset betydeligt i både den akademiske og industrielle verden i de seneste år. En simpel og fleksibel 3DV repræsentation er den såkaldte multi-view video-plus-depth (MVD), hvor dybden (depth) er angivet sammen med multi-view video. Depth maps bruges typisk til at syntetisere det ønskede output view og kvaliteten af view syntese algoritmer afhænger i høj grad af præcisionen af dybde informationen.I denne afhandling foreslås nye algoritmer til effektiv depth map kompression i MVD scenarier, med særlig fokus på kant-bevarende løsninger. I en ny metode bliver texture-depth korrelation udnyttet til at forudsige overfladeformer i depth signalet. På denne måde kan depth kodning ydelsen forbedres både med hensyn til kompression og kant-bevarelse. En anden løsning indfører en ny intra kodningstilstand målrettet mod depth blokke med arbitrært-formede kanter. Kant informationen er kodet ved brug af tidligere kodede kantblokke. Den foreslåede mode integreret i H.264/AVC giver betydelig bitbesparelse sammenlignet med en række state-of-the-art dybde codecs. Syntesen er også forbedret, både med hensyn til objektive og visuelle vurderinger. Depth kodning baseret på standard H.264/AVC er undersøgt for multi-view plus depth billedkodning. En enkelt depth map bruges til at disparity-kompensere flere views og give mere effektiv kodning end H.264 MVC ved lave bithastigheder. Tabsfri kodning af depth maps behandles også: en effektiv ordning for stereoskopiske disparity maps baseret på bit-plane dekomposition og kontekst-baseret aritmetisk kodning foreslås. Inter-view redundans udnyttes ved hjælp af disparity warping. Større gevinster i kompressionseffektivitet opnås, når man sammenligner med en række standard løsninger til tabsfri kodning.Nye metoder til distribueret video-plus-depth kodning er også præsenteret i denne afhandling. Bevægelses-korrelation mellem de to signaler udnyttes på dekodersiden til at forbedre genereringen af side information. Desuden bruges optisk-flow teknikker til at udregne motion information med høj tæthed og generere forbedret kandidat side information. Flere kandidater er lagt sammen ved at benytte multi-hypotese strategier. Lovende rate-forvrængning forbedringer sammenlignet med state-of-theart Wyner-Ziv dekodere er opnået, både når tekstur udnyttes til at indkode depth, og omvendt.The interest in Three-Dimensional Video (3DV) technologies has grown considerably in both the academic and industrial worlds in the recent years. A simple and flexible 3DV representation is the so-called Multiview Video-plus-Depth (MVD), in which depth maps are provided together with multi-view video. Depth maps are typically used to synthesize the desired output views, and the performance of view synthesis algorithms strongly depends on the accuracy of depth information. In this thesis, novel algorithms for efficient depth map compression in MVD scenarios are proposed, with particular focus on edge-preserving solutions. In a proposed scheme, texture-depth correlation is exploited to predict surface shapes in the depth signal. In this way depth coding performance can be improved in terms of both compression gain and edge-preservation. Another solution proposes a new intra coding mode targeted to depth blocks featuring arbitrarily-shaped edges. Edge information is encoded exploiting previously coded edge blocks. Integrated in H.264/AVC, the proposed mode allows significant bit rate savings compared with a number of state-of-the-art depth codecs. View synthesis performances are also improved, both in terms of objective and visual evaluations. Depth coding based on standard H.264/AVC is explored for multi-view plus depth image coding. A single depth map is used to disparity-compensate multiple views and allow more efficient coding than H.264 MVC at low bit rates. Lossless coding of depth maps is also addressed: an efficient scheme for stereoscopic disparity maps based on bit-plane decomposition and context-based arithmetic coding is proposed. Inter-view redundancy is exploited by means of disparity warping. Major gains in compression efficiency are noticed when comparing with a number of standard solutions for lossless coding.New approaches for distributed video-plus-depth coding are also presented in this thesis. Motion correlation between the two signals is exploited at the decoder side to improve the performance of the side information generation algorithm. In addition, optical flow techniques are used to extract dense motion information and generate improved candidate side information. Multiple candidates are merged employing multi-hypothesis strategies. Promising rate-distortion performance improvements compared with state-of-the-art Wyner-Ziv decoders are reported, both when texture is exploited to encode depth maps, and vice versa