La signification du codage vidéo
Grand espace de stockage pour les données vidéo originales, une vidéo 1080P 7 s nécessite 817 Mo
La transmission de données vidéo d'origine occupe une large bande passante et il faut 11 minutes pour transmettre la vidéo de 7 s ci-dessus avec une bande passante de 10 Mbps
Après le codage et la compression H.264, la taille de la vidéo n'est que de 708 k, et la bande passante de 10 Mbps n'a besoin que de 500 ms, ce qui peut répondre aux besoins de transmission en temps réel. Par conséquent, la vidéo originale collectée à partir du capteur d'acquisition vidéo doit être encodée en vidéo.
Fondamental
Alors, pourquoi une énorme vidéo originale peut-elle être encodée en une très petite vidéo? Quelle est la technologie là-dedans? Avant de parler de technologie, nous devons d'abord établir le concept de vidéo qui est des images continues.
L'idée de base est de supprimer les informations redondantes:
Redondance spatiale: il existe une forte corrélation entre les pixels adjacents d'une image
Redondance temporelle: contenu similaire entre les images adjacentes dans une séquence vidéo
Redondance de codage: différentes valeurs de pixel ont des probabilités différentes
Redondance visuelle: le système visuel humain n'est pas sensible à certains détails
Redondance des connaissances: la structure de régularité peut être obtenue à partir de connaissances antérieures et de connaissances de base
La vidéo est essentiellement une série d'images qui sont lues en continu et rapidement, le moyen le plus simple de compresser une vidéo est donc de compresser chaque image. Par exemple, l'ancien encodage MJPEG consiste à compresser chaque image de la vidéo. Cette méthode de codage Il n'y a que le codage intra-trame, qui utilise la prédiction d'échantillons spatiaux pour coder. La métaphore de l'image est de traiter chaque image comme une image et d'utiliser le format de codage JPEG pour compresser l'image. Ce type d'encodage ne considère que la compression d'informations redondantes dans une image.
Cependant, en raison de la corrélation temporelle entre les trames, certains codeurs avancés ont été développés qui peuvent utiliser le codage inter-trames. En termes simples, certaines zones de l'image sont sélectionnées via l'algorithme de recherche, puis l'image actuelle est calculée. Il s'agit d'une forme d'encodage avec la différence vectorielle entre les images de référence avant et arrière. À travers les deux images consécutives suivantes de la figure 2, nous pouvons voir que le skieur se déplace vers l'avant, mais en fait la scène de neige se déplace vers l'arrière, et l'image P est référencée Les images (I ou autres images P) peuvent être encodées, la taille après le codage est très faible et le taux de compression est très élevé.
Lien de référence sur le cadre http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Certains élèves pourraient être intéressés par la provenance de ces deux images. Voici deux lignes de commandes FFmpeg à réaliser. Pour plus de détails sur FFmpeg, veuillez consulter les chapitres suivants:
La première ligne génère une vidéo avec un vecteur en mouvement
La deuxième ligne sort chaque image sous forme d'image
Utilisez la commande
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
En plus de la redondance spatiale et de la compression de redondance temporelle, il existe principalement la compression d'encodage et la compression visuelle. Voici l'organigramme principal d'un encodeur:
La figure 3 et la figure 4 sont deux processus. La figure 3 est un codage intra-trame et la figure 4 est un codage inter-trame. La principale différence observée sur la figure est que la première étape est différente. En fait, ces deux processus sont également combinés. D'une manière générale, la trame I et la trame P utilisent respectivement le codage intra-trame et le codage inter-trame.
Sélection de l'encodeur
J'ai trié le principe et le processus de base du codeur. Le codeur a connu des décennies de développement. Il est passé de la prise en charge uniquement du codage intra-trame à la nouvelle génération de codeurs représentés par H.265 et VP9 aujourd'hui. Actuellement, certains encodeurs courants sont analysés et nous vous emmènerons explorer le monde des encodeurs.
H.264
Introduction
Le projet H.264 / AVC a l'intention de créer un standard vidéo. Par rapport à l'ancienne norme, il peut fournir une vidéo de haute qualité avec une bande passante inférieure (en d'autres termes, seulement la moitié de la bande passante de MPEG-2, H.263 ou MPEG-4 Partie 2 ou moins) sans ajouter trop de complexité de conception. impossible à réaliser ou le coût de mise en œuvre est trop élevé. Un autre objectif est de fournir une flexibilité suffisante pour être utilisé dans diverses applications, réseaux et systèmes, y compris la bande passante élevée et faible, les résolutions vidéo élevées et basses, la diffusion, le stockage de DVD, les réseaux RTP / IP et le système de téléphonie multimédia de l'UIT-T.
H.264 / AVC contient une série de nouvelles fonctionnalités, ce qui le rend non seulement plus efficace que les codecs précédents, mais peut également être utilisé dans des applications dans divers environnements réseau. Cette base technique fait de H.264 le principal codec utilisé par les sociétés de vidéo en ligne, y compris YouTube, mais son utilisation n'est pas une tâche très facile. En théorie, l'utilisation de H.264 nécessite beaucoup d'argent. Taxes de brevet.
Licence de brevet
Comme les première et deuxième parties de MPEG-2 et la deuxième partie de MPEG-4, les fabricants de produits et les fournisseurs de services qui utilisent H.264 / AVC doivent payer des frais de licence de brevet aux titulaires de brevets. La principale source de ces licences de brevets est une organisation privée appelée MPEG-LA LLC. Cette organisation n'a rien à voir avec l'organisation de normalisation MPEG, mais cette organisation gère également le système MPEG-2 Part One, Part Two Video et MPEG-4 Part One. Vidéo en deux parties et autres licences de brevets technologiques.
D'autres licences de brevets doivent s'appliquer à une autre organisation privée appelée VIA Licensing, qui gère également les licences de brevets pour les normes de compression audio telles que MPEG-2 AAC et MPEG-4 Audio.
Implémentation open source de H.264
openh264 est un programme d'encodage H.264 open source implémenté par Cisco. Bien que H.264 exige une taxe de brevet élevée, il y a une limite annuelle sur la taxe de brevet. Une fois que Cisco a payé les frais de brevet annuels pour OpenH264, OpenH264 est en fait gratuit. Utilisez-le librement.
x264 est un logiciel gratuit de codage vidéo sous licence GPL. La fonction principale de x264 est d'effectuer un encodage vidéo H.264 / MPEG-4 AVC, et non comme un décodeur.
À l'exclusion du problème de coût pour comparaison:
L'utilisation du processeur d'openh264 est bien inférieure à celle de x264
openh264 ne prend en charge que le profil de base, x264 prend en charge plus de profils
HEVC / H.265
Introduction
Le codage vidéo à haute efficacité (HEVC) est une norme de compression vidéo (également appelée H.265), qui est considérée comme le successeur de la norme ITU-T H.264 / MPEG-4 AVC. En 2004, le Groupe d'experts ISO / CEI sur les images animées (MPEG) et le Groupe d'experts du codage vidéo de l'UIT-T (VCEG) ont commencé à se développer en tant que ISO / CEI 23008-2 MPEG-H Partie 2 ou UIT-T H.265. La première version de la norme de compression vidéo HEVC / H.265 a été acceptée comme norme officielle de l'Union internationale des télécommunications (UIT-T) le 13 avril 2013. HEVC est considéré non seulement pour améliorer la qualité vidéo, mais aussi pour atteindre deux fois le taux de compression de H.264 / MPEG-4 AVC (équivalent à une réduction de 50% du débit binaire sous la même qualité d'image), et peut prendre en charge la résolution 4K et même la télévision ultra-haute définition (UHDTV), la résolution la plus élevée peut atteindre 8192 × 4320 (résolution 8K).
Licence de brevet
HEVC exige que tous les fabricants de contenu qui utilisent la technologie H.265, y compris Apple, YouTube, Netflix, Facebook et Amazon, paient 0.5% de leurs revenus de contenu à titre de frais d'utilisation de la technologie. L'ensemble du marché des médias en streaming atteint environ 100 milliards de dollars américains chaque année, et il continue de croître, le prélèvement de 0.5% est définitivement une taxe énorme. Et ils n'ont pas abandonné les fabricants d'équipements, parmi lesquels les fabricants de téléviseurs doivent payer 1.5 dollar US par unité et les fabricants d'appareils mobiles 0.8 dollar US par unité de droits de brevet. Ils n'ont même pas abandonné les fabricants tels que les lecteurs d'appareils Blu-ray, les consoles de jeux et les enregistreurs vidéo, qui doivent payer 1.1 $ chacun.
Implémentation open source de H.265 / HEVC
libde265 HEVC est fourni par la société struktur sous la licence open source GNU Lesser General Public License (LGPL), et les téléspectateurs peuvent profiter des images de la plus haute qualité à des vitesses Internet plus lentes. Par rapport aux décodeurs précédents basés sur la norme H.264, le décodeur libde265 HEVC peut amener votre contenu Full HD jusqu'à deux fois plus d'audience, ou réduire la bande passante requise pour le streaming de 50%.
x265 est développé par MulticoreWare et est open source sous l'accord GPL.
VP8
Introduction
VP8 est un format de compression vidéo ouvert qui a d'abord été développé par On2 Technologies, puis publié par Google. Dans le même temps, Google a également publié la bibliothèque d'implémentation codée VP8: libvpx, qui a été publiée sous la forme de termes de licence BSD, et a ensuite ajouté le droit d'utiliser le brevet. Après quelques disputes, l'autorisation de VP8 a finalement été confirmée en tant qu'autorisation open source.
Actuellement, les navigateurs Web prenant en charge VP8 sont Opera, Firefox et Chrome.
Licence de brevet
En mars 2013, Google a conclu un accord avec MPEG LA et 11 titulaires de brevets pour permettre à Google d'obtenir VP8 et son précédent VPx et d'autres encodages susceptibles d'être enfreints dans les brevets. Dans le même temps, Google peut également autoriser à nouveau gratuitement les brevets associés aux utilisateurs de VP8. , Cet accord convient également à la prochaine génération de codage VPx. Jusqu'à présent, MPEG LA a renoncé à la mise en place de l'alliance de licence centralisée de brevets VP8, et les utilisateurs de VP8 pourront décider d'utiliser ce code gratuitement sans se soucier d'éventuelles redevances de contrefaçon de brevet.
Implémentation open source de VP8
Libvpx est la seule implémentation open source de VP8. Il a été développé par On2 Technologies. Après que Google l'a acquis, il a ouvert son code source. La licence est très lâche et peut être utilisée librement.
VP9
Introduction
Le développement de VP9 a commencé au troisième trimestre 2011. L'objectif est de réduire la taille du fichier de 50% par rapport à l'encodage VP8 avec la même qualité d'image. Un autre objectif est de surpasser l'encodage HEVC en termes d'efficacité d'encodage.
Le 13 décembre 2012, le navigateur Chromium a ajouté la prise en charge de l'encodage VP9. Le navigateur Chrome a commencé à prendre en charge la lecture vidéo encodée VP9 le 21 février 2013.
Google a annoncé qu'il achèverait le développement du code VP9 le 17 juin 2013, lorsque le navigateur Chrome guidera le code VP9 par défaut. Le 18 mars 2014, Mozilla a ajouté la prise en charge de VP9 au navigateur Firefox.
Le 3 avril 2015, Google a publié libvpx1.4.0, qui a ajouté la prise en charge de la profondeur de bits de 10 bits et 12 bits, de l'échantillonnage de chrominance 4: 2: 2 et 4: 4: 4 et de l'encodage / décodage multicœur VP9.
Licence de brevet
VP9 est un format d'encodage vidéo libre de droits et de format ouvert.
Implémentation open source de VP9
libvpx est la seule implémentation open source de VP9, développée et maintenue par Google. Certains des codes sont partagés par VP8 et VP9, et le reste sont les implémentations de codec de VP8 et VP9 respectivement.
Comparaison de VP9 et H.264 et HEVC
Comparaison de HEVC et H.264 à différentes résolutions
Par rapport à H.264 / MPEG-4, la réduction moyenne du débit binaire de HEVC est:
On constate que le débit binaire a chuté de plus de 60%
HEVC (H.265) a un plus grand avantage en matière d'économie de débit binaire pour VP9 et H.264, économisant respectivement 48.3% et 75.8% sous le même PSNR
H.264 a un énorme avantage en termes de temps d'encodage. Comparé à VP9 et HEVC (H.265), HEVC est 6 fois supérieur à VP9 et VP9 est près de 40 fois supérieur à H.264.
