FMUSER Wirless transmet la vidéo et l'audio plus facilement!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albanais
ar.fmuser.org -> arabe
hy.fmuser.org -> Armenian
az.fmuser.org -> azerbaïdjanais
eu.fmuser.org -> basque
be.fmuser.org -> biélorusse
bg.fmuser.org -> Bulgare
ca.fmuser.org -> catalan
zh-CN.fmuser.org -> chinois (simplifié)
zh-TW.fmuser.org -> Chinois (traditionnel)
hr.fmuser.org -> croate
cs.fmuser.org -> tchèque
da.fmuser.org -> danois
nl.fmuser.org -> Néerlandais
et.fmuser.org -> estonien
tl.fmuser.org -> Philippin
fi.fmuser.org -> finnois
fr.fmuser.org -> Français
gl.fmuser.org -> Galicien
ka.fmuser.org -> géorgien
de.fmuser.org -> allemand
el.fmuser.org -> Grec
ht.fmuser.org -> Créole haïtien
iw.fmuser.org -> hébreu
hi.fmuser.org -> Hindi
hu.fmuser.org -> Hongrois
is.fmuser.org -> islandais
id.fmuser.org -> indonésien
ga.fmuser.org -> irlandais
it.fmuser.org -> Italien
ja.fmuser.org -> japonais
ko.fmuser.org -> coréen
lv.fmuser.org -> letton
lt.fmuser.org -> Lituanien
mk.fmuser.org -> macédonien
ms.fmuser.org -> malais
mt.fmuser.org -> maltais
no.fmuser.org -> Norwegian
fa.fmuser.org -> persan
pl.fmuser.org -> polonais
pt.fmuser.org -> portugais
ro.fmuser.org -> Roumain
ru.fmuser.org -> russe
sr.fmuser.org -> serbe
sk.fmuser.org -> slovaque
sl.fmuser.org -> Slovène
es.fmuser.org -> espagnol
sw.fmuser.org -> Swahili
sv.fmuser.org -> suédois
th.fmuser.org -> Thai
tr.fmuser.org -> turc
uk.fmuser.org -> ukrainien
ur.fmuser.org -> ourdou
vi.fmuser.org -> Vietnamienne
cy.fmuser.org -> Gallois
yi.fmuser.org -> Yiddish
Le défi de la technologie de diffusion mobile en direct est loin des équipements traditionnels ou de la diffusion en direct par ordinateur. Ses liens de traitement complets incluent, mais sans s'y limiter: l'acquisition audio et vidéo, le traitement beauté / filtre / effets spéciaux, le codage, les paquets, le streaming, le transcodage, la distribution, le décodage / le rendu / la lecture, etc.
Les problèmes courants de la diffusion en direct comprennent :
Comment le flux hôte peut-il être stable dans un environnement réseau instable?
Comment le public des régions éloignées peut-il regarder la diffusion en direct en toute fluidité en haute définition?
Comment changer de ligne intelligemment à l'instant de la carte en direct?
Comment mesurer la précision de l'indice de qualité de diffusion en direct et l'ajuster en temps réel?
Comment différentes plates-formes de puces sur les appareils mobiles peuvent-elles encoder et rendre des vidéos avec des performances élevées?
Comment gérer les effets spéciaux des filtres tels que la beauté?
Comment réaliser le second on de lecture?
Comment assurer la diffusion continue de la diffusion en direct en douceur sans cardage?
Ce partage dévoilera le mystère de la technologie de base de la diffusion mobile.
1. Connaissance de base de la vidéo, de la diffusion en direct, etc.
Qu'est-ce que la vidéo?
Tout d'abord, nous devons comprendre l'un des concepts les plus élémentaires: la vidéo. Du point de vue perceptif, la vidéo est un film plein de plaisir, peut être un film, peut être un court-métrage, est une image et un son riches en performances d'impact visuel cohérent. Mais d'un point de vue rationnel, la vidéo est une donnée structurée. Il peut être interprété en langage d'ingénierie. Nous pouvons analyser la vidéo dans la structure suivante:
1)Expérience de second sur l'optimisation de la technologie de diffusion en direct mobile (y compris ppt)
2) élément de contenu
3) Image
4)Audio
5) Méta-informations
6) Codec
Vidéo: H.264 , H.265,…
Audio: AAC , HE-AAC,…
7) Conteneur
MP4 , MOV , FLV , RM , RMVB , AVI ,…
Tout fichier vidéo vidéo, structurellement, est un tel moyen de composition:
1) Les éléments de contenu les plus élémentaires sont composés d'images et d'audio ;
2) L'image est traitée par codage vidéo et format de compression (généralement H.264);
3) L'audio est traité par le format de compression de codage audio (tel que AAC);
4)Indiquez les méta-informations correspondantes (métadonnées) ;
Enfin, le package conteneur (tel que MP4) est complété pour former un fichier vidéo complet.
Si vous pensez que c'est difficile à comprendre, imaginez une bouteille de ketchup. La bouteille de couche externe est comme le récipient, les matières premières et les informations sur l'usine de traitement indiquées sur la bouteille sont comme des métadonnées. Une fois le bouchon de la bouteille ouvert (déballé), le ketchup lui-même est comme le contenu encodé après le traitement de compression. Le processus de transformation de la tomate et de l'assaisonnement en ketchup est comme le codage, tandis que la matière première, la tomate et l'assaisonnement sont les plus similaires à l'élément de contenu original.
2. Transmission en temps réel de la vidéo
En bref, une structure vidéo cognitive rationnelle nous aide à comprendre la diffusion vidéo. Si la vidéo est une sorte de données structurées, alors la diffusion vidéo est sans aucun doute le moyen de transmettre ces «données structurées» (vidéo) en temps réel.
La question évidente est donc: comment transmettre en temps réel ces données structurées?
Voici un paradoxe: un conteneur vidéo packagé doit être un fichier vidéo immuable, un fichier vidéo immuable est déjà un résultat de production, selon la "relativité", et ce résultat de production ne peut pas être précis au niveau du temps réel, cela a été une mémoire du temps et de l'espace.
Par conséquent, la diffusion vidéo doit être un processus de "production, transmission et consommation". Cela signifie que nous devons examiner de plus près le processus intermédiaire (codage) de la vidéo avant les éléments de contenu d'origine (images et audio) jusqu'au produit fini (fichiers vidéo).
3. Compression de codage vidéo
Jetons un coup d'œil à la technologie de codage et de compression vidéo.
Afin de faciliter le stockage et la transmission du contenu vidéo, il est généralement nécessaire de réduire le volume du contenu vidéo, c'est-à-dire que les éléments de contenu d'origine (image et audio) doivent être compressés, et l'algorithme de compression est également appelé le format de codage. Par exemple, les données d'image d'origine de la vidéo seront compressées au format d'encodage H.264 et les données d'échantillonnage audio seront compressées au format d'encodage AAC.
Après encodage et compression, le contenu vidéo est vraiment propice au stockage et à la transmission; cependant, lors du visionnage et de la lecture, un processus de décodage est également nécessaire en conséquence. Par conséquent, il est évident qu'une sorte de convention peut être comprise à la fois par le codeur et le décodeur est nécessaire entre le codage et le décodage. En termes de codage et de décodage d'images vidéo, cette Convention est simple:
L'encodeur code plusieurs images et produit un GOP (groupe d'images) dans un segment. Lors de la lecture, le décodeur lit une section de GOP pour le décodage, puis lit l'image et rend ensuite l'affichage.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
GOP (groupe d'images) est une série d'images continues, qui se compose d'une image I et de plusieurs images B / P. C'est l'unité de base de l'encodeur d'image vidéo et de l'accès au décodeur. Sa séquence d'arrangement sera répétée jusqu'à la fin de l'image.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
La trame I est une trame de codage interne (également appelée image clé), la trame P est une trame de prédiction avant (trame de référence avant) et la trame B est une trame d'interpolation bidirectionnelle (trame de référence bidirectionnelle). En bref, l'image I est une image complète, tandis que les enregistrements P et B changent par rapport à l'image I.
Sans les trames I, les trames P et B ne peuvent pas être décodées.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
En résumé, une vidéo dont les données de partie d'image sont un ensemble de GOP, tandis qu'un seul GOP est un ensemble d'images de trame I / P / B.
Dans une telle relation géométrique, la vidéo est comme un "objet", GOP est comme une "molécule" et l'image de la trame I / P / B est comme un "atome".
Imaginez ce que serait une expérience si nous changions la transmission d'un objet à un atome, et la plus petite particule à la vitesse de la lumière, et perçue à l'œil nu des êtres humains?
4. Qu'est-ce que la vidéo en direct ?
Il n'est pas difficile d'ouvrir le trou du cerveau, la diffusion en direct est une telle expérience. La technologie vidéo en direct est la plus petite particule (trame I / P / B), une technologie de transmission à la vitesse de la lumière basée sur des séries temporelles.
En bref, la diffusion en direct est le processus de diffusion de données (vidéo / audio / trame de données) et d'horodatage. L'émetteur collecte en continu des données audio et vidéo, puis se propage par codage, paquet, flux push, puis se propage à travers le réseau de distribution de relais. La fin de lecture télécharge les données en continu et décode et lit selon la séquence temporelle. De cette manière, le processus de diffusion en direct de "production, transmission et consommation" est réalisé.
Après avoir compris les deux concepts de base ci-dessus concernant la vidéo et la diffusion en direct, nous pouvons voir la logique métier de la diffusion en direct.
Logique métier de la diffusion en direct
Voici un modèle de service en direct simplifié un à plusieurs, ainsi que des protocoles entre différents niveaux.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Les différences entre les accords sont les suivantes
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Vous trouverez ci-dessus quelques concepts de base sur la technologie de diffusion en direct. Ensuite, nous comprenons davantage les indicateurs de performance en direct qui affectent l'expérience visuelle des gens.
Indice de performance de la diffusion en direct affectant l'expérience visuelle
Le premier indicateur de performance de la diffusion en direct est le retard, qui est le temps nécessaire pour que les données soient envoyées de la source d'informations à la destination.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Selon la relativité étroite d'Einstein, la vitesse de la lumière est la vitesse la plus élevée que toute énergie, matière et information peut atteindre. Cette conclusion fixe une limite à la vitesse de transmission. Donc même si on se sent en temps réel à l'œil nu, il y a en fait un certain délai.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Comme rtmp / hls est basé sur le protocole de couche application sur TCP, TCP handshakes trois fois, quatre vagues et chaque aller-retour dans le processus de démarrage lent sera ajouté avec un temps d'aller-retour (RTT), ce qui augmentera le délai.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Deuxièmement, selon les caractéristiques de la retransmission par perte de paquets TCP, la gigue du réseau peut provoquer une retransmission de perte de paquets, et également conduire indirectement à une augmentation du délai.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Un processus complet de diffusion en direct comprend, mais sans s'y limiter, les liens suivants: collecte, traitement, codage, paquet, streaming, transmission, transcodage, distribution, streaming, décodage et lecture. De la diffusion en continu à la lecture, puis via le lien de transfert intermédiaire, plus le délai est faible, meilleure est l'expérience utilisateur.
Le deuxième indicateur de performance de la diffusion en direct est le décalage du cadre d'affichage dans le processus de lecture vidéo, ce qui fait que les gens se sentent «carte». Les statistiques du nombre de hits joués en unité de temps sont appelées taux de karting.
Les facteurs à l'origine du Caton peuvent être l'interruption des données de la fin de la diffusion en continu, la congestion de la transmission sur le réseau public ou une gigue anormale du réseau, ou les mauvaises performances de décodage des terminaux. Plus la fréquence Caton est faible ou inexistante, meilleure est l'expérience utilisateur.
Le premier écran du troisième indicateur de performance en direct prend du temps, ce qui fait référence au temps pendant lequel l'écran attend que l'œil nu voie après le premier clic et lecture. Techniquement, cela fait référence au temps que prend le joueur pour décoder la première image de l'affichage de rendu. De manière générale, «seconde sur» fait référence à l'écran qui peut être vu dans la seconde après avoir cliqué sur la lecture. Plus le premier écran s'ouvre rapidement, meilleure est l'expérience utilisateur.
Les trois indicateurs de performance de diffusion en direct ci-dessus correspondent à une faible latence, une haute définition fluide et rapide en ce qui concerne les exigences en matière d'expérience utilisateur. Comprendre ces trois indicateurs de performance est très important pour optimiser l'expérience utilisateur de l'application mobile en direct.
Alors, quels sont les puits communs dans la diffusion en direct sur mobile?
D'après l'expérience résumée en pratique, le gouffre de la diffusion vidéo en direct sur plateforme mobile peut se résumer en deux aspects: différence d'équipement et test technique apporté par ces scènes en environnement réseau.
La fosse et les mesures d'évitement de la scène de diffusion mobile en direct
Différences de codage sur différentes plates-formes de puces
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Peu importe le codage dur ou logiciel sur la plate-forme IOS, car il s'agit d'une usine Apple, il n'y a presque pas de différence de codage en raison des différentes plates-formes de puces.
Cependant, sur la plate-forme Android, l'encodeur mediacodec fourni par le framework Android SDK présente de grandes différences sur les différentes plates-formes de puces. Différents fabricants utilisent des puces différentes, tandis que les performances d'Android mediacodec sont légèrement différentes sur différentes plates-formes de puces, et le coût de réalisation de la compatibilité de l'ensemble de la plate-forme n'est pas faible.
En outre, les paramètres de qualité de codage H.264 de la couche de codage dur Android mediacodec sont fixes, de sorte que la qualité de la peinture est généralement également générale. Par conséquent, sous la plate-forme Android, la recommandation est d'utiliser l'édition douce, l'avantage est que la qualité de la peinture peut être régulée et la compatibilité est meilleure.
Comment collecter et coder des équipements bas de gamme à hautes performances?
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Par exemple, la caméra peut être l'image. Le volume d'une image n'est pas petit. Si la fréquence d'acquisition est très élevée et la cadence de codage très élevée, chaque image passe à travers le codeur, le codeur peut à nouveau surcharger.
A ce stade, on peut considérer qu'avant le codage, sans affecter la qualité de l'image (nous avons parlé de la micro-importance de la fréquence d'images), on peut perdre sélectivement des images, de manière à réduire la consommation d'énergie du lien de codage.
Comment garantir un streaming fluide haute définition sous un réseau faible
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Dans un réseau mobile, il est facile de rencontrer une instabilité du réseau, une réinitialisation de connexion, une reconnexion de ligne interrompue, d'une part, une reconnexion fréquente, et l'établissement de la connexion nécessite une surcharge. D'autre part, un goulot d'étranglement de la bande passante peut se produire, en particulier lorsque le commutateur GPRS / 2G / 3G / 4G se produit. Lorsque la bande passante n'est pas suffisante, le contenu avec une fréquence d'images élevée / un débit binaire élevé est difficile à envoyer, donc une prise en charge de débit binaire variable est nécessaire.
C'est-à-dire qu'à l'extrémité de poussée, l'état du réseau et une simple mesure de vitesse peuvent être détectés, et le débit de code peut être commuté de manière dynamique pour assurer le bon déroulement de la poussée pendant la commutation du réseau.
Deuxièmement, la logique du codage, du paquet et du flux push peut également être affinée. Vous pouvez essayer de perdre des images de manière sélective, comme perdre d'abord l'image de référence vidéo (image I et image audio), ce qui peut également réduire le contenu des données à transmettre, mais en même temps, cela peut atteindre l'objectif de ne pas affecter le qualité de la peinture et version audio-visuelle fluide.
Le statut et le statut commercial de la diffusion en direct doivent être distingués
La diffusion en direct est l'interaction du flux multimédia et l'application est le flux de signalisation API, et l'état des deux ne peut pas être confondu. En particulier, l'état du flux en direct ne peut pas être évalué en fonction de l'état de l'API de l'interaction APP.
Expérience de seconde sur l'optimisation de la technologie de diffusion mobile en direct (y compris ppt)
Ce qui précède sont plusieurs fosses et mesures d'évitement courantes dans la scène mobile en direct.
Autres mesures d'optimisation pour la scène de diffusion mobile en direct
1 、 Comment optimiser la vitesse d'ouverture pour atteindre la légendaire «seconde sur»?
Vous pouvez voir que certaines applications de téléphonie mobile en direct sur le marché fonctionnent très rapidement, un peu. Et certaines applications de téléphones mobiles en direct, cliquez pour jouer après plusieurs secondes avant de jouer. Qu'est-ce qui cause une telle différence?
La plupart des joueurs peuvent décoder et jouer après avoir obtenu un GOP terminé. Les lecteurs basés sur Ffmpeg ne peuvent jouer qu'après la synchronisation d'horodatage de l'audio et de la peinture (s'il n'y a pas d'audio dans une diffusion en direct, seule la vidéo peut lire le visage après avoir attendu le délai d'expiration audio).
Le second sur peut être envisagé dans les aspects suivants:
1. réécrivez la logique du lecteur pour afficher le lecteur après avoir obtenu la première image clé.
La première image de GOP est généralement une image clé, et elle peut atteindre la «première image sur la seconde» en raison du moins de données chargées.
Si le serveur en direct prend en charge le cache GOP, cela signifie que le joueur peut obtenir les données immédiatement après l'établissement d'une connexion avec le serveur, économisant ainsi le temps de transmission de la source arrière entre les régions et entre les opérateurs.
GOP reflète la période des images clés, c'est-à-dire la distance entre deux images clés, à savoir le nombre maximum d'images dans un groupe d'images. En supposant que la fréquence d'image constante d'une vidéo est de 24 ips (c'est-à-dire 1 seconde 24 images) et que la période d'image clé est de 2S, alors un GOP est de 48 images. En général, au moins une image clé est requise pour chaque seconde de vidéo.
L'augmentation du nombre d'images clés améliore la qualité de l'image (le GOP est généralement un multiple de FPS), mais augmente en même temps la bande passante et la charge du réseau. Cela signifie que le lecteur client télécharge un GOP.
|
Entrez l'email pour avoir une surprise
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albanais
ar.fmuser.org -> arabe
hy.fmuser.org -> Armenian
az.fmuser.org -> azerbaïdjanais
eu.fmuser.org -> basque
be.fmuser.org -> biélorusse
bg.fmuser.org -> Bulgare
ca.fmuser.org -> catalan
zh-CN.fmuser.org -> chinois (simplifié)
zh-TW.fmuser.org -> Chinois (traditionnel)
hr.fmuser.org -> croate
cs.fmuser.org -> tchèque
da.fmuser.org -> danois
nl.fmuser.org -> Néerlandais
et.fmuser.org -> estonien
tl.fmuser.org -> Philippin
fi.fmuser.org -> finnois
fr.fmuser.org -> Français
gl.fmuser.org -> Galicien
ka.fmuser.org -> géorgien
de.fmuser.org -> allemand
el.fmuser.org -> Grec
ht.fmuser.org -> Créole haïtien
iw.fmuser.org -> hébreu
hi.fmuser.org -> Hindi
hu.fmuser.org -> Hongrois
is.fmuser.org -> islandais
id.fmuser.org -> indonésien
ga.fmuser.org -> irlandais
it.fmuser.org -> Italien
ja.fmuser.org -> japonais
ko.fmuser.org -> coréen
lv.fmuser.org -> letton
lt.fmuser.org -> Lituanien
mk.fmuser.org -> macédonien
ms.fmuser.org -> malais
mt.fmuser.org -> maltais
no.fmuser.org -> Norwegian
fa.fmuser.org -> persan
pl.fmuser.org -> polonais
pt.fmuser.org -> portugais
ro.fmuser.org -> Roumain
ru.fmuser.org -> russe
sr.fmuser.org -> serbe
sk.fmuser.org -> slovaque
sl.fmuser.org -> Slovène
es.fmuser.org -> espagnol
sw.fmuser.org -> Swahili
sv.fmuser.org -> suédois
th.fmuser.org -> Thai
tr.fmuser.org -> turc
uk.fmuser.org -> ukrainien
ur.fmuser.org -> ourdou
vi.fmuser.org -> Vietnamienne
cy.fmuser.org -> Gallois
yi.fmuser.org -> Yiddish
FMUSER Wirless transmet la vidéo et l'audio plus facilement!
Contactez-Nous
Adresse :
No.305 Chambre HuiLan Building No.273 Huanpu Road Guangzhou Chine 510620
Catégories
Newsletter