Pomen video kodiranja
Velik prostor za shranjevanje izvirnih video podatkov, video 1080P 7 s zahteva 817 MB
Izvirni prenos video podatkov zavzema veliko pasovno širino in traja 11 minut, da odda zgoraj omenjeni 7 s video s pasovno širino 10 Mbps
Po kodiranju in stiskanju H.264 je velikost videoposnetka le 708 k, pasovna širina 10 Mbps pa potrebuje le 500 ms, kar lahko zadovolji potrebe prenosa v realnem času. Zato mora biti izvirni video, zbran s senzorja za zajem videa, kodiran.
Temeljni
Zakaj je torej ogromen izvirni video mogoče kodirati v zelo majhen video? Kakšna je tehnologija v tem? Preden se pogovarjamo o tehnologiji, bi morali najprej vzpostaviti koncept videa, ki je neprekinjena slika.
Glavna ideja je odstraniti odvečne informacije:
Prostorska redundanca: obstaja močna povezava med sosednjimi piksli slike
Začasna redundanca: podobna vsebina med sosednjimi slikami v video zaporedju
Kodiranje redundanco: različne vrednosti slikovnih pik imajo različne verjetnosti
Vizualna odvečnost: človeški vizualni sistem ni občutljiv na nekatere podrobnosti
Odvečnost znanja: strukturo pravilnosti je mogoče pridobiti iz predhodnega znanja in predznanja
Video je v bistvu serija slik, ki se predvajajo neprekinjeno in hitro, zato je video najlažje stisniti tako, da stisnete vsak okvir slik. Na primer, starejše kodiranje MJPEG je stisniti vsak okvir slik v videoposnetku. Ta metoda kodiranja Obstaja samo kodiranje znotraj okvirja, ki za kodiranje uporablja prostorsko predvidevanje vzorca. Metafora slike je obravnavati vsak okvir kot sliko in za stiskanje slike uporabiti format kodiranja JPEG. Tovrstno kodiranje upošteva samo stiskanje odvečnih informacij na sliki.
Vendar pa so bili zaradi časovne korelacije med okvirji razviti nekateri napredni kodirniki, ki lahko uporabljajo kodiranje med okvirji. Preprosto povedano, določena območja na okvirju se izberejo z algoritmom iskanja, nato pa se izračuna trenutni okvir. To je oblika kodiranja z vektorsko razliko med sprednjim in zadnjim referenčnim okvirom. Skozi naslednja dva zaporedna sličica na sliki 2 lahko vidimo, da se smučar premika naprej, v resnici pa se snežna scena premika nazaj in da se okvir P sklicuje na okvirje (I ali druge P okvirje), lahko kodira, velikost po kodiranju je zelo majhno, stiskalno razmerje pa zelo visoko.
Referenčna povezava o okvir http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Nekatere študente morda zanima, kako sta nastali ti dve sliki. Tu sta dve vrstici ukazov FFmpeg. Za več podrobnosti o FFmpeg glejte naslednja poglavja:
Prva vrstica ustvari video s premikajočim se vektorjem
Druga vrstica prikaže vsak okvir kot sliko
Uporabite ukaz
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutormal-% 03d.bmp '
Poleg stiskanja prostorske redundancije in časovne redundancije obstajata predvsem stiskanje kodiranja in vizualno stiskanje. Sledi glavni diagram poteka dajalnika:
Slika 3 in slika 4 sta dva procesa. Slika 3 je kodiranje znotraj sličic, slika 4 pa kodiranje med sličicami. Glavna razlika, prikazana na sliki, je ta, da je prvi korak drugačen. Pravzaprav sta ta dva procesa tudi kombinirana. Na splošno velja, da I frame in P frame uporabljata kodiranje znotraj kadrov in kodiranje med kadri.
Izbira dajalnika
Razčlenil sem načelo in osnovni postopek dajalnika. Dajalnik je doživel desetletja razvoja. Razvil se je iz podpiranja samo znotrajokvirnega kodiranja v novo generacijo dajalnikov, ki jih danes predstavljata H.265 in VP9. Trenutno je analiziranih nekaj običajnih kodirnikov in odpeljali vas bomo na raziskovanje sveta kodirnikov.
H.264
Predstavitev
Projekt H.264 / AVC namerava ustvariti video standard. V primerjavi s starim standardom lahko zagotavlja visokokakovosten video z nižjo pasovno širino (z drugimi besedami, le polovico pasovne širine MPEG-2, H.263 ali MPEG-4, del 2 ali manj), ne da bi pri tem ustvaril preveč zapletene zasnove. je nemogoče doseči ali pa so stroški izvedbe previsoki. Drug namen je zagotoviti zadostno prilagodljivost za uporabo v različnih aplikacijah, omrežjih in sistemih, vključno z visoko in nizko pasovno širino, visoko in nizko ločljivostjo videa, oddajanjem, shranjevanjem DVD-jev, omrežji RTP / IP in sistemom multimedijskih telefonov ITU-T.
H.264 / AVC vsebuje vrsto novih funkcij, zaradi česar je ne samo učinkovitejši od prejšnjih kodekov, temveč ga je mogoče uporabljati tudi v aplikacijah v različnih omrežnih okoljih. Zaradi teh tehničnih temeljev H.264 postane glavni kodek, ki ga uporabljajo spletna video podjetja, vključno z YouTubom, vendar njegova uporaba ni zelo lahka naloga. Teoretično uporaba H.264 zahteva veliko denarja. Patentne pristojbine.
Patentna licenca
Tako kot prvi in drugi del MPEG-2 in drugi del MPEG-4 morajo tudi proizvajalci izdelkov in ponudniki storitev, ki uporabljajo H.264 / AVC, imetnikom patentov plačati pristojbine za licenco. Glavni vir teh patentnih licenc je zasebna organizacija, imenovana MPEG-LA LLC. Ta organizacija nima nič skupnega z organizacijo za standardizacijo MPEG, vendar ta organizacija upravlja tudi sistem MPEG-2, prvi del, drugi del video in MPEG-4, prvi del. Dvodelne licence za video in druge tehnologije.
Druge patentne licence morajo veljati za drugo zasebno organizacijo, imenovano VIA Licensing, ki prav tako upravlja patentne licence za standarde kompresije zvoka, kot sta MPEG-2 AAC in MPEG-4 Audio.
Odprtokodna implementacija H.264
openh264 je odprtokodni program za kodiranje H.264, ki ga izvaja Cisco. Čeprav H.264 zahteva visoko patentno pristojbino, obstaja letna omejitev patentne pristojbine. Potem ko Cisco plača letno patentno pristojbino za OpenH264, je OpenH264 dejansko brezplačen. Uporabite ga prosto.
x264 je brezplačna programska oprema za video kodiranje z licenco GPL. Glavna naloga x264 je izvajanje kodiranja videa H.264 / MPEG-4 AVC, ne kot dekodirnik.
Brez primerjave stroškov:
Uporaba procesorja openh264 je veliko manjša kot pri x264
openh264 podpira samo osnovni profil, x264 podpira več profilov
HEVC / H.265
Predstavitev
Video učinkovito kodiranje (HEVC) je standard za video stiskanje (imenovan tudi H.265), ki velja za naslednika standarda ITU-T H.264 / MPEG-4 AVC. Leta 2004 sta se skupini strokovnjakov za gibljive slike ISO / IEC (MPEG) in Skupina strokovnjakov za video kodiranje ITU-T (VCEG) začeli razvijati kot ISO / IEC 23008-2 MPEG-H 2. del ali ITU-T H.265. Prva različica standarda za stiskanje videa HEVC / H.265 je bila sprejeta kot uradni standard Mednarodne telekomunikacijske zveze (ITU-T) 13. aprila 2013. HEVC naj bi bil poleg izboljšanja kakovosti videa tudi dvakrat dosežen stopnjo stiskanja H.264 / MPEG-4 AVC (kar ustreza 50-odstotnemu zmanjšanju bitne hitrosti pri enaki kakovosti slike) in lahko podpira ločljivost 4K in celo televizor ultra visoke ločljivosti (UHDTV), najvišja ločljivost doseči 8192 × 4320 (ločljivost 8K).
Patentna licenca
HEVC zahteva, da vsi proizvajalci vsebin, ki uporabljajo tehnologijo H.265, vključno z Appleom, YouTubeom, Netflixom, Facebookom in Amazonom, plačajo 0.5% prihodka od vsebine kot nadomestilo za uporabo tehnologije. Celoten trg pretočnih medijev vsako leto doseže približno 100 milijard ameriških dolarjev in še naprej narašča. Davek v višini 0.5% je vsekakor ogromen honorar. In niso izpustili proizvajalcev opreme, med katerimi morajo proizvajalci televizorjev plačati 1.5 ameriških dolarjev na enoto, proizvajalci mobilnih naprav pa 0.8 ameriških dolarjev na enoto patentnih stroškov. Spustili niso niti proizvajalcev, kot so predvajalniki naprav Blu-ray, igralne konzole in video snemalniki, ki morajo plačati po 1.1 dolarja.
Odprtokodna implementacija H.265 / HEVC
libde265 HEVC zagotavlja podjetje struktur pod odprtokodno licenco GNU Lesser General Public License (LGPL), gledalci pa lahko uživajo v najkakovostnejših slikah pri počasnejših internetnih hitrostih. V primerjavi s prejšnjimi dekodirniki, ki temeljijo na standardu H.264, lahko dekoder HEVC libde265 približa vsebino celotne HD do dvakrat večjemu občinstvu ali zmanjša pasovno širino, potrebno za pretakanje, za 50%.
x265 je razvil MulticoreWare in je odprt v skladu z GPL sporazumom.
VP8
Predstavitev
VP8 je odprti format za stiskanje videa, ki ga je najprej razvil On2 Technologies, nato pa Google. Hkrati je Google izdal tudi knjižnico implementacije, kodirano z VP8: libvpx, ki je bila izdana v obliki licenčnih pogojev BSD, nato pa dodal pravico do uporabe patenta. Po nekaj argumentih je bila avtorizacija VP8 končno potrjena kot odprtokodna avtorizacija.
Trenutno so spletni brskalniki, ki podpirajo VP8, Opera, Firefox in Chrome.
Patentna licenca
Marca 2013 je Google dosegel dogovor z MPEG LA in 11 imetniki patentov, da lahko Google pridobi VP8 in prejšnje VPx ter druga kodiranja, ki bi lahko bila kršena na patentih. Hkrati lahko Google uporabnikom VP8 tudi brezplačno odobri sorodne patente. , Ta pogodba je primerna tudi za naslednjo generacijo kodiranja VPx. Do zdaj je MPEG LA opustil ustanovitev zavezništva za centralizirano licenciranje VP8, uporabniki VP8 pa se bodo lahko odločili, da bodo to kodo uporabljali brezplačno, ne da bi skrbeli za morebitne honorarje za kršitev patentov.
Odprtokodna implementacija VP8
Libvpx je edina odprtokodna izvedba VP8. Razvili so ga On2 Technologies. Ko ga je Google pridobil, je odprl svojo izvorno kodo. Licenca je zelo ohlapna in jo lahko prosto uporabljate.
VP9
Predstavitev
Razvoj VP9 se je začel v tretjem četrtletju 2011. Cilj je zmanjšati velikost datoteke za 50% v primerjavi s kodiranjem VP8 pod enako kakovostjo slike. Drugi cilj je preseči HEVC kodiranje po učinkovitosti kodiranja.
13. decembra 2012 je brskalnik Chromium dodal podporo za kodiranje VP9. Brskalnik Chrome je začel podpirati predvajanje videoposnetkov, kodiranih z VP9, 21. februarja 2013.
Google je napovedal, da bo razvoj kode VP9 zaključil 17. junija 2013, ko bo brskalnik Chrome privzeto vodil kodo VP9. 18. marca 2014 je Mozilla brskalniku Firefox dodala podporo za VP9.
3. aprila 2015 je Google izdal libvpx1.4.0, ki je dodal podporo za 10-bitno in 12-bitno bitno globino, vzorčenje chroma 4: 2: 2 in 4: 4: 4 ter večjedrno kodiranje / dekodiranje VP9.
Patentna licenca
VP9 je oblika kodiranja videoposnetkov odprtega formata brez licenčnin.
Odprtokodna implementacija VP9
libvpx je edina odprtokodna izvedba VP9, ki jo je razvil in vzdrževal Google. Nekatere kode si delita VP8 in VP9, ostale pa so izvedbe kodekov VP8 oziroma VP9.
Primerjava VP9 in H.264 ter HEVC
Primerjava HEVC in H.264 pri različnih ločljivostih
V primerjavi s H.264 / MPEG-4 je povprečno zmanjšanje bitne hitrosti HEVC:
Vidno je, da se je bitna hitrost zmanjšala za več kot 60%
HEVC (H.265) ima večjo prednost pri prihranku bitne hitrosti za VP9 in H.264, saj pri istem PSNR prihrani 48.3% oziroma 75.8%
H.264 ima veliko prednost pri kodiranju časa. V primerjavi z VP9 in HEVC (H.265) je HEVC 6-krat večji od VP9, VP9 pa skoraj 40-krat večji od H.264.
