Multimédia: Multimediální technologie, přenos zvuku a obrazu počítačovou sítí. Vstup/výstupní multimediální zařízení, převod analogových a digitálních signálů.

Při přenosu multimédií počítačovou sítí můžeme uvážit následující modely:

• streaming (video a audio nelze kódovat libovolně):
  • live streaming - doručování obsahu, který vzniká živě během streamování
  • video on demand vs. pasivní příjem - pasivní příjem se obvykle používá pro příjem živých streamů, je samozřemě možné streamovat i multimediální archivy
• videokonference - jednoznačný požadavek na interaktivitu, v porovnání se streamingem přináší další omezující požadavky na spracování videa a audia

Nároky na přenos:

• video - velká šířka pásma, nepříliš velké nároky na kvalitu služby (výpadky moc neruší)
• audio - malá a střední šířka pásma, důležitá je kvalita služby
• haptika - extrémní nároky na šířku pásma a kvalitu služby, problémy s latencí, nutná existence lokálního modelu

Různé možnosti přenosu:

• nekomprimované video - vysoký datový tok, ale taky vysoká kvalita a nízká latence
• komprimované video - u streamů nemusíme udržet nízkou latenci, ale komprese musí být real-time (složité kompresní algoritmy jsou nepoužitelné), pouze CBR, nemá smysl používat B frames

Je vhodnější přenášet video/audio přes UDP kvůli efektivitě, režii a latenci, ale packety se můžou strácet.

Protokoly na transportní vrstvě:

• RTP - real-time protocol, postavený nad UDP. Má identifikaci obsahu, sekvenční číslování packetů a časové značky pro packety. Protokol poskytuje prostředky pro zaručení kvality.
• RTCP - RTP control protocol, používaný pro out-of-band informace o řízení proudu dat přenášených přes RTP
• RTSP - real-time streaming protocol, stavový protokol založený na HTTP, pro ovládání streaming serveru; pro přenos dat se používá RTP/RTCP nebo RDT.
• MMS - Microsoft Media Services, proprietární protokol pro streaming, využívá UDP i TCP

Oprava chyb je důležitější u zvuku.

Streamy je možné realizovat pomocí point-to-point komunikací (zátěž na server) nebo multicastu (nespolehlivé, bezpečnostní rizika).

SIP protokol - obvykle pro IP telefonni - čistě textový, používá se pro dohodnutí komunikace mezi uzly a přenos out-of-band informací. Audio se pak přenáší obvykle přes RTP.

Mikrofon - měnič akustického tlaku na elektrický signál. Vlastnosti:

• citlivost - velikost výstupního napětí na jednotku akustického tlaku (mV/Pa)
• vnitřní impedance - induktivní, kapacitní, činného odporu; podle velikosti nízkoohmové, nízkoimpedanční, vysokoimpedanční, středoimpedanční
• směrová charakteristika - udává závislost citlivosti mikrofonu na směr ze kterého přichází akustický tlak. Znázornění v polárních diagramech je obvykle kulové (použití ve studiích), osmičkové (použití u lovců zvuků, odposlech na dálku), kardioidní, hyperkardioidní a kuželové.

Rozdělení podle typu měniče:

• elektrodynamické - cívkový (cívka spojena s membránou se pohybuje v poli permanentního magnetu, impedance jsou stovky ohmů) nebo páskový (mezi dvěma póly permanentního magnetu je napnut kovový pásek, který slouží jako membrána a indukuje se v něm elektrické napětí).
• elektromagnetické - frekvenční rozsah 350Hz - 3.5kHz. Používá se v diktafonech a sluchových protézách. Jedná se o tlakový mikrofon.
• piezoelektrické (krystalické) - založen na piezoelektrickém jevu. Využívá dvě slepené destičky (krystalické dvojče), při deformaci získá dvojnásobné napětí. Levné, pracují na 50Hz-12kHz.
• elektrostatické (kondenzátorové) - kondenzátor, membrána tvoří jednu z desek kondenzátoru. Pohybem membrány se mění kapacita. Používané pro přenosné radiové přijímače.
• uhlíkové - u telefonních přístrojů. Kovová membrána s uhlíkovou elektrodou se chvěje, uchlíkový prach v komůrce chvěním mění odpor čímž vyvolává změnu proudu přes vinutí transformátoru. Na druhém vinutí se indukuje střídavý proud. Jedná se o tlakový mikrofon, rozsah je 250Hz až 3500Hz. Nezachycuje hluk okolí.

Princip kamery:

• jednočipová kamera - k rozkladu na RGB složky se používá proužkový barevný filtr umístěný před CCD čipem.
• tříčipová kamera - pomocí dvojice dichronických zrcadel se barevné složby obrazu rozloží na 3 čipy.

Objektivy:

• objektiv (s pevný ohniskem) - spojná soustava čoček konstruovaná tak, aby byly optické vady snížené na co nejmenší možnou míru. Obraz je obvykle skutečný, převrácený a zpravidla zmenšený
• objektiv s proměnným ohniskem - zoom - objektiv schopný přeskupovat čočky objektivu čímž změní ohnisko

Autofokus:

• aktivní - pomocí ultrazvuku nebo IR světla
• pasivní - založeno na myšlence že ostrý obraz je kontrastnější

Převod zvuku:

• akvizice
• diskrétní reprezentace:
  • vzorkování (samplování) - odebírání vzorku signálu v definovaných časových intervalech, obvykle 8kHz (telefony) až 48kHz, 96kHz, 192kHz (DVD)
  • kvantování - distrétní reprezentace hodnoty vzorku na stupnici (může být lineární nebo logaritmická). Používaná bitová hloubka: 8bit (telefon) až 64 bitů (sonar)
• spracování diskrétních dat
  • analýza za použití psychoakustických modelů
  • filtry: ekvalizace, odstranění šumu, echa, atd.
  • datová komprese
• uložení / přenos po síti
• dekódování zvuku
• reprodukce

Reprezentace uloženého zvuku, kódování digitálních dat:

• PCM
• DPCM - diferencial PCM, ztrátové, 4 bity na záznam rozdílů
• ADPCM - adaptivní DPCM, snaha o predikci potřebného počtu bitů
• -law (A-law v Evropě) - podobné jako ADPCM, digitální komunikace - USA, Japonsko, 13-bitové kvantování
• LPCM - (Linear Predictive Coding) až 8 kanálů, 48kHz nebo 96kHz, 16, 20 nebo 24 bitů na vzorek
• MDCT - modifikovaná diskrétní kosínová tranformace, bezstrátové, možnost strátové komprese zahozením nedůležitých koeficientů
• MPEG-I Layer III - strátové, pomocí psychoakustického modelu. Komprese probíhá ve frekvenční doméně, MDCT nelineární kvantování Huffmanovo kódování
• MPEG-I Layer II - komprese v časové doméně, 32 samostatně kódovaných frekvenčních pásem
• Vorbis - kódování podobné jako u MP3 s pokročilejším kvantováním
• AAC (MP4) - silně využívá psychoakustické modely, eliminuje redundance v již zakódovaném signálu, implementuje samoopravné kódy, jinak funguje obdobně jako MPEG-1 Layer III. Až 48 kanálů, 8kHz až 96kHz
• AC3 (Dolby Digital) - až 8 audio kanálů, porovnatelný s MP3
• WMA - podpora DRM, porovnatelné s MP3
• FLAC - opensource bezstrátový formát, libovolná vzorkovací frekvence, kvantování 4 až 32 bity. Komprese 20 % - 30 % v porovnání s PCM
• Speex - strátový formát pro kompresi řeči, 8kHz (lze použít až 48kHz), 2 kbps až 44 kbps, robustní proti výpadkům způsobeným přenosem
• RealAudio - vhodné pro streaming, 6 až 176 kbps, používá řadu kodeků (lpcJ, 28_8, dnet, …)

Barevné prostory:

• RGB
• YUV (Y - luminance, U, V - chrominance) - používané prakticky veškerými moderními kompresemi videa (kromě MPEG)
• YCrCb

Vzorkování:

• 4:4:4 - u každého pixelu je dostupná barevná a jasová informace
• 4:2:2 - na každé 2 pixely vedle sebe se uloží barva 1, u každého pixelu se uloží pouze jas
• 4:1:1 - jako u 4:2:2, ale aplikováno na 4 pixely vedle sebe, 1 má barvu, všechny mají jas
• 4:0:0 - 2×2 pixely, horní levý má info o červné, dolní levý má info o modré, všechny mají jas

Použitá rozlišení se liší od 640×480 až po 1920×1080 (nebo až 2K, 4K), framerate je obvykle 24, 25, 29.97. Minimální fps pro iluzi pohybu je 10, vhodnější je 14. Větší fps pomáhá skrývat nedokonalost komprese.

Pro akvizici existují různé kamery, extrémem je DVS Centaurus/AJA Xena: 4:4:4 vzorkování, až 2K video. Video se zobrazuje na CRT/LCD/plasma obrazovkách nebo projekcí, u 3D pomocí anaglyphu, LCD brýlí, helmy, stereo-projekce, polarizačních brýlí, …

MPEG komprese využívá 3 typy snímků:

• I frame - intrapicture, referenční snímek
• P frame - predicted, rozdíl oproti předchozímu snímku
• B frame - bidirectional predicted, interpolace mezi předchozím a následujícím snímkem

P frame nemá smysl bez předchozího I frame, B frame nemá smysl bez předchozího I frame a následujícího P frame. Obraz je rozložen do makrobloků (16×16, 8×8, 4×4), v každém bloku se pomocí DCT vypočítají frekvenční koeficienty DC (jas) a AC (barva). Frekvenční koeficienty se dále kvantují.

Motion vector (B frame) je čtverice:

• souřadnice makrobloku
• motion vector vzhledem k předcházejícímu referenčnímu snímku
• motion vector vzhledem k následujícímu referenčnímu snímku
• pro každý pixel jeho změna vzhledem k referenčnímu snímku

Motion estimation (motion compensation) funguje pomocí vyhledávání odpovídajících makrobloků mezi dvěma snímky. Vyhledávání problíhá na základě jasové složky makrobloku.

Série obrázků komprimovaných pomocí JPEGu, pouze I snímky. Často je dostupná HW podpora.

Rodina standardů, part 2 definuje kompresi videa. Pouze progressive scan, návrh počítal s videem do 4095×4095 pixelů, implementace ale obvykle dovolovaly pouze 352×240. Maximální bitrate je 1.5Mbps.

I, B a P snímky, obvykle sekvence 15 snímků: I BB P BB P BB P BB P BB. Podpora pro CBR i VBR. Má několik profilů. Používá se na DVD, DVB, HDB, HDTV.

Podobné MPEG-2, nezaťížené licenčními poplatky. Použito ve spotřební elektronice (kamery, …).

Rodina standardů, implementace pro DVD menu, ASP, XviD, DivX5, 3ivx, AAC, AVC (H.264), MP4 obálkový formát, MPEG-4 formát pro titulky.

Opensource strátová komprese. Makrobloky 8×8 bloků, vzorkování 4:2:0, 4:2:2 nebo 4:4:4, motion compensation pouze na úrovni bloků, VBR kódování, pouze I a P frames.

Implementované jako Windows Media Video 9.

Experimentální waveletová komprese. Výborná kvalita obrazu při nízkých bitratech v porovnání s jinými kodeky, analogový signál reprezentuje pomocí oscilující vlny konečné délky.

FI:PV188 Principy zpracování a přenosu multimédií (podzim 2008), doc. RNDr. Eva Hladká, Ph.D.

-

DevelX - Martin Jurča

stav - 100 %