Поняття мультимедіа. Кодування аудіо- та відеоданих

1. Що розуміють під мультимедіа?

Мультимедіа — це поєднання різних способів подання повідомлень. Сукупність таких повідомлень є об’єктами мультимедіа.

Об’єкти мультимедіа — текст, рухомі й нерухомі графічні зображення, аудіо- та відеооб’єкти.

Опрацювання мультимедійних об’єктів передбачає їх створення і (або) зміну — редагування чи форматування.

Мультимедіа — від лат. multum — багато, medium — середовище. Уперше термін мультимедіа виник у 1965 р. для опису театралізованих шоу, наприклад, Exploding Plastic Inevitable — шоу, що поєднало живу рок-музику, кіно, експериментальні світлові ефекти.

Об’єкти мультимедіа зберігаються у вигляді файлів, що містять мультимедійні дані.

2. Як кодуються аудіо- та відеодані?

Для зберігання та опрацювання аудіо- й відеоданих за допомогою комп’ютера використовують двійкове подання даних. Процес кодування в цьому разі є досить складним, оскільки за допомогою комп’ютера можна зберігати й опрацьовувати лише обмежені обсяги даних, у той час як природні сигнали — носії даних — є неперервними. Тому перетворення аналогових сигналів у цифровий вигляд відбувається шляхом дискретизації.

Дискретизація (від англ. discretisation) — процес усунення неперервності (часової і просторової) аналогових сигналів — носіїв даних.

У випадку просторової дискретизації дані ділять на невеликі області, в межах яких характеристики (положення, колір, яскравість) вважаються незмінними.

У разі застосування дискретизації в часі на невеликі інтервали відповідно ділиться час. У межах цих інтервалів характеристики природних сигналів вважають незмінними.

Наочним прикладом часової дискретизації є кодування звуку за допомогою комп’ютера — приведення до цифрової форми (оцифровування). До комп’ютера надходить не сам звук (звукова хвиля), а електричний сигнал, зареєстрований деяким пристроєм, наприклад, мікрофоном, радіо тощо.

Кодування звуку двійковим кодом далеке від стандартизації. Окремі компанії розробили свої корпоративні стандарти. Можна виділити два основні напрями.

Перший напрям базується на методі FM (Frequency Modulation), який полягає в тому, що складний звук можна розкласти на послідовність простих гармонійних сигналів різних частот, кожний з яких є правильною синусоїдою, а отже, може бути описаний числовими параметрами, тобто кодом. У природі звукові сигнали мають неперервний спектр, тобто є аналоговими. Їх подання у вигляді дискретних цифрових сигналів виконують спеціальні пристрої — аналого-цифрові перетворювачі. Зворотнє перетворення для відтворення звуку, закодованого числовим кодом, виконують цифро-аналогові перетворювачі. У разі таких перетворень неминучі втрати інформації, пов’язані з методом кодування, тому якість звукозапису зазвичай виходить не цілком задовільною і відповідає якості звучання простих електромузичних інструментів із забарвленням, характерним для електронної музики. Водночас даний метод кодування забезпечує досить компактний код, і тому він знайшов застосування ще в ті роки, коли ресурси засобів обчислювальної техніки були явно недостатні.

Другий напрям використовує метод таблично-хвильового (Wave-Table) синтезу та краще відповідає сучасному рівню розвитку техніки. Якщо говорити спрощено, то можна сказати, що десь у наперед підготовлених таблицях зберігаються зразки великої кількості «реальних» звуків. Такі зразки звуків називають семплами. Числові коди відображають тип звуку, номер його моделі, висоту тону, тривалість й інтенсивність звуку, динаміку його зміни, деякі параметри середовища, в якому відбувається звучання, а також інші параметри, що характеризують особливості звуку. Оскільки як зразки використовуються «реальні» звуки, то якість звуку, одержаного в результаті синтезу, дуже висока й наближається до якості звучання реальних музичних інструментів.

Для кодування відеоданих використовують дискретизацію рухомого зображення. У цьому разі ілюзія руху створюється шляхом швидкої зміни кадрів. При цьому кадри залишаються статичними. Тоді з кожним кадром пов’язують таблицю кодування, в якій кожний піксель зображення характеризується трьома величинами: розміром кадру по горизонталі, по вертикалі та часом, з яким пов’язаний цей кадр. Зрозуміло, що таких таблиць є дуже багато, тому відеодані займають великий обсяг пам’яті.

Спектрограма — це візуальне зображення спектра частот сигналу в часі. При застосуванні до звукового сигналу спектрограми іноді називають сонографами, голосовими відбитками або голосограмами. Коли дані подано в тривимірному графіку, вони можуть називатися водоспадами.