Стиснення та архівування даних. Архіватори

Уявіть ситуацію: ви зробили якісне фото на смартфон із роздільною здатністю 4000 * 3000 пікселів, що займає 15 МБ. Якщо надрукувати його на фотопапері — якість бездоганна. Але варто переслати це фото через месенджер (наприклад, Viber), як у вашого співрозмовника воно відкривається розмитим, розміром лише 150 КБ, а при наближенні видно характерні «квадратики» (артефакти).

• Чому месенджери спотворюють фото? Вони автоматично застосовують стиснення з втратами, щоб заощадити інтернет-трафік і прискорити передавання даних.

• Чи можна передати фото без втрати якості? Так! Надіслати файл не як звичайне медіа, а як документ/файл без стиснення або попередньо упакувати його в архів.

Обсяги цифрових даних зростають щороку: якщо 10 років тому стандартний фільм займав близько 700 МБ, то сучасні фільми у високій роздільній здатності сягають десятків гігабайтів.

Математичний критерій ефективності — Коефіцієнт стиснення (k): k = S_o / S_c

S_o — обсяг вихідних даних (до стиснення);

S_c — обсяг стиснутих даних

Висновок: чим більший коефіцієнт k, тим ефективнішим є застосований алгоритм. Якщо фотографію 15 МБ стиснули до 150 КБ, то k = 15000 КБ / 150 КБ = 100

Секрет психоакустики та оптики:

• У кодеку MP3 видаляються частоти звукового спектра, які виходять за межі чутності людського вуха, або тихі звуки, що маскуються гучними.

• У форматі JPEG алгоритм усереднює мікроскопічні відтінки сусідніх пікселів, оскільки людське око значно чутливіше до перепадів яскравості, ніж до дрібних змін колірних тонів.

Метод RLE (Run-Length Encoding — кодування повторень): Замінює ланцюжки однакових символів, що йдуть підряд, на число повторень і сам символ.

• Приклад: рядок aaaabbbccd (10 байтів) => перетворюється на 4a3b2c1d (8 байтів).

• ⚠️ Слабке місце RLE: якщо повторень немає, обсяг навпаки зростає! Наприклад, рядок АБАБАБ (6 байтів) перетвориться на 1А1Б1А1Б1А1Б (12 байтів — розмір подвоївся!).

Щоб уникати таких ситуацій при збільшенні обсягу пам'яті файлу після архівування використувуються інші алгоритми:

Словниковий алгоритм Лемпеля–Зіва (LZ): Веде динамічний «словник» фразових ланцюжків. Зустрічаючи фразу, яка вже траплялася раніше, алгоритм замінює її коротким посиланням на номер у словнику.

Коди змінної довжини Гафмана:

• Частотний аналіз: символи, що зустрічаються найчастіше (наприклад, голосні «о», «а»), кодуються найкоротшими двійковими послідовностями (наприклад, 2 біти), а рідкісні літери — довшими послідовностями.

• Умова префіксності: жоден короткий двійковий код не може бути початком (префіксом) іншого, щоб комп'ютер міг однозначно декодувати потік бітів без розділових знаків

Архіватор — спеціальна програма, що стискає один або кілька файлів чи папок, об'єднуючи їх в один файл-архів для компактного зберігання та зручного передавання.

Основні операції архіваторів:

• Створення єдиного архіву замість сотень розрізнених файлів.

• SFX-архіви (Self-Extracting): саморозпаковувані архіви (мають розширення .exe), які розпаковуються на комп'ютері користувача навіть за повної відсутності встановленого архіватора.

• Багатотомні архіви: розбиття гігантського архіву на кілька частин фіксованого розміру (для пересилання частинами через пошту або на невеликі флешки).

• Шифрування та захист паролем: унеможливлюють несанкціонований доступ до конфіденційних даних.

• Перевірка на віруси та тестування цілісності без повного розпакування.

Порівняння провідних форматів:

• ZIP: найбільш універсальний формат, підтримується ОС Windows і macOS за замовчуванням (відкривається як звичайна папка).

• RAR: «рідний» формат WinRAR; забезпечує високий коефіцієнт стиснення, але програма є комерційною (платною).

• 7z: відкритий сучасний формат архіватора 7-Zip, який для більшості типів даних забезпечує найкраще співвідношення між ступенем і швидкістю стиснення.