Kto stworzył format JPG? Historia formatu JPEG

Jeden format, wielu autorów

Pytanie „kto stworzył JPG” ma inną naturę niż pytanie o to, kto stworzył format HEIC. Tam dało się wskazać konkretną grupę roboczą, konkretną firmę i konkretny rok. W przypadku JPG odpowiedź rozkłada się na trzy warstwy, a każda ma innego autora i powstała w innej dekadzie.

Najgłębiej leży matematyka: sposób zamiany obrazu na liczby, które da się bezpiecznie zaokrąglić. Wyżej siedzi norma, czyli umowa, jak dokładnie te liczby kompresować, spisana przez międzynarodowy komitet. Na wierzchu jest plik, który widzisz na dysku, czyli sposób pakowania skompresowanych danych razem z informacją o kolorach i rozmiarze. Skrót „JPEG” formalnie dotyczy tylko środkowej warstwy. Ale gdyby zabrakło którejkolwiek z trzech, nie byłoby zdjęć w internecie w takiej postaci, w jakiej je znamy.

Nasir Ahmed i pomysł, którego nikt nie chciał sfinansować

Historia JPG zaczyna się w 1972 roku na Kansas State University, dwadzieścia lat przed publikacją normy. Nasir Ahmed, urodzony w Bengaluru w Indiach profesor elektrotechniki, wpadł na pomysł, jak opisać fragment obrazu nie jako zbiór pikseli, ale jako sumę fal o różnej częstotliwości. Nazwał tę metodę dyskretną transformatą kosinusową, w skrócie DCT.

Intuicja była prosta. Ludzkie oko świetnie widzi łagodne przejścia jasności i koloru, a dużo gorzej radzi sobie z drobnymi, szybkimi zmianami. Jeśli obraz rozłożyć na częstotliwości, te „niskie” trzeba zachować starannie, a te „wysokie” można zaokrąglić albo wręcz wyrzucić, i mało kto zauważy różnicę. To dokładnie ten mechanizm sprawia, że zdjęcie JPG zajmuje dziesięć razy mniej miejsca niż surowe dane z matrycy.

Ahmed złożył wniosek o grant do amerykańskiej National Science Foundation. Recenzenci uznali pomysł za zbyt prosty, żeby warto było go finansować, i odrzucili wniosek. Profesor pracował dalej bez pieniędzy, razem z doktorantem T. Natarajanem i profesorem K. R. Rao z University of Texas at Arlington. Ich artykuł „Discrete Cosine Transform” ukazał się w styczniu 1974 roku w czasopiśmie IEEE Transactions on Computers i liczył zaledwie trzy strony.

Komitet, od którego format wziął nazwę

Na początku lat osiemdziesiątych cyfrowe obrazy przestały być domeną laboratoriów. Pojawiały się skanery, pierwsze prototypy aparatów cyfrowych, a operatorzy telekomunikacyjni marzyli o przesyłaniu zdjęć przez sieć telefoniczną, na przykład w usługach wideoteksu. Każdy producent kompresował obrazy po swojemu i nic nie współpracowało z niczym.

W 1986 roku dwie organizacje normalizacyjne postanowiły rozwiązać ten problem wspólnie. Pierwszą była ISO, czyli Międzynarodowa Organizacja Normalizacyjna, reprezentująca świat przemysłu i informatyki. Drugą CCITT, komitet telekomunikacyjny działający w ramach ONZ, dziś znany jako ITU-T. Powołały wspólną grupę ekspertów do spraw fotografii: Joint Photographic Experts Group. Słowo „joint”, czyli wspólny, odnosi się właśnie do tej współpracy dwóch instytucji. Skrót JPEG pierwotnie oznaczał więc ludzi, a nie format.

W pracach uczestniczyli inżynierowie z firm i uczelni z Europy, Stanów Zjednoczonych i Japonii. Na czele stanął Gregory K. Wallace z Digital Equipment Corporation, którego artykuł „The JPEG Still Picture Compression Standard” z 1991 roku do dziś jest najczęściej cytowanym wprowadzeniem do formatu. Stronę telekomunikacyjną koordynował István Sebestyén z Siemensa, a ze strony ISO ważną rolę odegrał Hiroshi Yasuda z japońskiego NTT. Byli też przedstawiciele IBM, AT&T, Philipsa, KDD i wielu mniejszych firm.

Zadanie sformułowano zaskakująco konkretnie. Potrzebna była metoda, która zmniejszy plik obrazu w odcieniach szarości i w kolorze około dziesięciokrotnie, przy jakości akceptowalnej dla zwykłego odbiorcy. Musiała być na tyle prosta, żeby dało się ją zaimplementować sprzętowo w tanich układach scalonych, i na tyle uniwersalna, żeby działała zarówno na zdjęciu twarzy, jak i na skanie dokumentu.

Konkurs w Kopenhadze: jak wybrano zwycięski algorytm

Komitet nie napisał algorytmu od zera. Zamiast tego ogłosił konkurs. W 1987 roku do oceny zgłoszono dwanaście propozycji, z których po wstępnej selekcji zostały trzy. Jedna opierała się na DCT, druga na tak zwanym kodowaniu predykcyjnym DPCM, trzecia na transformatach blokowych innego typu.

Rozstrzygnięcie zapadło w styczniu 1988 roku na spotkaniu w Kopenhadze. Wygrała metoda nazwana ADCT, czyli adaptacyjna DCT, zaproponowana przez europejski zespół z programu badawczego ESPRIT, z dużym udziałem inżynierów z KTAS, duńskiego operatora telekomunikacyjnego. W testach z udziałem obserwatorów dała najlepszą jakość obrazu przy tym samym rozmiarze pliku, a jednocześnie była wystarczająco prosta, by zmieścić ją w układzie scalonym.

Kolejne dwa lata zajęło doprecyzowanie szczegółów: jak dzielić obraz na bloki, jakie tablice kwantyzacji zalecić, jak kodować wynik. W 1990 roku komitet zamknął wersję roboczą, a 18 września 1992 roku CCITT opublikował ją jako rekomendację T.81. Ta sama treść ukazała się w 1994 roku jako norma ISO/IEC 10918-1. Dlatego w różnych źródłach znajdziesz zarówno 1992, jak i 1994 jako rok powstania formatu. Oba są poprawne, ale za narodziny JPG przyjmuje się zwykle 1992.

Co właściwie ustalił komitet: kompresja w czterech krokach

Norma T.81 liczy prawie dwieście stron, ale jej sedno da się streścić w czterech operacjach, wykonywanych po kolei na każdym zdjęciu. Warto je poznać, bo tłumaczą zarówno zalety, jak i typowe wady JPG, takie jak „kwadraciki” na mocno skompresowanych obrazach.

1. Rozdzielenie koloru. Obraz zapisany jako czerwony, zielony i niebieski zostaje przeliczony na jasność oraz dwie składowe barwy. Ponieważ oko widzi barwę mniej ostro niż jasność, składowe barwne można zapisać w niższej rozdzielczości. To pierwszy krok oszczędności i dzieje się jeszcze przed właściwą kompresją.
2. Bloki 8×8 i DCT. Obraz jest cięty na kwadraty po 64 piksele. Każdy kwadrat przechodzi przez transformatę Ahmeda, która zamienia go w 64 współczynniki częstotliwości: jeden opisuje średnią jasność bloku, kolejne coraz drobniejsze detale. To dlatego na przesadnie skompresowanym JPG widać siatkę kwadratów, a nie na przykład rozmycie.
3. Kwantyzacja. Współczynniki dzieli się przez wartości z tabeli i zaokrągla. Wysokie częstotliwości, czyli najdrobniejsze detale, dostają duże dzielniki i często zerują się całkowicie. Tu odbywa się cała strata informacji. Suwak „jakość” w programie graficznym zmienia właśnie tę tabelę.
4. Kodowanie Huffmana. Ciąg zaokrąglonych liczb, pełen zer, pakuje się bezstratnie metodą opracowaną przez Davida Huffmana jeszcze w 1952 roku. Częste wartości dostają krótkie kody, rzadkie dłuższe. Wynik trafia do pliku.

Komitet świadomie zostawił w normie luz. Tablice kwantyzacji są tylko zalecane, a nie narzucone, dlatego ten sam obraz zapisany w dwóch programach przy „jakości 80” może mieć różny rozmiar i wygląd. Dzięki temu producenci aparatów i autorzy programów mogli przez trzydzieści lat ulepszać kompresję bez łamania zgodności.

Dlaczego JPG działa wszędzie: JFIF, libjpeg i internet

W 1992 roku JPEG był już gotowym standardem, a mimo to nie dało się jeszcze wysłać komuś „pliku JPG”. Norma opisywała strumień skompresowanych danych, ale celowo nie definiowała formatu pliku. Nie mówiła, w jakiej przestrzeni barw jest obraz, jaki ma współczynnik proporcji pikseli ani jak zapisać miniaturkę. Każdy producent mógł to zrobić po swojemu i wielu tak zrobiło.

Porządek zrobił jeden człowiek. Eric Hamilton z kalifornijskiej firmy C-Cube Microsystems, produkującej układy scalone do kompresji obrazu, spisał w 1991 roku krótki, kilkustronicowy dokument JPEG File Interchange Format, w skrócie JFIF. Ustalił w nim, że kolory zapisuje się w przestrzeni YCbCr, podał sposób oznaczania rozdzielczości i zdefiniował nagłówek, po którym każdy program rozpozna plik. Co najważniejsze, udostępnił specyfikację wszystkim za darmo. Praktycznie każdy plik .jpg, jaki kiedykolwiek otworzyłeś, zaczyna się od bajtów opisanych przez Hamiltona albo od ich późniejszej wersji Exif, którą w 1995 roku opracowało japońskie stowarzyszenie JEIDA z myślą o aparatach cyfrowych.

Drugim bohaterem tej części historii jest Tom Lane i założona przez niego nieformalna grupa Independent JPEG Group. W październiku 1991 roku opublikowali libjpeg, darmową bibliotekę w języku C, która po prostu działała: kompresowała i dekompresowała obrazy zgodnie z normą, na każdym komputerze, bez żadnych opłat. Autorzy programów nie musieli już czytać dwustu stron specyfikacji ani pisać własnego dekodera. Wystarczyło dołączyć gotowy kod.

Ostatni element układanki dołożył internet. W 1993 roku przeglądarka Mosaic jako pierwsza pokazała obrazki bezpośrednio w treści strony, a jej następczyni Netscape od początku obsługiwała JPG. Modemy miały wtedy prędkość kilkunastu kilobitów na sekundę, więc format, który dziesięciokrotnie zmniejszał zdjęcie, był nie tyle wygodą, co warunkiem istnienia fotografii w sieci. Od tego momentu JPG przestał być standardem inżynierów i stał się częścią codzienności.

Oś czasu powstania JPG

Od matematycznego pomysłu do masowego użycia minęło dwadzieścia lat. Na osi poniżej wyróżnione są dwa momenty: publikacja DCT, bez której nie byłoby czego standaryzować, oraz publikacja samej normy. Pod grafiką te same daty znajdziesz w tabeli z pełnymi opisami.

Patent, który o mało nie zatrzymał JPG

Komitet od początku pilnował, żeby podstawowa wersja formatu dała się wdrożyć bez opłat licencyjnych. Firmy, które wnosiły do normy własne rozwiązania, deklarowały, że nie będą żądać pieniędzy za ich użycie. Przez dziesięć lat wszystko działało. A potem, w 2002 roku, do producentów aparatów, drukarek i oprogramowania zaczęły przychodzić listy od firmy Forgent Networks z Teksasu.

Forgent przejął wcześniej spółkę Compression Labs, w której pracował Wen-Hsiung Chen, autor szybkiego algorytmu DCT. Wśród aktywów znalazł się amerykański patent numer 4 698 672, zgłoszony w 1986 roku i opisujący pewną metodę kodowania współczynników po kwantyzacji. Prawnicy Forgent uznali, że każdy plik JPG na świecie ją narusza. Pozwali ponad trzydzieści firm, w tym Sony, Adobe, Apple, Canona i Della. Część zapłaciła, żeby zakończyć sprawę szybko, i Forgent zebrał w ten sposób ponad sto milionów dolarów.

Sprawa skończyła się na dwa sposoby. Po pierwsze, organizacja Public Patent Foundation doprowadziła w 2006 roku do ponownego zbadania patentu, po którym amerykański urząd patentowy unieważnił jego najszersze zastrzeżenia, wskazując wcześniejszą publikację innego patentu jako stan techniki. Po drugie, w październiku 2006 roku patent zwyczajnie wygasł po dwudziestu latach ochrony. Komitet JPEG wydał oświadczenie, że jego zamiarem zawsze było utrzymanie podstawowej metody bez opłat, i tak zostało do dziś.

Dlaczego JPG przeżył wszystkich następców

Komitet JPEG nie rozwiązał się po 1992 roku. Działa do dziś i w ciągu trzech dekad opublikował kilku oficjalnych następców swojego najsłynniejszego dzieła. JPEG 2000 z 2000 roku oparty na falkach daje lepszą jakość przy tym samym rozmiarze i nie ma „kwadracików”. JPEG XR z 2009 roku, stworzony z Microsoftem, obsługuje HDR. JPEG XL z 2022 roku potrafi bezstratnie przepakować stare pliki JPG, zmniejszając je o jedną piątą. Do tego dochodzą formaty spoza komitetu: WebP od Google, AVIF od konsorcjum producentów przeglądarek i wreszcie HEIC od MPEG.

Każdy z nich jest technicznie lepszy od JPG. Żaden go nie zastąpił. Powody są trzy i warto je znać, bo tłumaczą również dzisiejsze kłopoty z HEIC:

• Zgodność wsteczna. Pliki JPG otwiera każde urządzenie wyprodukowane od trzydziestu lat: telewizor, ramka cyfrowa, drukarka, kiosk w urzędzie, formularz na stronie. Nowy format musi być nie tylko lepszy, ale lepszy na tyle, by opłacało się ryzykować, że ktoś nie otworzy zdjęcia.
• Brak opłat. JPG jest wolny od patentów, a jego następcy często nie. Przeglądarki i systemy operacyjne wolą format, za który nikt nie przyśle rachunku.
• Wystarczająco dobry. Przy rozsądnych ustawieniach jakości różnica między JPG a nowszymi formatami jest dla większości ludzi niewidoczna. Oszczędność miejsca ma znaczenie w telefonie i w centrum danych, ale nie w załączniku do maila.

W praktyce sprowadza się to do podziału ról, który widać w każdym nowym iPhonie. Telefon zapisuje zdjęcia w HEIC, bo tam liczy się pamięć i HDR. Ale kiedy wysyłasz zdjęcie mailem, wrzucasz do formularza albo drukujesz, system i tak zamienia je w JPG, bo tylko ten format ma gwarancję, że dotrze. Jak wypada to porównanie punkt po punkcie, pokazujemy we wpisie HEIC czy JPG.

Napisy końcowe: kto za co odpowiada

JPG nie ma jednego twórcy i właśnie to zdecydowało o jego sukcesie. Każda warstwa formatu powstała w innym miejscu, ale każda została oddana światu bez opłat i bez właściciela, który mógłby ją zamknąć.

Kiedy więc następnym razem zapiszesz zdjęcie jako JPG, pamiętaj, że korzystasz z pracy indyjskiego profesora, któremu odmówiono pieniędzy, duńskich inżynierów od telefonii, międzynarodowego komitetu, który potrafił się dogadać, i programisty, który rozdał swój kod za darmo. Żadne z nich nie zarobiło na tym fortuny, a mimo to ich wspólne dzieło jest jednym z najczęściej używanych wynalazków w historii techniki. Jeśli chcesz dowiedzieć się, jak na tym tle wygląda nowy format Apple, zajrzyj do tekstu co to jest plik HEIC.