Gzip

3. 역사

gzip은 1990년대 초, 유닉스 시스템에서 사용되던 compress 유틸리티의 특허 문제와 압축 성능의 한계를 극복하기 위해 개발되었다. GNU 프로젝트의 일환으로 장루 가일리(Jean-loup Gailly)와 마크 애들러(Mark Adler)가 개발하였다.^[1]

초기에 gzip은 `.z` 확장자를 사용했지만, pack과의 혼동을 피하기 위해 `.gz`로 변경되었다. 1993년경에 만들어진 `.z`는 gzip 파일일 가능성이 높다. 개발자를 위해 zlib 라이브러리가 만들어졌고, 이로 인해 널리 사용되는 형식이 되었다. gzip은 LZ77 알고리즘과 허프만 부호를 사용하여 기존의 compress보다 압축률이 높은 것이 특징이다.^[19]

4. 구현체

LZ77 코딩을 사용하는 GNU 프로젝트의 gzip 구현이 가장 널리 알려져 있다. OpenBSD의 gzip은 compress를 기반으로 하며, OpenBSD 3.4에서 gzip 형식 지원이 추가되었다.^[8] FreeBSD, DragonFly BSD, NetBSD는 BSD 라이선스 구현을 사용하는데, 이는 zlib의 명령줄 인터페이스로 GNU 구현과 호환된다.^[9]

Zopfli는 더 높은 압축률(3~8% 더 나은 압축)을 제공하는 구현이지만, 압축 시간이 오래 걸린다. 압축 해제 시간에는 영향을 미치지 않는다.

Mark Adler가 작성한 `pigz`는 gzip과 호환되며 멀티코어 프로세서를 활용하여 압축 속도를 높인다.^[10]

5. 응용 및 파생

gzip은 여러 분야에서 활용되고 있다. 1990년대 후반부터는 bzip2와 같이 블록 정렬 알고리즘을 기반으로 하는 파일 압축 유틸리티가 gzip을 대체하기도 했다. bzip2는 특히 소스 코드 및 기타 구조화된 텍스트와 같이 상당히 작은 파일을 생성하지만, 메모리 및 처리 시간은 최대 4배까지 소요된다.^[14]

AdvanceCOMP, Zopfli, libdeflate 및 7-Zip과 같은 도구들은 gzip 자체보다 더 높은 압축률을 가진 DEFLATE 구현을 사용하여 gzip 호환 파일을 생성할 수 있지만, 참조 구현에 비해 더 많은 프로세서 시간이 소요된다.

2023년에 발표된 연구에 따르면, gzip과 같은 간단한 무손실 압축 기술을 k-최근접 이웃 분류기와 결합하여 자연어 처리에서 딥 뉴럴 네트워크의 매력적인 대안을 만들 수 있다. 이 접근 방식은 GPU 하드웨어 불필요와 같은 낮은 리소스 요구 사항으로 인해 BERT와 같은 기존 접근 방식을 능가하는 것으로 나타났다.^[15]

대부분의 리눅스 배포판에 포함되어 있는 tar 유틸리티는 `-z` 옵션을 사용하여 .tar.gz 파일을 추출할 수 있다. 예를 들어 `tar -zxf file.tar.gz`와 같이 사용할 수 있는데, 여기서 `-z`는 압축 해제를, `-x`는 추출을, `-f`는 압축된 아카이브 파일의 이름을 지정한다. 선택적으로 `-v` (verbose) 옵션을 사용하면 추출 중인 파일을 나열할 수 있다.^[12]

5. 1. HTTP 압축

5. 2. 기타 응용

6. 호환성

gzip은 zip, compress, compress -H, pack으로 압축된 파일을 풀 수 있다. ZIP 파일의 경우, DEFLATE 방식으로 압축되고 파일이 하나만 포함된 경우에만 풀 수 있다.^[19] gzip이 설치된 시스템에서는 gunzip, zcat, uncompress 명령어가 gzip 명령어에 대한 하드 링크로 존재하는 경우가 많으며, 리눅스 표준 기반(Linux Standard Base)에서도 지정 명령어이다.^[23]

7. 미디어 타입

gzip의 공식 미디어 타입은 `application/gzip`이다.^[1] 2012년 8월에 발행된 에서 정의되어 IANA에도 정식으로 등록되었다.^[25] 이전에는 `application/x-gzip`나 `application/x-gzip-compressed` 등이 사용되었다.^[25]

tar로 아카이브된 경우에는 비공식적으로 `application/x-tar-gz`도 사용된다.

8. 손상 복구

아카이브에서 손상된 부분 이전에 있는 블록의 데이터는 일반적으로 완전히 읽을 수 있다. 이후에 위치하고 손상으로 파괴되지 않은 블록의 데이터는 어려운 방법을 통해 복구할 수 있다.

9. 자연어 처리

2023년에 발표된 연구에 따르면, gzip과 같은 간단한 무손실 압축 기술을 k-최근접 이웃 분류기와 결합하여 자연어 처리에서 딥러닝 모델의 매력적인 대안으로 활용할 수 있다. 이 접근 방식은 GPU 하드웨어가 필요하지 않는 등 낮은 리소스 요구 사항을 가지므로, BERT와 같은 기존 접근 방식을 능가하는 것으로 나타났다.^[15]

참조

_[1] 간행물 The 'application/zlib' and 'application/gzip' Media Types Internet Engineering Task Force 2014-03-01
_[2] 웹사이트 GZIP file format specification version 4.3 https://tools.ietf.o[...] Internet Engineering Task Force 1996-05
_[3] 웹사이트 GNU Gzip https://www.gnu.org/[...] 2015-10-11
_[4] 웹사이트 GNU Gzip: Advanced usage https://www.gnu.org/[...] 2012-11-28
_[5] 웹사이트 Can gzip compress several files into a single archive? http://www.gzip.org/[...] 2010-01-27
_[6] 웹사이트 tarball, The Jargon File, version 4.4.7 http://www.catb.org/[...] 2010-01-27
_[7] 웹사이트 GNU Gzip https://www.gnu.org/[...] 2024-04-03
_[8] 웹사이트 OpenBSD gzip(1) manual page https://man.openbsd.[...] OpenBSD 2018-02-04
_[9] 웹사이트 gzip http://man.freebsd.o[...] Man.freebsd.org 2014-03-01
_[10] 웹사이트 pigz: A parallel implementation of gzip for modern multi-processor, multi-core machines https://zlib.net/pig[...] 2018-12-23
_[11] 문서 Recovering a damaged .gz file – Jean-loup Gailly, GZip.org https://web.archive.[...]
_[12] 웹사이트 How To Extract / Unzip tar.gz Files From Linux Command Line https://phoenixnap.c[...] 2019-11-14
_[13] 웹사이트 Compressing the Web http://blogs.msdn.co[...] Microsoft 2015-11-02
_[14] 웹사이트 Comparison Tool: 7-zip vs bzip2 vs gzip http://compressionra[...] 2014-11-01
_[15] 논문 '"Low-Resource" Text Classification: A Parameter-Free Classification Method with Compressors' https://aclanthology[...] Association for Computational Linguistics 2023-07
_[16] 웹사이트 The gzip home page http://www.gzip.org 2003-07-27
_[17] 웹사이트 Gzip - GNU Project - Free Software Foundation https://www.gnu.org/[...] GNUプロジェクト 2024-05-04
_[18] 웹사이트 gzipとは - 意味をわかりやすく - IT用語辞典 e-Words https://e-words.jp/w[...] IT用語辞典 e-Words 2024-05-04
_[19] 웹사이트 GNU Gzip https://www.gnu.org/[...] GNUプロジェクト 2024-05-04
_[20] 웹사이트 GNU tar 1.35 https://www.gnu.org/[...] GNUプロジェクト 2024-05-04
_[21] 웹사이트 RFC 2616: Hypertext Transfer Protocol -- HTTP/1.1 https://www.rfc-edit[...] RFC Editor 2024-05-04
_[22] 웹사이트 Linux File Compression: gzip, bzip2, and xz Unveiled {{!}} Linux Journal https://www.linuxjou[...] Linux Journal 2024-05-04
_[23] 문서 Linux Standard Base https://refspecs.lin[...]
_[24] 웹사이트 Overview - GNU Gzip http://www.gnu.org/s[...] Free Software Foundation 2013-06-11
_[25] 웹사이트 RFC 6713 - The 'application/zlib' and 'application/gzip' Media Types https://datatracker.[...] Internet Engineering Task Force 2012-08
_[26] 웹사이트 HTTP の圧縮 - HTTP {{!}} MDN https://developer.mo[...] Mozilla Foundation 2024-05-03
_[27] 웹사이트 gzip compression (gzip 圧縮) - MDN Web Docs 用語集: ウェブ関連用語の定義 {{!}} MDN https://developer.mo[...] Mozilla Foundation 2024-05-03
_[28] 웹사이트 Usage Statistics of Gzip Compression for Websites, May 2024 https://w3techs.com/[...] Q-Success 2024-05-03
_[29] 웹인용 How are zlib, gzip and Zip related? What do they have in common and how are they different? http://stackoverflow[...] 2016-06-28