스내피 (압축)

3. 압축 스트림 예시

"Wikipedia is a free, web-based, collaborative, multilingual encyclopedia project." 문자열을 스내피(Snappy)로 압축하는 과정은 다음과 같다.

먼저, 압축되지 않은 데이터의 길이는 가변 길이 정수(varint)로 표현된다.^[12][1] 이 경우, 압축되지 않은 데이터의 길이는 81바이트(51₁₆)이다.

첫 번째 블록은 리터럴(literal)로, 'f042'로 표현된다. 첫 바이트 'f0'₁₆은 길이-1 = 111100₂, type=00₂을 나타낸다. type 00₂은 리터럴을 의미하며, 길이-1 (111100₂=60)은 길이가 다음 바이트에서 읽힘을 의미한다. 다음 바이트 42₁₆는 66을 의미한다. 따라서 "Wikipedia is a free, web-based, collaborative, multilingual encyclo" 66바이트가 이어진다.^[12][2]

```hexdump

000000 51 f0 42 57 69 6b 69 70 65 64 69 61 20 69 73 20 >Q.BWikipedia is <

000010 61 20 66 72 65 65 2c 20 77 65 62 2d 62 61 73 65 >a free, web-base<

000020 64 2c 20 63 6f 6c 6c 61 62 6f 72 61 74 69 76 65 >d, collaborative<

000030 2c 20 6d 75 6c 74 69 6c 69 6e 67 75 61 6c 20 65 >, multilingual e<

```

다음 블록의 헤더는 '093f'이다. 09₁₆ ⇒ off_h=000₂, len-4=010₂; type=01₂이다. type 1은 "1바이트 오프셋으로 복사"를 나타낸다. 복사할 길이는 010₂+4=6바이트이고, 오프셋은 off_h가 상위 비트이고 다음 바이트 '3f'가 하위 비트인 11비트 정수이다. 따라서 {off_h}{3f₁₆}=00000111111₂=63이다.^[12][3] 즉, 63바이트 전부터 6바이트를 복사하여 "pedia "를 생성한다.

```hexdump

000040 6e 63 79 63 6c 6f 09 3f 1c 70 72 6f 6a 65 63 74 >ncyclo.?.project<

000050 2e >.<

```

그 다음, '1c'₁₆ ⇒ len-1=000111₂; type=00₂, 즉 길이 000111₂+1=8인 리터럴이 온다.^[12][4] 텍스트의 마지막 부분 "project."가 이어진다.

다른 예시로, "Wikipedia is a free, web-based, collaborative, multilingual encyclopedia project." 문자열 (총 330 바이트) 압축과정을 보면,

```hexdump

0000000: ca02 f042 5769 6b69 7065 6469 6120 6973 ...BWikipedia is

```

처음 두 바이트 ''ca02''는 압축 전 데이터 크기를 나타내는 리틀 엔디안 변형이다. 0x02ca = 0x014a = 330 바이트이다. 다음 두 바이트 0xf042는 66+1 바이트의 리터럴을 나타낸다.

```hexdump

0000010: 2061 2066 7265 652c 2077 6562 2d62 6173 a free, web-bas

0000020: 6564 2c20 636f 6c6c 6162 6f72 6174 6976 ed, collaborativ

0000030: 652c 206d 756c 7469 6c69 6e67 7561 6c20 e, multilingual

0000040: 656e 6379 636c 6f09 3ff0 1470 726f 6a65 encyclo.?..proje

```

72번째 바이트 0x09는 1형식의 태그 바이트로, 길이 - 4 = 010₂ = 2₁₀, 오프셋 = 0x03f = 63, 즉, "pedia "이다. 74번째 바이트 0xf014는 20+1 바이트 길이의 리터럴이다.

```hexdump

0000050: 6374 2e00 0000 0000 0000 0000 0000 0000 ct.

```

이 예에서 4자 이상인 모든 공통 부분 문자열은 압축 처리로 제거되었다. 보다 일반적인 컴프레서는 이를 더 잘 압축할 수 있다. gzip이나 bzip2와 같은 압축 방법과는 달리, 알파벳을 비트 스트림으로 압축하기 위해 사용되는 엔트로피 부호는 없다.

4. 프레이밍 형식

스내피 스트림은 최대 4GiB-1 크기의 입력을 지원하지만,^[12] 압축되지 않거나 불충분하게 압축된 섹션에 상당한 오버헤드를 추가할 수 있으며, 자체 식별 기능이 없고, 단순한 출력 크기 검사 이상의 데이터 무결성 메커니즘이 없다.^[2]

이러한 문제를 해결하기 위해 스내피 프레이밍 형식^[2] "스내피 프레임"을 사용할 수 있으며, 이는 입력을 최대 64KiB 크기의 청크로 분할하고,^[2] 4바이트 블록 헤더(1바이트 식별자 및 3바이트 길이)로 구분한다:^[2]

• "스트림 식별자"는 유형 FF₁₆이며 스트림을 시작해야 하며, ASCII로 "sNaPpY"로만 구성되어야 한다.^[2]
• 유형 0인 "압축된 데이터"는 압축된 스내피 스트림을 포함한다.^[2]
• 유형 1인 "압축되지 않은 데이터"는 출력에 그대로 복사할 데이터를 포함한다.^[2]

4. 1. 프레이밍 형식 구조

• "스트림 식별자"는 유형 FF₁₆이며 스트림을 시작해야 하며, ASCII로 "sNaPpY"로만 구성되어야 한다.^[2]
• 유형 0인 "압축된 데이터"는 압축된 스내피 스트림을 포함한다.^[2]
• 유형 1인 "압축되지 않은 데이터"는 출력에 그대로 복사할 데이터를 포함한다.^[2]

4. 2. 청크 유형

• "스트림 식별자"는 유형 FF₁₆이며 스트림을 시작해야 하며, ASCII로 "sNaPpY"로만 구성되어야 한다.^[2]
• 유형 0인 "압축된 데이터"는 압축된 스내피 스트림을 포함한다.^[2]
• 유형 1인 "압축되지 않은 데이터"는 출력에 그대로 복사할 데이터를 포함한다.^[2]

4. 3. 체크섬

5. 인터페이스

스내피 배포판은 C++ 및 C 바인딩을 포함한다. 서드 파티에서 제공하는 바인딩 및 포트는 C#, Common Lisp, Crystal, Erlang, Go, Haskell, Lua, Java, Nim, Node.js, Perl, PHP, Python, R, Ruby, Rust, Smalltalk, OpenCL을 포함한다.^[14][15][25] 명령 줄 인터페이스 프로그램도 사용할 수 있다.^[16]

참조

_[1] 웹사이트 Releases - google/snappy https://github.com/g[...] 2023-10-04
_[2] 웹사이트 Snappy framing format description https://github.com/g[...] 2021-10-26
_[3] 웹사이트 Google Snappy–A Fast Compressing Library http://www.infoq.com[...] 2011-08-01
_[4] 뉴스 Google open sources MapReduce compression. In the name of speed https://www.theregis[...] The Register 2011-03-24
_[5] 웹사이트 Snappy: A fast compressor/decompressor: Readme https://github.com/g[...] 2011-08-01
_[6] 웹사이트 ColumnStore Storage Architecture https://mariadb.com/[...]
_[7] 문서 snappy. A fast compressor/decompressor https://google.githu[...]
_[8] 웹사이트 Compression — Ceph Documentation https://docs.ceph.co[...] 2024-01-03
_[9] 웹사이트 SnappyUtils.cpp - mozsearch https://searchfox.or[...] 2024-01-03
_[10] 웹사이트 Add a loop alignment directive to work around a performance regression. · google/snappy@824e671 https://github.com/g[...]
_[11] 웹사이트 GitHub - google/snappy: A fast compressor/decompressor https://github.com/g[...] 2019-11-11
_[12] 웹사이트 Snappy compressed format description https://github.com/g[...] 2021-10-26
_[13] 웹사이트 snappy http://google.github[...]
_[14] 웹사이트 Xilinx https://github.com/X[...]
_[15] 웹사이트 InAccel https://github.com/I[...]
_[16] 웹사이트 snappy-tools: snappy(1): Snappy compression and decompression with and without framing https://sr.ht/~nabij[...] 2024-02-15
_[17] 웹사이트 Google Snappy: 高速圧縮ライブラリ https://www.infoq.co[...] C4Media Inc. 2011-04-13
_[18] 웹사이트 Google open sources MapReduce compression https://www.theregis[...] Situation Publishing 2011-03-24
_[19] 웹사이트 snappy https://google.githu[...] 2023-12-14
_[20] 웹사이트 LZO vs Snappy vs LZF vs ZLIB, A comparison of compression algorithms for fat cells in HBase https://blog.erdemag[...] Tumblr 2011-04-14
_[21] 웹사이트 MariaDB Enterprise ColumnStore Storage Architecture https://mariadb.com/[...] MariaDB 2023-12-14
_[22] 웹사이트 Add a loop alignment directive to work around a performance regression. · google/snappy@824e671 https://github.com/g[...] GitHub, Inc. 2017-08-24
_[23] 웹사이트 Encoding https://protobuf.dev[...] Google LLC 2023-12-14
_[24] 웹사이트 snappy/format_description.txt at 27f34a580be4a3becf5f8c0cba13433f53c21337 · google/snappy https://github.com/g[...] GitHub, Inc. 2023-12-14
_[25] 웹사이트 Vitis_Libraries/data_compression at b7b347a00e24eacee2870c4a3ff55cd08870f364 · Xilinx/Vitis_Libraries https://github.com/X[...] GitHub, Inc. 2023-12-14
_[26] 웹인용 Releases - google/snappy https://github.com/g[...] 2023-10-04