UTF-8

3. 구조

UTF-8은 유니코드 문자들을 인코딩하기 위해 만들어진 가변 길이 문자 인코딩 방식이다. 여기서 '가변 길이'란, 문자에 따라 사용하는 바이트 수가 달라진다는 뜻이다.

ASCII와 호환성을 유지하기 위해, ASCII 문자는 1바이트로 표현된다. 그 외의 문자들은 2바이트에서 최대 4바이트까지 사용하여 표현한다.^{[90][91][92][93]} 4바이트 시퀀스에서는 21비트(0x1FFFFF)까지 표현할 수 있지만, 유니코드 범위를 벗어나는 U+10FFFF보다 큰 값은 허용하지 않는다.

인코딩은 최소 바이트 수로 표현해야 한다. 따라서 바이트 수마다 유니코드의 부호 위치 최소값(하한)도 설정되어 있다.

* 첫 번째 바이트가 E0일 때 두 번째 바이트가 80-9F 범위, 또는 F0일 때 80-8F 범위를 취하는 것은 중복된 인코딩이므로 허용되지 않는다. 첫 번째 바이트가 ED일 때 두 번째 바이트가 A0 이상이 되는 것은 서로게이트 페어를 위한 부호 위치에 해당하며, 또한 F4일 때 90 이상이 되는 것은 유니코드 범위를 벗어나므로, UTF-8에서는 역시 허용되지 않는다.

유니코드의 부호 위치를 2진 표기한 것을 위의 비트 패턴의 x, y에 오른쪽 정렬하여 저장한다(최소 바이트 수로 표현하기 위해 y 부분에는 최소 1회는 1이 나타난다). 인코딩된 바이트 열은 바이트 순서에 관계없이 왼쪽부터 순서대로 출력한다.

1바이트째의 선두에 연속된 비트 "1"의 개수(그 뒤에 비트 "0"이 1개 붙음)로 해당 문자의 바이트 수를 알 수 있다. 또한 2바이트째 이후는 비트 패턴 "10"으로 시작하며, 1바이트째와 2바이트째 이후에서는 값의 범위가 겹치지 않으므로 문자 경계를 확실하게 판정할 수 있다.

7바이트 이상의 문자는 규정되지 않으므로 0xFE, 0xFF는 사용되지 않는다. 이 때문에 바이트 순서 표식(BOM)에 0xFE와 0xFF를 사용하는 UTF-16이나 UTF-32가 UTF-8과 혼동되는 일은 없다.

UTF-8 인코딩은 다음과 같은 특징을 갖는다.

• ASCII 문자 코드 텍스트를 처리하는 소프트웨어의 대부분을 그대로 사용할 수 있다.^[94]
• 바이트 스트림 내 임의의 위치에서 해당 문자, 이전 문자 또는 다음 문자의 첫 번째 바이트를 쉽게 판별할 수 있다.
• 문자열 검색을 단순한 바이트 열 검색으로 수행해도 문자 경계와 다른 곳에서 일치하는 일이 없다.
• UTF-16 또는 UTF-32와 달리 바이트 단위 입출력을 수행하므로, 바이트 순서의 영향을 받지 않는다.
• 21비트까지 표현할 수 있으므로 서로게이트 페어를 사용할 필요가 없다.
• ASCII 문자가 주를 이루는 문서라면, 거의 데이터 크기를 늘리지 않고 유니코드의 이점을 누릴 수 있다.
• 여러 UTF-8 문자열을 단순한 부호 없는 8비트 정수의 배열로 간주하여 사전순 정렬한 결과는 유니코드 코드 포인트의 사전순 정렬 결과와 동일하다.

3. 1. 인코딩 방식