프로토콜 버퍼

3. 특징

프로토콜 버퍼는 XML보다 작고 빠르며 단순하게 설계되었다.^[3] 구글은 구조화된 정보를 저장하고 교환하는 데 프로토콜 버퍼를 널리 사용하며, 이는 구글에서 거의 모든 머신 간 통신에 사용되는 사용자 지정 원격 프로시저 호출(RPC) 시스템의 기반이 된다.^[4]

데이터 구조(메시지)와 서비스는 `.proto` 파일에 정의되며, `protoc` 컴파일러를 통해 각 언어에 맞는 코드가 생성된다. 예를 들어 `example.proto` 파일은 `example.pb.cc`와 `example.pb.h` 파일을 생성하며, 여기에는 해당 `.proto` 파일에 정의된 메시지와 서비스에 대한 C++(C++) 클래스가 포함된다.

프로토콜 버퍼는 이진 형식으로 직렬화되어 사람이 직접 읽기는 어렵지만, 전방 호환성 및 후방 호환성을 지원한다.^[6][7] 단순성과 속도 덕분에, 다른 언어 또는 시스템과의 상호 운용성이 필요한 경우 데이터 중심의 C++ 클래스 및 구조체에 대한 대안으로 사용될 수 있다.

3. 1. 장점

구글(Google)은 내부 사용을 위해 프로토콜 버퍼를 개발했으며, 코드 생성기를 오픈 소스 라이선스 하에 여러 언어에 대해 제공한다.^[38]

3. 2. 단점

• 가독성: 이진 형식으로 직렬화되므로 사람이 직접 읽기 어렵다.
• 자기 설명성 부족: 별도의 스키마 정의 없이는 필드 이름, 의미, 데이터 형식을 알 수 없다. 이러한 특징 때문에 C++ 클래스 및 구조체를 사용한 데이터 저장의 유력한 대체 수단으로도 사용된다.^[36]
• 스트리밍 불가: 몇 메가바이트를 넘지 않고 즉시 메모리에 로드/전송할 수 있는 작은 데이터 덩어리에 가장 적합하며, 따라서 스트리밍 가능한 형식이 아니다.^[9]
• 단일 규격 부재: 단일 규격을 가지고 있지 않다.^[8]
• 압축 기능 미제공: 라이브러리는 압축 기능을 기본적으로 제공하지 않는다.
• 특정 언어 지원 부족: 객체 지향 언어가 아닌 언어(예: 포트란)에서는 제대로 지원되지 않는다.^[10]

4. 구조

프로토콜 버퍼는 `.proto` 파일에 정의된 *메시지*를 기반으로 데이터를 직렬화한다.^[36] 메시지는 필드(field)로 구성되며, 각 필드는 이름, 타입, 태그 번호를 갖는다. 필드 타입으로는 `int32`, `string`, `bool` 등 기본 타입과 다른 메시지를 사용할 수 있다. `repeated` 키워드를 사용하여 반복 필드를 정의할 수 있다.

데이터 구조 스키마(''메시지''라고 함)는 프로토 정의 파일(.proto)에 설명되어 있으며, `protoc`으로 컴파일된다. 이 컴파일은 이러한 데이터 구조의 송신자 또는 수신자가 호출할 수 있는 코드를 생성한다. 일반적으로 메시지는 소형이며 전방 및 후방 호환성이 있지만 자기 설명은 아니다. 즉, 외부 사양 없이는 필드의 이름, 의미 또는 전체 데이터 형식을 알 수 없다.^[6][7]

프로토콜 버퍼는 네트워크 통신을 용이하게 하는 것이 주 목적이지만, 단순성과 속도 때문에 데이터 중심의 C++ 클래스 및 구조체에 대한 대안이 될 수 있으며, 특히 다른 언어 또는 시스템과의 상호 운용성이 미래에 필요할 수 있는 경우에 유용하다.

특정 프로토콜 버퍼 사용에 대한 스키마는 각 필드를 식별하기 위해 정수를 사용하여 데이터 유형을 필드 이름과 연결한다. 프로토콜 버퍼 데이터에는 필드 이름이 포함되지 않고 숫자만 포함되어 있어, 데이터에 필드 이름을 포함하는 시스템에 비해 대역폭/저장 공간을 절약할 수 있다.

```protobuf

// polyline.proto

syntax = "proto2";

message Point {

required int32 x = 1;

required int32 y = 2;

optional string label = 3;

}

message Line {

required Point start = 1;

required Point end = 2;

optional string label = 3;

}

message Polyline {

repeated Point point = 1;

optional string label = 2;

}

```

위 코드는 `polyline.proto` 파일의 예시이다.

• "Point" 메시지는 ''x''와 ''y'' 두 개의 필수 데이터 항목을 정의한다.
• ''label'' 데이터 항목은 선택 사항이다.
• 각 데이터 항목에는 태그가 있으며, 등호 다음에 정의된다. (예: ''x''는 태그 1)

4. 1. 인터페이스 정의 언어 (IDL)

• `bool`
• `string`
• `bytes`
• 수치 형식

```protobuf

// polyline.proto

syntax = "proto2";

message Point {

required int32 x = 1;

required int32 y = 2;

optional string label = 3;

}

message Line {

required Point start = 1;

required Point end = 2;

optional string label = 3;

}

message Polyline {

repeated Point point = 1;

optional string label = 2;

}

```

위 코드는 `polyline.proto` 파일의 예시이다.

• "Point" 메시지는 ''x''와 ''y'' 두 개의 필수 데이터 항목을 정의한다.
• ''label'' 데이터 항목은 선택 사항이다.
• 각 데이터 항목에는 태그가 있으며, 등호 다음에 정의된다. (예: ''x''는 태그 1)

4. 2. 직렬화 형식

5. 언어 지원

프로토콜 버퍼는 다양한 프로그래밍 언어를 지원한다. 공식적으로 지원되는 언어와 타사 구현을 통해 지원되는 언어로 나눌 수 있다.

• 공식 지원 언어
• proto2: C++, 자바, 파이썬^[43]
• proto3: C++, 자바(자바나노 포함), 파이썬, Go, 루비, 오브젝티브-C, C#^[45]
• proto3는 3.0.0 베타 2부터 자바스크립트 지원^[46]

• 타사 구현 지원 언어
• 펄, PHP, 스칼라, 줄리아^[47]
• Ballerina,^[16] C,^[17][18] C++,^[19] Dart, Elixir,^[20][21] Erlang,^[22] Haskell,^[23] JavaScript,^[24] Julia,^[25] Nim,^[26] Perl, PHP, Prolog,^[27][28] R,^[29] Rust,^[30][31][32] Scala,^[33] 및 Swift^[34]
• proto2 타사 구현체는 자바스크립트 지원^[44]

6. 예제

protobuf

// polyline.proto

syntax = "proto2";

message Point {

required int32 x = 1;

required int32 y = 2;

optional string label = 3;

}

message Line {

required Point start = 1;

required Point end = 2;

optional string label = 3;

}

message Polyline {

repeated Point point = 1;

optional string label = 2;

}

```

"Point" 메시지는 ''x''와 ''y''라는 두 개의 필수 데이터 항목을 정의한다. ''label'' 데이터 항목은 선택 사항이다. 각 데이터 항목에는 태그가 있다. 태그는 등호 다음에 정의된다. 예를 들어, ''x''는 태그 1을 갖는다.

Point를 모두 사용하는 "Line" 및 "Polyline" 메시지는 프로토콜 버퍼에서 구성이 어떻게 작동하는지 보여준다. Polyline은 ''repeated'' 필드를 가지므로 Polyline은 (지정되지 않은 수의) 점 집합처럼 동작한다.

이 스키마는 이후 하나 이상의 프로그래밍 언어에서 사용할 수 있도록 컴파일될 수 있다. 구글은 C++, Java 또는 Python에 대한 출력을 생성할 수 있는 `protoc`이라는 컴파일러를 제공한다. 다른 소스에서 다른 스키마 컴파일러를 사용하여 20개 이상의 다른 언어에 대한 언어 종속적 출력을 생성할 수 있다.<sup>[11]</sup>

위 프로토콜 버퍼 스키마의 C++ 버전이 생성된 후, C++ 소스 코드 파일인 polyline.cpp는 다음과 같이 메시지 객체를 사용할 수 있다.

```cpp

// polyline.cpp

#include "polyline.pb.h" // protoc polyline.proto 명령을 호출하여 생성됨

Line* createNewLine(const std::string& name) {

// (10, 20)에서 (30, 40)으로의 선 생성

Line* line = new Line;

line->mutable_start()->set_x(10);

line->mutable_start()->set_y(20);

line->mutable_end()->set_x(30);

line->mutable_end()->set_y(40);

line->set_label(name);

return line;

}

Polyline* createNewPolyline() {

// (10,10)과 (20,20)에 점이 있는 폴리라인 생성

Polyline* polyline = new Polyline;

Point* point1 = polyline->add_point();

point1->set_x(10);

point1->set_y(10);

Point* point2 = polyline->add_point();

point2->set_x(20);

point2->set_y(20);

return polyline;

}

7. 활용 사례

구글에서 프로토콜 버퍼는 구조화된 정보를 저장하고 교환하는 데 널리 사용된다. 이 방식은 구글에서 거의 모든 머신 간 통신에 사용되는 사용자 지정 원격 프로시저 호출(RPC) 시스템의 기초가 된다.<sup>[4]</sup> gRPC는 프로토콜 버퍼를 기반 기술로 사용하는 프레임워크이다.<sup>[5]</sup>

프로토콜 버퍼는 아파치 스리프트(Apache Thrift), 이온(Ion), 마이크로소프트 본드(Microsoft Bond)와 같은 오픈 소스 프로젝트들과 유사하다.<sup>[5]</sup>

8. 한계

프로토콜 버퍼는 자체적인 규격이 없다.<sup>[8]</sup> 이 형식은 몇 메가바이트를 넘지 않는 작은 데이터 덩어리에 적합하며, 스트리밍 형식이 아니다.<sup>[9]</sup> 압축 기능을 기본적으로 제공하지 않는다. 객체 지향 언어가 아닌 언어(예: 포트란)에서는 제대로 지원되지 않는다.<sup>[10]</sup>

9. 기타

프로토콜 버퍼는 아파치 스리프트(Apache Thrift), 이온(Ion), 마이크로소프트 본드(Microsoft Bond) 프로토콜과 유사하며, gRPC라고 하는 정의된 서비스에 사용할 구체적인 RPC 프로토콜 스택을 제공한다.<sup>[5]</sup> 프로토콜 버퍼는 페이스북의 Thrift 프로토콜과 매우 유사하지만, 이미 존재하는 서비스를 위한 명확한 RPC 스택을 포함하지 않는 부분이 다르다. 프로토콜 버퍼는 오픈 소스이며, 이러한 갭을 메우기 위해 RPC 스택이 등장했다.

프로토콜 버퍼의 주요 목적은 네트워크 통신을 용이하게 하는 것이지만, 단순성과 속도 때문에 데이터 중심의 C++ 클래스 및 구조체에 대한 대안이 될 수 있으며, 특히 다른 언어 또는 시스템과의 상호 운용성이 미래에 필요할 수 있는 경우에 유용하다.

참조

<sub>[1]</sub> 웹사이트 Frequently Asked Questions https://developers.g[...] 2016-10-02
<sub>[2]</sub> 웹사이트 Releases - google/protobuf https://github.com/p[...]
<sub>[3]</sub> 웹사이트 jvm-serializers Benchmarks https://github.com/e[...] 2010-07-12
<sub>[4]</sub> 웹사이트 A response to Steve Vinoski http://steve.vinoski[...] 2008-07-14
<sub>[5]</sub> 웹사이트 grpc http://www.grpc.io/ 2016-10-02
<sub>[6]</sub> 웹사이트 text_format.h - Protocol Buffers - Google Code http://code.google.c[...] 2012-03-02
<sub>[7]</sub> 웹사이트 Proto Best Practices https://protobuf.dev[...] 2023-05-26
<sub>[8]</sub> 웹사이트 Overview https://protobuf.dev[...] 2023-05-28
<sub>[9]</sub> 웹사이트 Overview https://protobuf.dev[...] 2023-05-28
<sub>[10]</sub> 웹사이트 Overview https://protobuf.dev[...] 2023-05-28
<sub>[11]</sub> 웹사이트 ThirdPartyAddOns - protobuf - Links to third-party add-ons. - Protocol Buffers - Google's data interchange format - Google Project Hosting http://code.google.c[...] 2013-09-18
<sub>[12]</sub> 웹사이트 Protocol Buffers in C# http://codeblockage.[...] 2017-05-12
<sub>[13]</sub> 웹사이트 Protocol Buffers Language Guide https://developers.g[...] 2016-04-21
<sub>[14]</sub> 웹사이트 Language Guide (proto3) https://developers.g[...] 2020-08-09
<sub>[15]</sub> 웹사이트 Release Protocol Buffers v3.0.0-beta-2 · protocolbuffers/protobuf https://github.com/p[...] 2020-08-09
<sub>[16]</sub> 웹사이트 Ballerina - GRPC https://ballerina.io[...] 2021-03-24
<sub>[17]</sub> 웹사이트 Nanopb - protocol buffers with small code size https://jpa.kapsi.fi[...] 2017-12-12
<sub>[18]</sub> 웹사이트 Protocol Buffers implementation in C https://github.com/p[...] 2017-12-12
<sub>[19]</sub> 웹사이트 Embedded Proto - Protobuf for microcontrollers https://embeddedprot[...] 2021-08-15
<sub>[20]</sub> 웹사이트 Protox https://github.com/a[...] 2021-10-25
<sub>[21]</sub> 웹사이트 Protobuf-elixir https://github.com/e[...] 2021-10-26
<sub>[22]</sub> 웹사이트 Tomas-abrahamsson/GPB https://github.com/t[...] 2021-10-19
<sub>[23]</sub> 웹사이트 Proto-lens https://github.com/g[...] 2021-10-16
<sub>[24]</sub> 웹사이트 Protocol Buffers for JavaScript. https://github.com/d[...] github.com 2016-05-14
<sub>[25]</sub> 웹사이트 ThirdPartyAddOns - protobuf - Links to third-party add-ons. - Protocol Buffers - Google's data interchange format - Google Project Hosting http://code.google.c[...] 2012-11-07
<sub>[26]</sub> 웹사이트 Protobuf implementation in pure Nim that leverages the power of the macro system to not depend on any external tools https://github.com/P[...] 2021-10-21
<sub>[27]</sub> 웹사이트 SWI-Prolog: Google's Protocol Buffers Library https://www.swi-prol[...]
<sub>[28]</sub> 웹사이트 SWI-Prolog / contrib-protobufs https://github.com/S[...] 2022-04-21
<sub>[29]</sub> 웹사이트 RProtoBuf https://github.com/e[...]
<sub>[30]</sub> 웹사이트 Rust-protobuf https://github.com/s[...] 2021-10-26
<sub>[31]</sub> 웹사이트 PROST! https://github.com/d[...] 2021-08-21
<sub>[32]</sub> 웹사이트 Quick-protobuf https://github.com/t[...] 2021-10-12
<sub>[33]</sub> 웹사이트 ScalaPB https://github.com/s[...] 2022-09-27
<sub>[34]</sub> 웹사이트 Swift Protobuf https://github.com/a[...] 2021-10-26
<sub>[35]</sub> 문서 Protocol buffers provide ... mechanism for serializing structured data https://developers.g[...] Google 2022-12-30
<sub>[36]</sub> 간행물 Overview https://developers.g[...] Google 2022-12-30
<sub>[37]</sub> 웹사이트 Developer Guide - Protocol Buffers — Google Developers https://developers.g[...]
<sub>[38]</sub> 웹사이트 Third-Party Add-ons for Protocol Buffers https://code.google.[...]
<sub>[39]</sub> 간행물 Language Guide (proto3) https://developers.g[...] Google 2022-12-30
<sub>[40]</sub> 웹사이트 Steve Vinoskiへの返事(英語) http://steve.vinoski[...] 2008-07-14
<sub>[41]</sub> 웹인용 Frequently Asked Questions https://developers.g[...] 2016-10-02
<sub>[42]</sub> 웹인용 Releases - google/protobuf https://github.com/p[...]
<sub>[43]</sub> 웹인용 Protocol Buffers Language Guide https://developers.g[...] 2016-04-21
<sub>[44]</sub> 웹인용 Protocol Buffers for JavaScript. https://github.com/d[...] github.com 2016-05-14
<sub>[45]</sub> 웹인용 Protocol Buffers Language Guide (proto3) https://developers.g[...] 2016-04-21
<sub>[46]</sub> 웹인용 Protocol Buffers v3.0.0-beta-2 https://github.com/g[...] 2016-05-14
<sub>[47]</sub> 웹인용 ThirdPartyAddOns - protobuf - Links to third-party add-ons. - Protocol Buffers - Google's data interchange format - Google Project Hosting http://code.google.c[...] Code.google.com 2012-11-07