계층적 데이터 형식

2. 역사

1987년, 미국 국립 슈퍼컴퓨팅 응용 센터(NCSA)의 그래픽스 재단 태스크 포스(GFTF)는 휴대용 과학 데이터 형식을 찾기 시작했으며, 처음에는 AEHOO(All Encompassing Hierarchical Object Oriented format, 모든 것을 포괄하는 계층적 객체 지향 형식)라고 불렸다.^[2] 1990년과 1992년에 NSF의 지원금은 이 프로젝트에 큰 도움이 되었다.^[2] 이 시기에 NASA는 지구 관측 시스템(EOS) 프로젝트에 사용할 15가지 파일 형식을 검토했고, 2년간의 검토 후 HDF를 표준 데이터 및 정보 시스템으로 선택했다.^[2]

HDF4는 이 형식의 초기 버전이지만, The HDF Group에서 여전히 지원하고 있다. HDF4는 다차원 배열, 래스터 이미지, 테이블 등 다양한 데이터 모델을 지원한다.^[2] 각 모델은 특정 데이터 유형을 정의하고, 데이터와 메타데이터를 다루기 위한 API를 제공한다. HDF 개발자나 사용자가 새로운 데이터 모델을 추가할 수도 있다. HDF는 자체 설명형이어서, 외부 정보 없이도 응용 프로그램이 파일 구조와 내용을 이해할 수 있다. 하나의 HDF 파일은 관련된 객체들을 포함할 수 있으며, 그룹이나 개별 객체로 접근할 수 있다. 사용자는 "vgroup"이라는 자체 그룹 구조를 만들 수도 있다.

HDF4 형식은 몇 가지 제약이 있었다.^[3][4] 명확한 객체 모델이 없어 지속적인 지원과 개선이 어려웠고, 다양한 인터페이스 스타일(이미지, 테이블, 배열)을 지원하여 API가 복잡해졌다. 메타데이터 지원은 인터페이스에 따라 달랐다. ''SD''(과학 데이터 세트) 객체는 임의의 명명된 속성을 지원했지만, 다른 유형은 미리 정의된 메타데이터만 지원했다. 32비트 부호 있는 정수를 사용하여 주소를 지정하므로 HDF4 파일 크기가 최대 2GB로 제한되어, 현대 과학 응용 프로그램에서는 부족할 수 있었다.

HDF5 형식은 HDF4의 한계를 극복하고 현대 시스템과 애플리케이션의 요구를 충족시키기 위해 설계되었다. 2002년에는 R&D 100 어워드를 수상했다.^[5] HDF5는 파일 구조를 단순화하여 데이터 세트(유형이 지정된 다차원 배열)와 그룹(데이터 세트 및 기타 그룹을 포함할 수 있는 컨테이너 구조) 두 가지 주요 객체 유형만 포함한다. 이는 진정한 계층적 파일 시스템과 유사한 데이터 형식을 만든다. HDF5 파일의 리소스는 POSIX와 유사한 ''/path/to/resource'' 구문을 사용하여 접근할 수 있다. 메타데이터는 사용자 정의 명명된 속성 형태로 그룹 및 데이터 세트에 첨부된다. 이미지와 테이블을 표현하는 더 복잡한 저장 API는 데이터 세트, 그룹 및 속성을 사용하여 구축할 수 있다. HDF5는 개선된 유형 시스템과 데이터 공간 객체(데이터 세트 영역 선택)를 포함하며, API는 객체 지향적이다. NetCDF의 최신 버전인 버전 4는 HDF5를 기반으로 한다.

2. 1. 초기 역사

2. 2. HDF4

2. 3. HDF5

• 데이터 세트, 즉 유형이 지정된 다차원 배열
• 그룹, 즉 데이터 세트 및 기타 그룹을 포함할 수 있는 컨테이너 구조

• HDF5는 UTF-8 사용을 강제하지 않으므로 클라이언트 애플리케이션은 대부분의 경우 ASCII를 예상할 수 있다.
• 외부 도구(h5repack)를 사용하여 파일 복사본을 생성하지 않고는 파일 내에서 데이터 세트 데이터를 해제할 수 없다.^[6]