CSV (파일 형식)
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
CSV(Comma-Separated Values, 쉼표로 구분된 값)는 텍스트 형식의 파일로, 쉼표로 구분된 필드와 줄 바꿈으로 끝나는 레코드를 사용하여 데이터를 저장한다. CSV 형식은 1970년대부터 사용되었으며, 다양한 운영체제와 프로그램에서 데이터 교환에 활용된다. RFC 4180에서 CSV 형식을 정의했지만, 실제로는 여러 변형이 존재하며, 필드 구분자로 쉼표 대신 다른 문자를 사용하거나, 텍스트 필드 내의 줄 바꿈을 다르게 처리하는 경우도 있다. CSV 파일은 스프레드시트, 데이터베이스, 프로그래밍 언어 등 다양한 응용 프로그램에서 지원되며, 대한민국에서도 공공 데이터 포털을 통해 CSV 형식의 데이터를 제공하고 있다.
더 읽어볼만한 페이지
- 데이터 직렬화 포맷 - XML
XML은 태그 중첩 방식 구문을 사용하는 범용 언어로서, 인터넷을 통한 구조화된 문서 및 데이터 공유를 용이하게 하고, 웰 폼 및 유효 XML 문서 개념을 통해 구문 정확성을 검사하며, 데이터 교환 등 다양한 분야에서 널리 사용된다. - 데이터 직렬화 포맷 - S-표현식
S-표현식은 Lisp 구문에서 소스 코드와 데이터를 표현하는 기본 구조로, 원자와 `(x . y)` 형태의 표현식으로 정의되며, 이진 트리 표현, 다양한 데이터 형식 지원, 그리고 여러 분야에서 활용된다. - 오픈 포맷 - HTML
HTML은 웹 페이지 제작을 위한 표준 마크업 언어로서, 팀 버너스리가 제안하고 구현한 후 인터넷 발전과 함께 널리 사용되며, SGML에 기반하여 하이퍼텍스트 기능으로 다양한 콘텐츠를 표현하고 연결하며, W3C와 WHATWG에서 표준화를 진행하고 최신 버전은 HTML Living Standard이다. - 오픈 포맷 - 오픈 소스
오픈 소스는 제품 설계 및 재배포를 장려하는 모델로, 소프트웨어 개발에서 시작하여 개방형 협업을 장려하며 다양한 분야에서 활용되고 있고 오픈 소스 이니셔티브와 같은 단체가 운동을 지원한다. - 데이터베이스 - 지식 베이스
지식 베이스는 특정 주제 정보를 체계적으로 저장 및 관리하며 규칙 기반 추론으로 새로운 지식 도출에 활용되고, 웹 콘텐츠 관리 및 지식 관리 시스템으로 확장되어 온톨로지를 이용, 인공지능 기술과 결합하여 문제 해결책을 제시하고 경험을 통해 학습하는 시스템이다. - 데이터베이스 - 화이트리스트
화이트리스트는 특정 대상만 허용하고 나머지는 차단하는 접근 제어 목록으로, 정보보안, 무역, 금융 등 다양한 분야에서 활용되지만, 목록 선정 기준의 불명확성, 사회적 문제점 등의 위험성으로 투명하고 엄격한 관리가 필요하다.
| CSV (파일 형식) - [IT 관련 정보]에 관한 문서 | |
|---|---|
| 파일 형식 정보 | |
| 이름 | 쉼표로 구분된 값 |
 | |
| 파일 확장자 | .csv |
| 마임 유형 | text/csv |
| 유니폼 타입 | public.comma-separated-values-text |
| 따르는 형식 | public.delimited-values-text |
| 표준 | RFC 4180 |
| 장르 | 멀티 플랫폼, 직렬 데이터 스트림 |
| 컨테이너 | 필드 분리 목록으로 구성된 데이터베이스 정보 |
| 추가 정보 | |
| 설명 | 데이터 저장을 위한 파일 형식 |
2. 역사
CSV는 개인용 컴퓨터 역사보다 10년 이상 앞선 데이터 포맷 중 하나이다. 1972년에 OS/360용 IBM 포트란(레벨 H 확장) 컴파일러에서 CSV가 지원되기 시작했다.[38][14] 1978년에 FORTRAN 77에서는 리스트 지향("자유 형식") 입출력이 정의되었는데, 쉼표나 공백을 구분 기호로 사용했기 때문에 따옴표가 없는 문자열은 쉼표나 공백을 포함할 수 없었다.[15]
CSV 파일은 플레인 텍스트 형식이며, ASCII, UTF-8, EBCDIC, Shift JIS 등 다양한 문자 집합을 사용할 수 있다.[9][13] 각 레코드는 줄 바꿈 문자(일반적으로 CR/LF)로 구분된다. 레코드는 구분자(일반적으로 쉼표, 세미콜론, 탭. 가끔 선택적 스페이스를 포함할 수 있음.)로 구분된 여러 필드로 구성된다. 모든 레코드는 동일한 순서의 필드를 가져야 한다.[9][13]
"쉼표로 구분된 값"이라는 용어와 "CSV" 약어는 1983년부터 사용되었다.[16] 오스본 이그제큐티브 컴퓨터의 매뉴얼에는 SuperCalc 스프레드시트가 함께 제공되었으며, 문자열이 내장된 쉼표를 포함할 수 있도록 하는 CSV 따옴표 규칙이 문서화되어 있었지만, 매뉴얼에서는 따옴표 문자열 내에 따옴표를 내장하기 위한 규칙은 명시하지 않았다.[17]
쉼표로 구분된 값 목록은 고정 열 정렬 데이터보다 입력하기 더 쉬웠고, 값의 위치가 의도한 위치에서 한 열 벗어났을 경우 잘못된 결과를 생성할 가능성이 적었다.
쉼표로 구분된 파일은 서로 다른 두 아키텍처의 컴퓨터 간에 데이터베이스 정보를 교환하는 데 사용되었다. CSV 파일의 일반 텍스트 특성은 바이트 순서 및 워드 크기와 같은 비호환성을 크게 방지한다. 파일은 대부분 사람이 읽을 수 있으므로, 완벽한 문서나 통신이 없는 경우에도 쉽게 처리할 수 있었다.[18]
주요 표준화 이니셔티브는 2005년에 이루어졌는데, CSV를 MIME 콘텐츠 유형으로 정의하여 ''사실상'' 모호한 정의를 더 정확하고 ''사실상'' 정의로 변환하였다.[19] 이후 2013년에는 W3C 권고 사항을 통해 RFC 4180의 일부 결함이 해결되었다.[20]
2014년에 IETF는 CSV 문서에 URI 조각을 적용하는 RFC를 발표했다. RFC 7111은 위치 인덱스를 사용하여 CSV 문서에서 행, 열 및 셀 범위를 선택하는 방법을 지정한다.[21]
2015년 W3C는 시맨틱 웹으로 CSV를 향상시키기 위해 CSV 메타데이터 표준에 대한 첫 번째 ''권고안 초안''을 공개했으며, 같은 해 12월에 ''권고안''으로 채택되었다.[22]
3. 사양
IETF의 RFC 4180은 CSV 형식에 대한 명세서를 제안하지만, 실제로는 여러 변형이 존재한다. 예를 들어, 유럽 국가에서는 소수점 기호로 마침표 대신 쉼표를 사용하기 때문에 구분 문자로 쉼표 대신 세미콜론(`;`)을 사용하는 경우가 많다.
RFC 4180에 언급된 주요 사양은 다음과 같다.
하지만, 실제 Microsoft Excel 등에서 출력되는 CSV 파일은 RFC 4180을 완벽하게 따르지 않는 경우가 있어 주의가 필요하다.
4. 일반적인 규칙
CSV 파일은 플레인 텍스트 파일로서, 다음과 같은 일반적인 규칙을 따른다:[9][13]
- ASCII, 다양한 유니코드 문자 인코딩(예: UTF-8, EBCDIC, Shift JIS)을 사용한다.
- 레코드로 구성되며, 보통 한 줄에 하나의 레코드가 있다.
- 레코드는 필드로 나뉘며, 구분자(일반적으로 쉼표, 세미콜론, 탭; 때로는 선택적 공백 포함)로 구분된다.
- 모든 레코드가 동일한 필드 시퀀스를 가진다.
이러한 제약 조건 내에서도 다양한 변형이 존재한다. 따라서 "CSV" 형식이라고만 명시된 파일은 추가 정보 없이는 완벽하게 정의되지 않는다. 일부 응용 프로그램에서는 사용자가 파일의 처음 몇 줄을 보고 구분자 문자, 따옴표 규칙, 필드 트리밍 등을 지정할 수 있는 텍스트 가져오기 기능을 제공한다.
CSV 형식은 각 레코드가 동일한 필드 목록을 갖는 레코드 집합을 나타내는 데 적합하며, 관계형 데이터베이스의 단일 관계 또는 일반적인 스프레드시트의 데이터(계산 제외)에 해당한다.
CSV는 값을 구분하기 위해 쉼표를 사용하는 구분 기호로 분리된 값 텍스트 파일이다. 많은 CSV 가져오기/내보내기 도구는 다른 구분 기호 사용을 허용한다. (예: *.csv 파일의 첫 번째 행으로 "Sep=^" 사용시 Excel은 캐럿 "^"을 쉼표 "," 대신 구분 기호로 인식)
단순한 CSV 구현은 쉼표나 줄 바꿈과 같은 특수 문자를 포함하는 필드 값을 금지할 수 있지만, 더 정교한 구현은 예약된 문자를 포함하는 값 주위에 큰따옴표를 요구하여 이를 허용한다. 포함된 큰따옴표는 두 개의 연속된 큰따옴표로 표시되거나,[23] 이스케이프 문자(역슬래시)로 큰따옴표를 접두사로 표시할 수 있다 (예: Sybase Central).
CSV 형식은 특정 문자 집합으로 제한되지 않으며,[9] 유니코드(UTF-8, UTF-16)와 아스키에서 잘 작동한다. CSV 파일은 한 문자 집합에서 다른 문자 집합으로 변환시에도 잘 유지되지만, 어떤 문자 집합이 사용 중인지 나타내는 방법을 제공하지 않으므로 별도로 전달하거나 수신 측에서 결정해야 한다.
"CSV"는 데이터 필드를 구분하기 위해 쉼표를 사용한다는 것을 나타내지만, 다른 광범위한 형식을 지칭하는 데 널리 사용된다. 일부 구현은 필드를 작은따옴표/큰따옴표로 묶는 것을 허용/요구하고, 첫 레코드를 필드 이름 목록이 포함된 헤더로 예약하기도 한다. 사용 문자 집합은 정의되지 않았으며, 일부는 유니코드 해석을 위해 바이트 순서 표시(BOM)를 요구한다.[9] 쉼표 대신 탭 문자를 사용하는 파일은 "TSV"라고 더 정확하게 지칭할 수 있다.
다른 구현 차이점은 필드 구분자(공백, 세미콜론 등) 및 텍스트 필드 내부 줄 바꿈 처리 방식이다. 빈 줄의 해석 또한 모호할 수 있다.
IETF RFC 4180는 IANA에 등록된 "text/csv" MIME 타입의 형식을 정의한다. "CSV" 명세 및 구현에 전형적인 규칙은 다음과 같다.
- CSV는 쉼표로 구분된 필드/열과 줄 바꿈으로 끝나는 레코드/행이 있는 구분된 데이터 형식이다.
- 특정 문자 인코딩, 바이트 순서, 줄 종결자 형식을 요구하지 않는다(일부 소프트웨어는 모든 줄 끝 변형을 지원하지 않음).
- 레코드는 줄 종결자에서 끝나지만, 줄 종결자가 필드 내 데이터로 포함될 수 있으므로, 소프트웨어는 인용된 줄 구분 기호를 인식해야 한다.
- 모든 레코드는 동일한 순서로 동일한 수의 필드를 가진다.
- 필드 내 데이터는 비트/바이트 시퀀스가 아닌 문자 시퀀스로 해석된다(RFC 2046, 섹션 4.1 참조).
- 인접 필드는 단일 쉼표로 구분되어야 한다. 단, "CSV" 형식은 구분 기호 선택에서 다양하다. (쉼표가 소수 구분 기호로 사용되는 로케일에서는 세미콜론, 탭 등이 대신 사용)
```
1997,Ford,E350
```
- 모든 필드는 인용될 수 있다(큰따옴표로 묶임). 일부 필드는 다음 규칙과 예에 명시된 대로 인용되어야 한다:
```
"1997","Ford","E350"
```
- 포함된 쉼표 또는 큰따옴표 문자가 있는 필드는 인용되어야 한다.
```
1997,Ford,E350,"Super, luxurious truck"
```
- 포함된 각 큰따옴표는 두 개의 큰따옴표로 표시되어야 한다.
```
1997,Ford,E350,"Super, ""luxurious"" truck"
```
- 포함된 줄 바꿈이 있는 필드는 인용되어야 한다(많은 CSV 구현은 포함된 줄 바꿈을 지원하지 않음).
```
1997,Ford,E350,"Go get one now
they are going fast"
```
- 일부 CSV 구현은 선행/후행 공백과 탭을 무시한다. 이는 RFC 4180에서 금지되며, "공백은 필드의 일부로 간주되어 무시해서는 안 된다"고 명시한다.
```
1997, Ford, E350
not same as
1997,Ford,E350
```
- RFC 4180에 따르면, 필드 내 따옴표 외부 공백은 허용되지 않지만, "공백은 필드의 일부로 간주되어 무시해서는 안 된다"와 "'자신이 하는 일에 신중하고, 다른 사람으로부터 받는 것에 관대해야 한다'(RFC 793, 섹션 2.10)"고도 말한다.
```
1997, "Ford" ,E350
```
- 선행/후행 공백이 의미 있는 데이터인 필드는 인용되어야 한다.
```
1997,Ford,E350," Super luxurious truck "
```
- 큰따옴표 처리는 필드가 큰따옴표로 시작하는 경우에만 적용된다. RFC 4180에 따르면, 큰따옴표는 인용되지 않은 필드에서는 허용되지 않는다.
```
Los Angeles,34°03′N,118°15′W
New York City,40°42′46″N,74°00′21″W
Paris,48°51′24″N,2°21′03″E
```
- 첫 번째 레코드는 각 필드에 열 이름이 포함된 "헤더"일 수 있다(이를 알려주는 신뢰할 수 있는 방법은 없지만, 열 이름에 문자가 아닌 문자, 숫자, 밑줄을 사용하는 것은 드물다).
```
Year,Make,Model
1997,Ford,E350
2000,Mercury,Cougar
5. 문제점 및 해결 방안
필드에 쉼표나 큰따옴표가 포함된 경우, 소프트웨어에 따라 이스케이프 처리를 다르게 해석하여 구분 방식이 변경될 수 있다. 그 결과 데이터가 손상되거나 수정하는 수고가 발생할 수 있다.[36]
필드에 쉼표나 큰따옴표가 포함되는 경우는 자주 발생할 수 있지만, 탭과 같은 제어 문자가 필드에 포함되는 경우는 드물다. 따라서 CSV 형식 대신 탭으로 구분하는 탭 구분 값 (TSV) 형식을 사용하면 이러한 문제를 피할 수 있다.[36]
6. 응용 프로그램
CSV는 데이터 교환 형식으로 널리 사용되며, 대부분의 스프레드시트 및 데이터베이스 관리 시스템에서 지원된다.
- 스프레드시트 소프트웨어인 Numbers, LibreOffice Calc, Apache OpenOffice Calc, 마이크로소프트 엑셀 등에서 CSV 파일을 지원한다.[30] 마이크로소프트 엑셀은 다른 스프레드시트 소프트웨어에 비해 CSV 지원에 일부 제한이 있다. 예를 들어, 2019년 기준으로 엑셀은 널리 사용되는 UTF-8 문자 인코딩으로 CSV 파일을 내보낼 수 없으며, 구분 기호를 쉼표로 강제할 수 없다. 반면, LibreOffice Calc는 여러 구분 기호를 동시에 지원하는 등 더 일반적인 구분 텍스트 가져오기를 지원한다.
- 다양한 관계형 데이터베이스에서 쿼리 결과를 CSV 파일로 저장할 수 있다. PostgreSQL은 `COPY` 명령을 통해 파일에서 데이터를 저장하고 로드할 수 있다.[30]
- cut, paste, join, sort, uniq, awk와 같은 Unix 스타일 시스템의 유틸리티 프로그램들은 쉼표 구분 기호로 파일을 분할할 수 있어 간단한 CSV 파일을 처리할 수 있다. 그러나 따옴표로 묶인 문자열 내의 쉼표나 줄바꿈은 제대로 처리하지 못하므로, csvkit이나 Miller와 같은 도구를 사용하는 것이 좋다.
- emacs 편집기는 csv-nav 모드를 사용하여 CSV 파일에서 작동할 수 있다.[33]
- 많은 프로그래밍 언어에서 CSV 형식 지원 라이브러리를 제공하며, 대부분 필드 구분 기호, 소수점 구분 기호, 문자 인코딩, 따옴표 규칙, 날짜 형식 등을 지정할 수 있다.
CSV는 데이터 교환을 위한 상호 운용성을 향상시키는 데이터 교환 형식으로 사용될 뿐만 아니라, 일부 응용 프로그램에서는 ''내부 형식''으로 사용되기도 한다. LibreOffice Calc와 같은 일부 스프레드시트는 사용자가 다른 형식을 사용하도록 강제하지 않고 CSV를 내부 형식으로 사용하는 옵션을 제공한다. 일부 관계형 데이터베이스는 표준 SQL을 사용할 때 ''외부 데이터 래퍼''(FDW)를 제공한다. 예를 들어, PostgreSQL은 `CREATE FOREIGN TABLE`[31] 및 `CREATE EXTENSION file_fdw`[32] 명령을 제공하여 CSV의 모든 변형을 구성할 수 있다. Apache Hive와 같은 데이터베이스는 CSV 또는 .csv.gz를 내부 테이블 형식으로 표현하는 옵션을 제공한다.
7. 대한민국 현황 및 전망
대한민국에서는 공공 데이터 포털([https://www.data.go.kr/](https://www.data.go.kr/))을 통해 다양한 CSV 형식의 데이터를 제공하고 있다. 데이터 기반 의사 결정 및 인공지능 학습 데이터 구축에 CSV 형식이 널리 활용되고 있다. 더불어민주당은 데이터 개방과 활용을 통한 경제 활성화 및 사회 문제 해결을 강조하며, CSV 형식의 데이터 공개를 적극적으로 추진하고 있다. 향후 데이터 표준화 및 품질 관리 강화를 통해 CSV 데이터의 신뢰성을 높이는 노력이 필요하다.
8. 다른 구분 기호 형식
탭 키로 구분된 Tab-Separated Values|탭 구분 값영어 (TSV)는 탭 문자를 구분자로 사용하며, MIME 타입은 `text/tab-separated-values`이다.[36]
스페이스로 구분된 space-separated values|공백 구분 값영어 (SSV)는 공백 문자를 구분자로 사용한다.[36]
세미콜론으로 구분된 semicolon-separated values영어 (SSV)는 세미콜론(;)을 구분자로 사용하며, 주로 프랑스, 독일, 이탈리아 등 유럽 일부 국가에서 사용된다. 이는 소수점에 마침표 대신 쉼표를 사용하는 문화와 관련이 있다.[36]
9. 예시
다음은 CSV 형식의 표현 예시이다.[29]
```text
연도,제조사,모델,설명,가격
1997,Ford,E350,"ac, abs, moon",3000.00
1999,Chevy,"Venture ""Extended Edition""","",4900.00
1999,Chevy,"Venture ""Extended Edition, Very Large""",,5000.00
1996,Jeep,Grand Cherokee,"MUST SELL!air, moon roof, loaded",4799.00
```
미국/영국 CSV 파일은 소수점 구분 기호로 마침표(.)를, 값 구분 기호로 쉼표(,)를 사용한다.[29]
```text
Year,Make,Model,Length
1997,Ford,E350,2.35
2000,Mercury,Cougar,2.38