AWK

3. AWK 프로그램의 구조

AWK 프로그램은 '패턴 { 동작 }' 형태의 명령들이 여러 줄 이어진 구조로 되어 있다. 여기서 '패턴'은 주로 정규 표현식을 사용하여, 입력 레코드(일반적으로 한 줄)가 특정 조건을 만족하는지 검사한다. '동작'은 패턴과 일치하는 레코드에 대해 실행되는 명령어 집합이다.^[13] 예를 들어, `/사과/ { print }`와 같은 프로그램은 입력에서 "사과"라는 문자열을 포함하는 모든 줄을 출력한다.

`BEGIN`과 `END`는 특수한 패턴이다. `BEGIN`은 입력을 처리하기 전에, `END`는 모든 입력을 처리한 후에 실행되는 동작을 정의한다. 프로그램 시작과 끝에서 특정 작업을 수행하는 데 사용된다.^[13]

AWK 프로그램은 `조건 { 동작 }` 형태로 구성될 수 있다. 조건이 참인 경우에만 동작이 실행되며, 조건이나 동작 중 하나는 생략 가능하다. 조건이 생략되면 모든 레코드에 대해 동작이 실행되고, 동작이 생략되면 기본 동작인 레코드 출력이 수행된다. AWK는 정규 표현식과 일치하는 연산자 `~`를 포함하며, `/regexp/`는 현재 레코드와 일치하는 정규 표현식을 나타내는 편리한 구문이다.

AWK 스크립트는 패턴과 액션의 조합을 나열한 형태이다. 실행 시 먼저 `BEGIN` 패턴의 액션을 실행하고, 입력을 레코드 구분자(기본값은 개행 문자)와 필드 구분자(기본값은 연속된 스페이스 또는 수평 탭)를 기준으로 레코드와 필드로 분할한다. 각 레코드가 패턴에 일치하는지 검사하여 일치하면 해당 액션을 실행한다. 일치하는 패턴이 여러 개면 해당 액션들이 순서대로 실행된다. 입력이 소진될 때까지 반복 후 `END` 패턴의 액션을 실행하고 종료한다.

AWK의 제1급 객체 자료형은 숫자(배정밀도 부동 소수점)와 문자열이다. 연관 배열도 지원하지만, 제1급 객체는 아니다.

다음은 빈 줄 수와 "사과", "사과" 또는 "애플" 문자열을 포함하는 행 수를 출력하는 예제이다.

```awk

BEGIN {

blank_line = 0

bol_apple = 0

}

/^$/ {

++blank_line

}

/(사과|사과|애플)/ {

++bol_apple

}

END {

print "빈 줄은" blank_line "행입니다."

print "「사과」·「사과」또는「애플」이라는 문자열을 포함하는 것은" bol_apple "행입니다."

}

```

`BEGIN` 블록은 필수가 아니지만, 변수를 명시적으로 초기화하는 것이 좋다.

패턴에는 시작과 종료를 정의하는 패턴도 가능하다. 예를 들어, `/" 포함 행까지 출력한다.

3. 1. 명령어

3. 2. 내장 변수

`$0`은 전체 레코드를, `$1`, `$2`, `$3` 등은 레코드 내 개별 텍스트 필드의 텍스트 또는 값을 저장하는 필드 변수이다.

3. 3. 제어 구조

• if문

• for/while문

• 기타

4. 문법

AWK에서 변수 이름은 알파벳 대소문자와 숫자^[37]의 조합으로 만들 수 있지만, AWK의 예약어는 변수 이름으로 사용할 수 없다. `+`, `-`, `*`, `/`는 각각 덧셈, 뺄셈, 곱셈, 나눗셈을 나타낸다. 문자열 결합은 두 변수나 문자열 상수를 나란히 배치하여 수행한다. 문자열 상수는 겹따옴표로 구분하며, 문장은 세미콜론으로 끝낼 필요가 없다. 주석은 `#` 기호로 시작한다.^[37]

AWK 스크립트는 패턴과 액션의 조합을 나열한 형태이다. 실행 시작 시 `BEGIN` 패턴의 액션을 실행하고, 이후 입력을 읽어 레코드 구분자(기본값은 개행 문자)를 기준으로 레코드를 분할하고, 필드 구분자(기본값은 연속된 스페이스 또는 수평 탭)를 기준으로 필드를 분할한다. 레코드가 패턴과 일치하면 해당 액션을 실행하며, 일치하는 패턴이 여러 개이면 해당 액션들을 순서대로 모두 실행한다. 입력이 소진될 때까지 이 과정을 반복하고, 입력이 소진되면 `END` 패턴의 액션을 실행하고 종료한다.

AWK의 자료형에는 숫자(배정밀도 부동 소수점형으로 처리)와 문자열이 있다. 연관 배열(해시 테이블)도 지원하는데, 문자열을 키로 사용하며, 연관 배열의 내용은 연관 배열로 할 수 없다. 다차원 배열처럼 보이는 접근도 가능하지만, 실제로는 각 차원을 문자열로 변환하고 `SUBSEP` 변수의 문자열(기본값은 )을 구분자로 연결하여 키로 접근한다.

기본 스크립트 구성은 다음과 같다:

```awk

BEGIN {

시작 시 처리

}

패턴1 {

액션1

}

패턴2 {

액션2

}

# 주석

END {

종료 시 처리

}

```

`BEGIN`과 `END` 액션은 필수 사항이 아니다.

AWK는 변수 타입을 명시적으로 선언하지 않는다. 변수는 프로그램에서 사용될 때 암묵적으로 초기화되며, 아직 할당되지 않은 변수는 `0` 또는 `""`으로 초기화된 것으로 간주한다.

AWK는 문맥에 따라 값을 자동으로 변환한다. 산술 연산과 같이 숫자가 필요한 문맥에서는 값을 숫자로 변환하고, 문자열이 필요한 문맥에서는 문자열로 변환한다. 예를 들어:

```awk

a = "01"

b = 2

d = a + b

e = a + b + c

```

위 예에서 `d`와 `e`의 값은 모두 `3`이 된다. 이러한 암묵적 변환은 편리하지만, 사용자의 의도와 다른 결과를 초래할 수 있다. 변수를 반드시 숫자 또는 문자열로 사용해야 하는 경우, `x + 0`과 같이 0을 더하거나 `x ""`와 같이 빈 문자열을 결합하는 방법을 사용하기도 한다.

5. 활용 예제

awk

BEGIN { print "Hello, world!" }

```

AWK로 작성된 "Hello, World!" 프로그램이다. BEGIN 규칙은 프로그램이 시작될 때 한 번 실행되며, "Hello, world!"를 출력한다.

```awk

length > 80

```

80자 이상인 줄만 출력한다. `length`는 현재 줄의 길이를 나타내며, 별도의 동작이 지정되지 않으면 기본 동작인 `print`가 실행되어 해당 줄을 출력한다.

```awk

{ w += NF; c += length}

END { print NR, w, c }

```

파일의 줄 수(NR), 단어 수(w), 문자 수(c)를 계산하여 출력한다. `NF`는 현재 줄의 필드(단어) 개수를 나타내며, `length`는 현재 줄의 길이를 나타낸다. 각 줄마다 단어 수(w)와 문자 수(c)를 누적하고, END 블록에서 총 줄 수, 단어 수, 문자 수를 출력한다.

```awk

{ s += $1 }

END { print s }

```

각 줄의 첫 번째 필드의 값을 모두 더하여 총합(s)을 출력한다.

```awk

NR % 4 == 1, NR % 4 == 3 { printf "%6d %s\n", NR, $0 }

```

입력 파일에서 1, 2, 3번째 줄을 출력하고 4번째 줄은 건너뛴 후, 5, 6, 7번째 줄을 출력하고 8번째 줄은 건너뛰는 방식으로, 4의 배수 번째 줄을 제외하고 나머지 줄들을 줄 번호와 함께 출력한다. `NR`은 현재 줄 번호를 나타내며, `%`는 나머지 연산자이다. `printf` 함수는 C 언어의 `printf`와 유사하게 작동하며, 출력 형식을 지정할 수 있다.

```awk

/^--cut here--$/, 0

```

"--cut here--"라는 문자열로 시작하는 줄부터 파일 끝까지 모든 줄을 출력한다.

```awk

BEGIN {

FS="[^a-zA-Z]+"

}

{

for (i=1; i<=NF; i++)

words[tolower($i)]++

}

END {

for (i in words)

print i, words[i]

}

```

단어 빈도를 계산하여 각 단어와 그 빈도를 출력한다. `FS`는 필드 구분자를 설정하며, 여기서는 영문자가 아닌 문자들의 연속을 필드 구분자로 지정한다. 각 줄의 모든 필드(단어)를 소문자로 변환(`tolower`)하여 `words` 배열에 빈도를 저장하고, END 블록에서 각 단어와 빈도를 출력한다.

```bash

#!/bin/sh

pattern="$1"

shift

awk '/'"$pattern"'/ { print FILENAME ":" $0 }' "$@"

```

셸 스크립트를 사용하여 특정 패턴을 포함하는 줄을 찾고, 파일 이름과 함께 해당 줄을 출력한다. 첫 번째 인자로 패턴을 받고, `awk`를 실행하여 패턴과 일치하는 줄을 찾는다.

```bash

#!/bin/sh

export pattern="$1"

shift

awk '$0 ~ ENVIRON["pattern"] { print FILENAME ":" $0 }' "$@"

```

`ENVIRON` 배열을 사용하여 셸 스크립트에서 AWK로 환경 변수를 전달하고, 특정 패턴을 포함하는 줄을 파일 이름과 함께 출력한다.

```bash

#!/bin/sh

pattern="$1"

shift

awk '$0 ~ pattern { print FILENAME ":" $0 }' "pattern=$pattern" "$@"

```

명령줄 변수 할당을 사용하여 셸 스크립트에서 AWK로 패턴을 전달하고, 특정 패턴을 포함하는 줄을 파일 이름과 함께 출력한다.

```awk

BEGIN {

pattern = ARGV[1]

for (i = 1; i < ARGC; i++) # remove first argument

ARGV[i] = ARGV[i + 1]

ARGC--

if (ARGC == 1) { # the pattern was the only thing, so force read from standard input (used by book)

ARGC = 2

ARGV[1] = "-"

}

}

$0 ~ pattern { print FILENAME ":" $0 }

```

순수 AWK로 작성된 스크립트로, 첫 번째 인자를 패턴으로 받아 특정 패턴을 포함하는 줄을 파일 이름과 함께 출력한다. `ARGV` 배열을 조작하여 첫 번째 인자를 제거하고, 표준 입력에서 읽도록 설정한다.

6. 한국어 처리

AWK는 기본적으로 멀티바이트 문자를 지원하므로, 한국어 텍스트 처리에 활용할 수 있다. `gawk` 등 일부 구현체는 한국어 문자열 처리를 위한 확장 기능을 제공하기도 한다. 한국어 텍스트 처리 시, 필드 구분자(`FS`) 및 레코드 구분자(`RS`) 설정을 적절히 조정하여 원하는 결과를 얻을 수 있다.

하위 섹션에서 구체적인 한국어 처리 예제를 통해 자세한 내용을 확인할 수 있다.

6. 1. 한국어 처리 예제

참조

_[1] 웹사이트 Get started with GAWK: AWK language fundamentals https://www6.softwar[...] IBM 2006-09-19
_[2] 서적 UNIX Workshop Macmillan International Higher Education
_[3] 서적 Effective Awk Programming: Universal Text Processing and Pattern Matching O'Reilly Media
_[4] 잡지 The Great awk Program is No Birdbrain 1988-05-02
_[5] 웹사이트 Applying Minilanguages http://www.faqs.org/[...]
_[6] 기술보고서 Awk — A Pattern Scanning and Processing Language (Second Edition) https://citeseerx.is[...] Bell Telephone Laboratories, Inc. 1978-09-01
_[7] Youtube UNIX Special: Profs Kernighan & Brailsford https://www.youtube.[...] 2015-09-30
_[8] 웹사이트 The Single UNIX Specification, Version 3, Utilities Interface Table http://www.unix.org/[...]
_[9] 기술보고서 Linux Standard Base Core Specification 4.0 https://refspecs.lin[...] 2008
_[10] 서적 The Insider's Guide To The Universe https://www.1000bit.[...] Charles River Data Systems, Inc.
_[11] 서적 sed & awk O'Reilly 1997
_[12] 웹사이트 The GNU Project and Me: 27 Years with GNU AWK http://www.skeeve.co[...] 2014-03
_[13] 웹사이트 The A-Z of Programming Languages: AWK https://www.computer[...] 2008-05-30
_[14] 웹사이트 Records (The GNU Awk User's Guide) https://www.gnu.org/[...]
_[15] 컨퍼런스 An AWK to C++ Translator https://www.cs.princ[...] 1991-04-24
_[16] 서적 The AWK Programming Language https://archive.org/[...] Addison-Wesley Publishing Company
_[17] 웹사이트 FreeBSD's work log for importing BWK awk into FreeBSD's core http://www.freebsd.o[...] 2005-05-16
_[18] 웹사이트 CSV Processing With gawk (using the gawk-csv extension) https://gawkextlib.s[...]
_[19] 뉴스 Examining the TAWK Compiler https://www.drdobbs.[...] 1997-05-01
_[20] 웹사이트 'Jawk' at SourceForge http://sourceforge.n[...]
_[21] 웹사이트 'xgawk' Home Page http://gawkextlib.so[...]
_[22] 웹사이트 QSEAWK at GitHub https://github.com/h[...]
_[23] 웹사이트 CLAWK at GitHub https://github.com/s[...]
_[24] 서적 GAWK: Effective AWK Programming: A User's Guide for GNU Awk
_[25] 웹사이트 AWK(オーク)でプログラミング https://books.google[...] Googleブックス
_[26] 웹사이트 awk 【Aho Kerninghan Weinberger】 https://e-words.jp/w[...] IT用語辞典
_[27] 웹사이트 【 awk 】コマンド（基本編）――テキストの加工とパターン処理を行う https://atmarkit.itm[...] ITmedia
_[28] 문서 프로그래밍 언어 AWK (일본어판 서문)
_[29] Github awk source repository https://github.com/o[...]
_[30] 웹사이트 awk http://pubs.opengrou[...] IEEE 및 The Open Group 2013
_[31] 웹사이트 Relevant Commands http://refspecs.linu[...] Linux Foundation 2015
_[32] 웹인용 Get started with GAWK: AWK language fundamentals https://www6.softwar[...] IBM 2006-09-19
_[33] 서적 UNIX Workshop Macmillan International Higher Education
_[34] 서적 Effective Awk Programming: Universal Text Processing and Pattern Matching O'Reilly Media
_[35] 문서 래리 월과 AWK, 펄의 개발 배경
_[36] 문서 필드 정의
_[37] 문서 허용 문자