텍스트 처리

3. 역사

컴퓨터 텍스트 처리의 개발은 클린의 '정규 언어' 공식화와 함께 본격적으로 시작되었다. 이러한 '정규 표현식'은 일단 해당 언어가 확장되면 컴파일 과정을 거쳐 모든 편집을 수행할 수 있는 미니 프로그램이 될 수 있었다. 이와 유사하게, '필터'는 특정 '옵션'을 진화시킴으로써 확장된다.

4. 기본 개념

텍스트 처리는 단순한 "텍스트 편집" 응용 프로그램이 아닌 "텍스트 처리 유틸리티"를 의미한다. 이는 마우스 방식(드래그 앤 드롭, 잘라내기 및 붙여넣기)보다는 키보드 방식이며, 임의 접근 방식이 아닌 순차 접근 방식이다. 또한, 표현 계층에서 직접 작동하며 응용 계층에서 간접적으로 작동하지 않는다. 텍스트 처리는 표준화되고 더 개방적으로 작동하는 원시 데이터를 사용하며, 독점적인 방법론을 지향하는 경향이 적다.

글꼴 및 색상과 같은 마크업은 실제로 구별되는 요소가 아니다. 이러한 것들에 영향을 미치는 문자 시퀀스는 호환 가능한 텍스트 편집기에서 투명하게 작동하도록 만들어진 "백그라운드 텍스트 처리" 모드에서 자동으로 삽입된 표준 문자일 뿐이지만, 해당 모드가 적용되지 않으면 "텍스트 처리 명령"으로 표시된다. 따라서 텍스트 처리는 기본적으로 (전부는 아니지만) 표준적이지만 보이지 않는 문자보다는 시각적 문자(그래핌)를 중심으로 정의된다.

편집기는 본질적으로 입력 스트림을 호출하여 명령 셸 또는 텍스트 편집기인 텍스트 처리 환경으로 전달한다. 결과 출력은 추가적인 텍스트 처리에 적용될 수 있으며, 최종 결과는 더 정교하고 구조화된 컴퓨터 프로그램에 의해 ''한 번'' 적용된 단일 알고리즘의 적용과 유사하다.

텍스트 처리는 알고리즘과 달리 패턴-액션 표현 및 필터링 메커니즘인 더 간단한 매크로의 수동으로 관리되는 시퀀스이다. 어느 경우든 프로그래머의 의도는 텍스트 처리 행위에서 주어진 일련의 텍스트 문자에 간접적으로 영향을 미친다. 텍스트 처리 단계의 결과는 때때로 희망적이며, 시도된 메커니즘은 정규 표현식 또는 마크업 언어의 세부 사항, 또는 유틸리티 옵션이 완전히 숙달될 때까지 시각적 피드백을 통해 여러 초안을 거치는 경우가 많다.

텍스트 처리는 컴퓨팅의 최고 수준에서 텍스트 문자를 생성하는 것과 주로 관련되며, 여기서 그 활동은 컴퓨팅의 실용적인 사용, 즉 정보의 ''수동'' 전송 바로 아래에 있다. 궁극적으로 모든 컴퓨팅은 텍스트 처리이다.

4. 1. 문자

5. 한국어 텍스트 처리의 특수성

한국어 텍스트 처리는 다른 언어, 특히 영어와 비교했을 때 몇 가지 특수한 어려움과 고려해야 할 점들이 있다.

• 교착어의 특성: 한국어는 교착어로, 조사나 어미가 단어에 붙어 문법적 기능을 나타낸다. 이러한 특성 때문에 띄어쓰기만으로는 단어를 정확하게 분리하기 어렵다. 예를 들어, "학교에서"는 "학교" (명사) + "에서" (조사)로 구성되어 있다. 따라서 형태소 분석을 통해 단어를 분리하고 각 형태소의 품사를 파악하는 과정이 필수적이다.
• 띄어쓰기 문제: 한국어는 띄어쓰기가 영어만큼 엄격하게 지켜지지 않는 경향이 있다. 띄어쓰기가 잘못되거나 생략되어도 의미가 통하는 경우가 많기 때문이다. 이로 인해 텍스트 처리 시스템이 단어를 정확하게 인식하는 데 어려움을 겪을 수 있다.
• 주어 생략: 한국어에서는 문맥상 주어가 명확한 경우 주어를 자주 생략한다. 이는 자연어 처리 시스템이 문장의 의미를 파악할 때 혼란을 야기할 수 있다.
• 높임말과 반말: 한국어에는 높임말과 반말이 존재하며, 이에 따라 어미나 조사가 달라진다. 이러한 차이를 제대로 반영하지 못하면 텍스트 처리 시스템의 정확도가 떨어질 수 있다.
• 외래어와 신조어: 한국어는 외래어와 신조어가 빈번하게 사용된다. 이러한 단어들은 형태소 분석기에 등록되어 있지 않은 경우가 많아 텍스트 처리의 어려움을 가중시킨다.

6. 텍스트 처리 도구 및 기술

'''텍스트 처리'''는 단순한 "텍스트 편집" 응용 프로그램이 아니라 "텍스트 처리 유틸리티"를 의미한다. 텍스트 처리는 다음과 같은 특징을 갖는다.

• "마우스 방식" (예: 드래그 앤 드롭, 잘라내기 및 붙여넣기)보다 "키보드 방식"으로 편집을 시작한다.
• 임의 접근 방식이 아닌 순차 접근 방식을 사용한다.
• 응용 계층에서 간접적으로 작동하지 않고 표현 계층에서 직접 작동한다.
• 독점적인 방법론을 지향하기보다 표준화되고 더 개방적으로 작동하는 원시 데이터를 사용한다.

7. 텍스트 처리의 활용 분야

텍스트 처리는 명령 셸이나 텍스트 편집기와 같은 텍스트 처리 환경에서 입력 스트림을 호출하여 작동한다. 그 결과는 추가적인 텍스트 처리에 사용될 수 있으며, 이는 정교한 컴퓨터 프로그램에서 단일 알고리즘을 적용하는 것과 유사하다.

텍스트 처리는 알고리즘과는 다르게 패턴-액션 표현과 필터링 메커니즘을 사용하는, 더 간단한 매크로들의 수동으로 관리되는 연속적인 과정이다. 프로그래머의 의도는 텍스트 처리 행위를 통해 주어진 텍스트 문자에 간접적으로 영향을 미친다. 텍스트 처리 단계의 결과는 때로는 예상과 다를 수 있으며, 정규 표현식이나 마크업 언어의 세부 사항, 또는 유틸리티 옵션이 완전히 숙달될 때까지 시각적 피드백을 통해 여러 번의 수정을 거치는 경우가 많다.

텍스트 처리는 주로 컴퓨팅의 최고 수준에서 텍스트 문자를 생성하는 것과 관련되며, 이는 정보의 '수동' 전송이라는 컴퓨팅의 실용적인 사용 바로 아래 단계에 해당한다.

궁극적으로 모든 컴퓨팅은 어셈블러의 자체 컴파일 텍스트 문자에서부터 그래픽 데이터 덩어리를 처리하기 위해 생성된 자동화된 프로그래밍 언어를 거쳐, 기존 텍스트 문서를 다듬는 정규 표현식의 메타문자에 이르기까지 모두 텍스트 처리의 과정이다.

텍스트 처리는 자체 자동화라고 할 수 있다.