정보 필터링 시스템

1. 개요

정보 필터링 시스템은 사람들이 가치 있는 정보를 찾도록 돕는 도구로, 정보의 유해성, 유용성, 관련성 등을 기준으로 정보를 분류하고 제공한다. 인터넷 이전 시대에는 정부나 언론이 정보 흐름을 통제하는 역할을 했지만, 인터넷의 등장으로 정보 과잉 문제가 발생하면서 정보 필터링 시스템의 필요성이 대두되었다. 이러한 시스템은 학습 시스템을 기반으로 작동하며, 자동화와 오류 개선을 통해 발전하고 있다. 현재 웹 환경뿐만 아니라 음성 인식, 천문학 분류, 금융 위험 평가 등 다양한 분야에서 활용되고 있으며, 한국 사회에도 긍정적, 부정적 영향과 윤리적 문제, 정치적 영향을 미친다.

2. 역사

인터넷이 등장하기 전에도 이미 여러 가지 정보 필터링 방법이 존재했다. 예를 들어, 정부는 공식 또는 비공식 검열을 통해 특정 국가 내 정보 흐름을 통제하고 제한할 수 있었다.

반면, 우리는 신문 편집자나 저널리스트가 독자, 책, 잡지, 라디오 청취자, TV 시청자 등 고객에게 가장 가치 있는 정보를 선택하여 제공하는 서비스를 정보 필터라고 부른다. 이러한 필터링 작업은 학교와 대학교에서도 나타나는데, 이곳에서는 학문적 기준에 따라 이 서비스의 고객인 학생들에게 정보를 선택하여 제공한다. 인터넷의 등장으로 누구나 저렴한 비용으로 원하는 내용을 게시할 수 있게 되었다. 이로 인해 덜 유용한 정보가 상당히 증가하고 결과적으로 양질의 정보가 분산되었다. 이러한 문제로 인해, 각 특정 주제에 대해 쉽고 효율적으로 필요한 정보를 얻을 수 있는 새로운 필터링 방법이 고안되기 시작했다.

2.1. 인터넷 이전 시대

인터넷이 등장하기 전에도 여러 가지 정보 필터링 방법이 존재했다. 정부는 공식 또는 비공식 검열을 통해 특정 국가 내 정보 흐름을 통제하고 제한할 수 있었다.

반면, 신문 편집자나 저널리스트는 독자, 책, 잡지, 라디오 청취자, TV 시청자 등 고객에게 가장 가치 있는 정보를 선택하여 제공하는 서비스를 정보 필터라고 부른다. 이러한 필터링 작업은 학교와 대학교에서도 나타나는데, 이곳에서는 학문적 기준에 따라 이 서비스의 고객인 학생들에게 정보를 선택하여 제공한다.

2.2. 인터넷 시대

인터넷이 등장하기 전에도 여러 가지 정보 필터링 방법이 존재했다. 정부는 검열을 통해 정보 흐름을 통제했고, 신문 편집자나 저널리스트는 독자에게 가치 있는 정보를 선택하여 제공했다. 학교와 대학교에서도 학문적 기준에 따라 학생들에게 정보를 선택하여 제공했다.

인터넷의 등장으로 누구나 저렴한 비용으로 원하는 내용을 게시할 수 있게 되면서 정보 접근성이 획기적으로 증가했지만, 정보 과잉 문제가 발생했다. 덜 유용한 정보가 증가하고 양질의 정보가 분산되면서, 특정 주제에 대해 쉽고 효율적으로 필요한 정보를 얻을 수 있는 새로운 필터링 방법이 고안되기 시작했다.

3. 작동 방식

정보 필터링 시스템은 사람들이 가장 가치 있는 정보를 찾도록 돕는 여러 도구로 구성되어 있어, 읽기/듣기/보기에 할애할 수 있는 제한된 시간을 가장 흥미롭고 가치 있는 문서에 올바르게 사용할 수 있도록 한다. 이러한 필터는 또한 올바르고 이해하기 쉬운 방식으로 정보를 구성하고 구조화하는 데 사용되며, 메일 주소에 있는 메시지를 그룹화하는 데에도 사용된다. 이러한 필터는 인터넷 검색 엔진에서 얻은 결과에 필수적이다. 필터링 기능은 웹 문서를 다운로드하고 메시지를 보다 효율적으로 처리하기 위해 매일 개선되고 있다.

정보 필터링은 정보의 유해성, 유용성, 관련성 등 다양한 기준을 기반으로 작동한다. 유해한 정보를 제거하고 유용한 정보를 제공하는 것이 정보 필터링의 주요 목표 중 하나이다. 정보 필터링 단계에서 사용되는 기준 중 하나는 해당 지식이 유해한지 여부, 즉 지식이 개념의 유무에 관계없이 더 나은 이해를 가능하게 하는지 여부이다. 이 경우, 지식을 통해 유해한 정보를 줄이거나 제거하는 것이 정보 필터링의 과제이다.

정보 필터링 시스템은 일반적으로 다음과 같은 세 단계로 구성된 학습 시스템을 기반으로 한다.

# 정의된 일련의 작업에 대한 솔루션을 제공하는 시스템이다.
# 이전 단계의 문제 해결 능력과 관련하여 성능을 측정하는 평가 기준을 거친다.
# 첫 번째 단계의 시스템 해결사에서 사용되는 지식을 출력으로 얻는 습득 모듈이다.

3.1. 기준

정보 필터링은 정보의 유해성, 유용성, 관련성 등 다양한 기준을 기반으로 작동한다. 유해한 정보를 제거하고 유용한 정보를 제공하는 것이 정보 필터링의 주요 목표 중 하나이다. 정보 필터링 단계에서 사용되는 기준 중 하나는 해당 지식이 유해한지 여부, 즉 지식이 개념의 유무에 관계없이 더 나은 이해를 가능하게 하는지 여부이다. 이 경우, 지식을 통해 유해한 정보를 줄이거나 제거하는 것이 정보 필터링의 과제이다.

3.2. 학습 시스템

정보 필터링 시스템은 일반적으로 다음과 같은 세 단계로 구성된 학습 시스템을 기반으로 한다.

# 정의된 일련의 작업에 대한 솔루션을 제공하는 시스템이다.
# 이전 단계의 문제 해결 능력과 관련하여 성능을 측정하는 평가 기준을 거친다.
# 첫 번째 단계의 시스템 해결사에서 사용되는 지식을 출력으로 얻는 습득 모듈이다.

4. 미래

현재 정보 필터링 기술의 문제는 정보를 필터링하는 최적의 방법을 찾는 것이 아니라, 이러한 시스템이 사용자의 정보 요구 사항을 독립적으로 학습해야 하는 방식에 있다. 이는 필터링 과정을 자동화할 뿐만 아니라 필터의 구성과 적응까지 자동화하기 때문이다. 통계학, 머신 러닝, 패턴 인식, 데이터 마이닝과 같은 몇몇 관련 분야는 경험에 따라 나타나고 적응하는 정보 필터를 개발하는 기반이 된다. 학습 과정을 수행하기 위해 정보의 일부는 사전 필터링되어야 하며, 이는 전문가가 생성하거나 일반 사용자의 피드백을 통해 얻을 수 있는 긍정적 및 부정적 예제, 즉 훈련 데이터를 의미한다.

4.1. 자동화

정보 필터링 시스템의 자동화는 필터링 과정뿐만 아니라 필터의 구성 및 적응까지 자동화하는 것을 목표로 한다. 이를 위해 통계학, 머신 러닝, 패턴 인식, 데이터 마이닝 등 다양한 분야의 기술이 활용된다. 학습 과정에는 전문가가 생성하거나 일반 사용자의 피드백을 통해 얻은 긍정적 및 부정적 예제, 즉 훈련 데이터가 사용된다.

4.2. 오류

데이터가 입력되면 시스템은 새로운 규칙을 포함한다. 이 데이터가 훈련 데이터 정보를 일반화할 수 있다고 간주한다면, 시스템 개발을 평가하고 시스템이 새로운 정보의 범주를 올바르게 예측하는 능력을 측정해야 한다. 이 단계는 훈련 데이터를 "테스트 데이터"라는 새로운 계열로 분리하여 오류율을 측정함으로써 단순화된다. 일반적으로 오류 유형(거짓 긍정 및 거짓 부정)을 구별하는 것이 중요하다. 예를 들어, 어린이를 위한 콘텐츠 수집기의 경우, 폭력이나 포르노를 보여주는 어린이에게 적합하지 않은 정보가 통과되도록 허용하는 것과 적절한 정보를 버리는 실수는 그 심각성이 다르다.

오류율을 낮추고 인간과 유사한 학습 능력을 갖춘 시스템을 개선하려면, 자연어 이해, 의미 포착, 일반 및 기타 고급 처리 형태를 통해 정보의 의미론을 달성하는 등 인간의 인지 능력을 시뮬레이션하는 시스템의 개발이 필요하다.

5. 활용 분야

오늘날에는 정보 필터를 개발하는 수많은 기술이 있으며, 이 중 일부는 다양한 실험에서 10% 미만의 오류율을 달성한다. 이러한 기술에는 의사 결정 트리, 서포트 벡터 머신, 신경망, 베이즈 네트워크, 선형 판별 분석, 로지스틱 회귀 등이 있다.

현재 이러한 기술은 웹 환경뿐만 아니라 음성 인식, 망원경 천문학 분류, 금융 위험 평가와 같이 다양한 주제에서 여러 응용 분야에 사용된다.

5.1. 다양한 활용 사례

오늘날에는 정보 필터를 개발하는 수많은 기술이 있으며, 이 중 일부는 다양한 실험에서 10% 미만의 오류율을 달성한다. 이러한 기술에는 의사 결정 트리, 서포트 벡터 머신, 신경망, 베이즈 네트워크, 선형 판별 분석, 로지스틱 회귀 등이 있다.

현재 이러한 기술은 웹 환경뿐만 아니라 음성 인식, 망원경 천문학 분류, 금융 위험 평가와 같이 다양한 주제에서 여러 응용 분야에 사용된다.

6. 한국 사회에 미치는 영향

6.1. 긍정적 영향

6.2. 부정적 영향 및 윤리적 문제

6.3. 정치적 영향