역컴파일러

2. 디자인

역컴파일러는 역컴파일 과정에서 각각의 특별한 과정을 수행하는 것들의 집합으로 생각될 수 있다.

역컴파일러는 전체 역컴파일 과정의 특정 측면에 기여하는 일련의 단계로 구성된 것으로 생각할 수 있다.

;로더

: 로더는 실행 파일 또는 중간 언어 프로그램의 이진 파일 형식을 로드하고 분석하는 역할을 수행한다.^[5] 펜티엄, 파워PC와 같은 아키텍처 및 프로그램 시작 지점(entry point) 등의 기본적인 정보를 파악한다.^[5]

: 심볼 테이블 및 디버그 데이터가 있다면 함께 로드하며, C 언어의 `main` 함수와 같이 사용자가 작성한 코드의 시작점을 찾는다. 이때 런타임 초기화 코드는 제외된다.^[5]

: 코드와 연결된 라이브러리를 식별하여 라이브러리 인터페이스를 제공하고, 사용된 컴파일러 정보를 통해 코드 관용구를 파악하는 데 활용한다.^[5]

;디스어셈블리

: 기계어 명령어들의 디스어셈블리를 기계와 독립적인 중간 표현 형식(IR: intermediate representation)으로 변환한다. 예를 들어, 펜티엄 기계 명령어 `mov eax, [ebx+0x04]`는 `eax := m[ebx+4];`와 같은 IR로 번역될 수 있다.

;관용구

: 개별 명령어의 의미만으로는 파악하기 어려운, 결합된 의미를 가지는 코드 시퀀스(관용구)를 인식하고, 알려진 IR 형태로 변환한다. 예를 들어, x86 어셈블리 코드에서 `cdq eax; xor eax, edx; sub eax, edx`는 `eax := abs(eax);`로 변환될 수 있다.

: 몇몇 관용적 결과들은 머신에 독립적이다. 즉 오직 하나의 명령어에 관련된다. 예를 들면, `xor eax, eax`는 `eax` 레지스터를 비우는 명령이다. 이것은 `a xor a = 0` 같은 머신에 독립적인 간단한 규칙으로 간소화될 수 있다.

: 일반적으로 명령어 순서에 영향을 덜 미치게 하기 위해서 가능한 한 관용적 결과들에 대한 탐지는 늦추는게 좋다. 예를 들면, 컴파일러의 명령어 스케줄 단계에서는 다른 명령어를 관용적 결과에 삽입하거나 순서를 바꾸는 경우가 있다. 디스어셈블리 단계의 패턴 매칭 과정에서 바뀐 패턴을 인식하지 못할 수도 있다. 다음 단계에서 명령어 집합 표현들은 더 더 복잡한 표현들로 바뀌고 고전적인 형태로 수정하며 바뀐 관용구는 고급 패턴에 맞게 된다.

: 서브루틴 호출, 예외 처리 그리고 스위치 문으로 컴파일러 관용구를 인식하는 것은 특히 중요하다. 또한 몇몇 언어들은 문자열이나 긴 정수에 대한 광범위한 지원을 가진다.

;프로그램 분석

: 역컴파일러의 중간 표현(IR)에 대해 다양한 프로그램 분석을 수행할 수 있다. 특히, 표현식 전달은 여러 명령어들의 의미를 더 복잡한 표현식으로 통합하는 분석 기법이다. 예를 들어, 다음과 같은 어셈블리 코드를

```asm

mov eax,[ebx+0x04]

add eax,[ebx+0x08]

sub [ebx+0x0C],eax

```

: 표현식 전달을 통해 아래와 같은 IR로 변환할 수 있다.

```

m[ebx+12] := m[ebx+12] - (m[ebx+4] + m[ebx+8]);

```

: 이렇게 변환된 표현식은 더 고급 언어와 유사하며, 기계어 레지스터 `eax`의 사용을 제거하였다. 추가적인 분석을 통해 `ebx` 레지스터도 제거할 수 있다.

;데이터 흐름 분석

: 레지스터 내용, 임시 변수, 로컬 데이터 등이 정의되고 사용되는 위치는 데이터 흐름 분석을 통해 추적될 수 있다. 같은 분석은 임시 변수 및 로컬 데이터가 사용하는 위치에도 적용될 수 있다. 그 후 다른 이름은 값 정의 집합과 사용에 연결되어 구성된다. 같은 지역 변수의 위치는 원본 프로그램의 다른 부분의 변수들과 함께 사용될 수 있다. 더 심한 경우는, 실제로 절대 일어나지 않거나 현실에서는 중요하지 않지만, 데이터 흐름 분석 시에 값이 이러한 두 사용 사이에서 흐르는 경로를 인식하는 것이 가능할 수 있다. 좋지 않은 경우, 이것은 타입들의 결합으로서 위치에 대한 정의의 필요성으로 이어질 수 있다. 역컴파일러는 사용자에게 명백히 이러한 비자연스러운 의존성을 깨게 허용함으로써 더 깨끗한 코드로 만들 수 있다. 이것은 물론 변수가 잠재적으로 초기화 없이 사용됐다는 것이고, 원본 프로그램에서 문제가 나타나게 된다.

;타입 분석

: 좋은 기계어 코드 역컴파일러는 타입 분석을 수행한다. 레지스터나 메모리 위치들이 사용되는 방식은 위치의 가능한 타입에 대한 제약으로 귀결된다. 예를 들면, `and` 명령어는 피연산자가 정수라는 것을 의미한다. 즉, 프로그램은 부동소수점 값이나 포인터에서 동작하는 명령을 사용하지 않는다. `add` 명령어는 3가지 제약으로 귀결되는데, 피연산자가 정수거나 아닐 수 있기 때문이다. 나머지 하나는 두 피연산자가 다를 경우에 생기는 제한이다.^[6]

: 다양한 고급 표현들은 구조체나 배열들의 인식을 촉발하는 것으로 인식될 수 있다. 그러나 기계어나 C 같은 고급 언어들의 포인터 연산을 허용하는 자유 때문에 많은 가능성을 구별하는 것은 어려운 일이다.^[6]

;구조화

: 역컴파일링의 끝에서 두 번째 단계는 IR을 `while` 루프와 `if/then/else` 조건문 같은 고급 구조체로 만드는 것이다.^[7] 예를 들어, 다음과 같은 기계어 코드가 있다고 가정해 보자.

```asm

xor eax, eax

l0002:

or ebx, ebx

jge l0003

add eax,[ebx]

mov ebx,[ebx+0x4]

jmp l0002

l0003:

mov [0x10040000],eax

```

: 이것은 다음과 같이 변환될 수 있다.^[7]

```c

eax = 0;

while (ebx < 0) {

eax += ebx->v0000;

ebx = ebx->v0004;

}

v10040000 = eax;

```

: 구조화되지 않은 코드는 이미 구조화된 코드보다 구조화된 코드로 변환하기가 더 어렵다. 해결책으로는 일부 코드 복제 또는 부울 변수 추가가 있다.^[7]

;코드 생성

: 최종 단계는 역컴파일러의 백엔드에서 고급 언어를 생성하는 것이다. 컴파일러가 여러 다른 아키텍처에 따른 여러 다른 기계어를 생성하는 백엔드를 가지듯이 역컴파일러도 여러 고급 언어 별로 생성할 수 있는 백엔드를 갖는다.

: 코드 생성 바로 직전에 그래픽 사용자 인터페이스 형태를 사용하여 IR의 상호적인 수정을 허용하는 것이 바람직하다. 이것은 사용자에게 주석을 달거나 포괄적이지 않은 변수와 함수 이름들을 집어넣게 할 수 있다. 그러나 이것들은 역컴파일링 후에 하는 것처럼 쉽게 할 수 있다. 사용자는 구조적인 면을 바꾸고 싶어할 수도 있다(while 루프를 for 루프로 바꾼다든지). 이것들은 간단한 텍스트 에디터로는 쉽게 수정될 수 없지만, 소스 코드 리팩토링 도구들이 이 과정에서 도와준다고 하더라도 말이다. 마지막으로 결과 코드를 더욱 읽기 쉽게 하기 위하여, 부정확한 IR은 고쳐지거나 바뀌어야 한다.

2. 1. 로더

2. 2. 디스어셈블리

2. 3. 관용구

2. 4. 프로그램 분석

2. 5. 데이터 흐름 분석

2. 6. 타입 분석

2. 7. 구조화

2. 8. 코드 생성