검사와 타당성 검증

3. 방법

검증(Verification)은 제품, 서비스 또는 시스템이 정해진 설계 명세를 충족하는지 확인하는 과정이다.^[6][7] 개발 단계에서는 모델링이나 시뮬레이션을 통해 명세를 만족하는지 검토하고, 개발 후에는 정기적인 테스트를 통해 초기 요구 사항과 규정을 계속 만족하는지 확인한다.^[8] 이는 주로 내부적인 절차로 진행된다.

확인(Validation)은 제품, 서비스 또는 시스템이 사용자의 실제 운영 요구 사항을 만족시키는지 보장하는 과정이다.^[9] 모델링과 시뮬레이션을 사용하여 개발 과정의 오류나 부족한 부분을 예측하기도 하며^[10], 최종 사용자를 포함한 이해관계자들이 제품이 의도된 목적에 적합하다고 인정하는 과정을 포함하는 경우가 많다. 이는 주로 외부적인 절차로 진행된다.

때때로 검증은 "올바르게 만들고 있는가?"라는 질문으로, 확인은 "올바른 것을 만들고 있는가?"라는 질문으로 요약되기도 한다.^[11] 즉, 검증은 명세에 따라 올바르게 구현되었는지 확인하는 것이고, 확인은 사용자의 요구를 제대로 만족하는지 확인하는 것이다.

제품이 검증은 통과했지만 확인은 실패하는 경우가 있을 수 있다. 예를 들어, 제품이 명세에 따라 정확하게 만들어졌지만, 그 명세 자체가 사용자의 실제 요구 사항을 충족하지 못하는 경우이다.

3. 1. 정형 기법 (Formal Methods)

3. 2. 테스트 (Testing)

3. 3. 검토 (Review)

4. 관련 개념

소프트웨어 품질 보증(SQA)의 개념과 관련하여 검사(Verification)와 타당성 검증(Validation)은 중요한 요소이지만, 이것만으로 소프트웨어의 품질을 보장할 수는 없다. 소프트웨어 품질 보증에는 계획, 추적성, 형상 관리 등 개발의 다른 측면들도 요구된다.
검사(Verification)는 제품, 서비스 또는 시스템이 주어진 설계 명세를 충족하는지 확인하는 과정이다.^[6][7] 개발 단계에서 검사 절차는 특정 테스트를 수행하거나, 모델링 또는 시뮬레이션을 통해 결과를 검토하고 분석하는 것을 포함할 수 있다. 개발 이후 단계에서는 제품, 서비스 또는 시스템이 시간이 지나도 초기의 설계 요구 사항, 명세 및 규정을 계속 만족하는지 확인하기 위해 정기적으로 테스트를 반복한다.^[8] 즉, 검사는 개발 시작 시점에 부과된 규정, 명세 또는 조건을 시스템이 준수하는지 평가하는 과정이며, 주로 개발, 스케일업, 생산 단계에서 이루어지는 내부 프로세스이다.
타당성 검증(Validation)은 개발된 제품, 서비스 또는 시스템이 사용자의 실제 운영 요구 사항을 충족하는지 확인하는 과정이다.^[9] 새로운 개발 또는 검증 과정에서는 모델링과 시뮬레이션을 사용하여 오류나 간극을 예측함으로써, 불완전하거나 유효하지 않은 개발 또는 검증으로 이어질 수 있는 문제를 미리 파악하기도 한다.^[10] 사용자가 정의한 요구 사항, 사양, 규정을 바탕으로 개발 과정이나 검증 과정 자체를 인증할 수도 있다. 또한 기존의 인증된 개발 또는 검증 과정에 수정이 가해졌을 때, 그 수정 사항이 여전히 초기 설계 요구 사항, 명세, 규정을 만족하는 제품, 서비스, 시스템을 만들어내는지 확인하는 절차도 포함된다. 이는 해당 과정이 인증 상태를 유지하도록 돕는다. 타당성 검증은 제품, 서비스 또는 시스템이 의도된 목적을 달성한다는 높은 수준의 확신을 제공하는 증거를 확립하는 과정이며, 최종 사용자 및 다른 이해관계자들의 목적 적합성 수용을 포함하는 경우가 많아 주로 외부 프로세스로 간주된다.

때때로 검사(Verification)는 "제품을 올바르게 만들고 있는가?"라는 질문으로, 타당성 검증(Validation)은 "올바른 제품을 만들고 있는가?"라는 질문으로 비유되기도 한다.^[11] "제품을 올바르게 만들고 있는가?"는 설계 명세가 시스템에 의해 정확히 구현되었는지 확인하는 것을 의미하고, "올바른 제품을 만들고 있는가?"는 사용자의 요구 사항을 제대로 반영했는지 확인하는 것을 의미한다. 어떤 상황에서는 두 가지 모두에 대해 문서화된 요구 사항과 규정 준수 여부를 판단하기 위한 공식적인 절차나 프로토콜이 필요하다.

제품이 검사(Verification)는 통과했지만 타당성 검증(Validation)에서 실패하는 경우도 발생할 수 있다. 예를 들어, 제품이 설계 명세에 따라 정확하게 만들어졌지만, 그 명세 자체가 사용자의 실제 요구 사항을 충족시키지 못하는 경우가 이에 해당한다.

4. 1. 모델링 및 시뮬레이션 (Modeling and Simulation, M&S)

• M&S 검사 (Verification): 컴퓨터 모델과 시뮬레이션, 그리고 관련된 정보가 개발자의 개념 설명과 사양(설계 명세)을 정확하게 반영하는지 결정하는 과정이다. 즉, 모델이 설계된 대로 올바르게 구현되었는지 확인하는 절차에 해당한다.
• M&S 검증 (Validation): 모델과 시뮬레이션, 그리고 관련된 정보가 의도된 사용 목적의 관점에서 현실 세계를 정확하게 표현하는 수준을 결정하는 과정이다. 즉, 개발된 모델이 실제 현상을 얼마나 잘 모사하는지 확인하는 절차이다.
• 인증 (Accreditation): 모델 또는 시뮬레이션이 특정 목적에 사용될 수 있는지 공식적으로 확인하고 승인하는 절차이다.

5. 독립적인 검증 및 검사 (IV&V)

소프트웨어의 검사와 검증 작업은 때때로 개발팀과 분리된 별도의 그룹에 의해 수행되기도 한다. 이러한 접근 방식을 독립적인 검증 및 검사(Independent Verification and Validation|인디펜던트 베리피케이션 앤드 밸리데이션^eng), 줄여서 IV&V라고 부른다. 이는 개발 과정과 독립된 시각에서 검증과 검사를 진행함으로써 결과의 객관성과 신뢰성을 높이려는 목적을 가진다.

6. 제어 환경

검증과 검정은 법으로 규제되는 산업에서 필수적인 준수 사항을 만족시켜야 한다. 이러한 산업은 정부 기관이나 해당 산업 행정부의 권한 아래 관리된다. 예를 들어, FDA는 소프트웨어 버전과 패치가 유효한지 검증할 것을 요구한다.

7. 활동

기계 및 장비의 검증은 일반적으로 다음과 같은 활동으로 구성된다.

• 설계 적격성 평가 (DQ, Design Qualification): 공급업체 또는 사용자가 수행할 수 있으며, 장비가 작성된 인수 사양을 충족하는지 검토하고 테스트하여 확인한다.
• 설치 적격성 평가 (IQ, Installation Qualification): 장비가 올바르게 설치되었는지 확인한다.
• 작동 적격성 평가 (OQ, Operational Qualification): 장비가 의도한 대로 작동하는지 확인한다.
• 성능 적격성 평가 (PQ, Performance Qualification): 장비가 실제 사용 조건에서 일관되게 성능을 발휘하는지 확인한다.

• 부품 교체
• 다른 장치와의 연결
• 새로운 응용 소프트웨어 설치
• 컴퓨터 구조 변경 (특히 BIOS, 레지스트리, 디스크 드라이브 파티션 테이블, 동적으로 연결된 라이브러리 또는 ini 파일 등)

8. 검증의 분류

검증 작업은 일반적으로 다음 기능별로 분류될 수 있다.

• '''사전 검증'''(Prospective Validation) – 새로운 품목이 출시되기 전에 수행되는 과정으로, 해당 품목의 특성이 제대로 작동하고 안전 표준을 충족하는지 확인한다.^[17][18] 예시로는 법률 규칙, 지침, 제안,^[19][20][21] 방법,^[22] 이론/가설/모델,^[23][24] 제품 및 서비스 등이 있다.^[25][26]
• '''사후 검증'''(Retrospective Validation) – 이미 사용, 배포 또는 생산 중인 품목에 대한 과정이다. 검증은 기록된 과거 데이터나 증거를 기반으로 작성된 명세 또는 미리 정해진 기대치를 기준으로 수행된다. 중요한 데이터가 누락된 경우, 작업이 불가능하거나 부분적으로만 완료될 수 있다.^[17][27][28] 다음과 같은 경우에 필요하다.
• 사전 검증이 누락되었거나, 부적절했거나, 결함이 있었던 경우.
• 법규나 표준 변경으로 인해 시장에 출시된 품목의 규정 준수 여부에 영향을 미치는 경우.
• 사용하지 않던 품목을 다시 사용하는 경우.

• '''전면 검증'''(Full Validation)
• '''부분 검증'''(Partial Validation) – 시간 제약이 있는 연구나 파일럿 연구에 자주 사용된다. 가장 중요하고 의미 있는 효과(예: 분석화학적 관점에서의 선택성, 정확성, 재현성, 선형성, 범위)를 테스트한다.
• 교차 검증(Cross-validation)
• '''재검증'''/'''위치 또는 주기적 검증'''(Revalidation / Location or Periodic Validation) – 해고, 수리, 통합/결합, 재배치된 품목 또는 지정된 시간이 지난 후에 수행된다. 예시로는 운전면허 갱신, 만료되거나 재배치된 분석 저울 재인증, 전문가 재검증 등이 있다.^[32][33] 재검증은 과학 연구나 임상 시험 전환 단계 등 활동 과정에서 변경 사항이 발생할 때도 수행될 수 있다. 변경 사항의 예시는 다음과 같다.
• * 샘플 매트릭스^[34][35]
• * 생산 규모^[36][37]
• * 인구 프로필 및 규모^[38][39]
• * 테스트 시약, 유리 제품 오염, 장비 노후화, 관련 자산의 감가상각 등으로 인한 규격 외(OOS, Out of Specification) 조사^[40][41]

• '''동시 검증'''(Concurrent Validation) – 서비스, 제조, 엔지니어링 등 일상적인 처리 과정 중에 수행된다. 예시는 다음과 같다.
• * 화학 분석 시 중복 샘플 분석
• * 검출 한계 또는 정량 한계 수준의 미량 불순물에 대한 삼중 샘플 분석
• * 숙련된 운영자가 다중 온라인 시스템 적합성 테스트를 통해 수행하는 화학 분석 시 단일 샘플 분석

9. 분석 방법 검증의 측면

검증 작업에서 가장 많이 테스트되는 속성에는 다음이 포함될 수 있지만 이에 국한되지는 않는다.

• 민감도 및 특이성
• 정확도 및 정밀도
• 반복성
• 재현성
• 검출 한계 - 특히 미량 원소의 경우
• 정량 한계
• 곡선 적합 및 범위
• 시스템 적합성(System suitability): 분석이 수행될 때마다 테스트 방법이 허용 가능하고 규정된 절차대로 수행되는지 확인하기 위해 실행되는 테스트이다. 이러한 유형의 검사는 주로 품질 관리 실험실에서 수행된다. 일반적으로 시스템 적합성은 분석 방법에서 미지 시료 분석 전에 자체 표준 또는 참조 표준과 같은 표준 물질을 분석하여 수행된다. 통계 분석 및 기타 매개변수는 사전에 설정된 기준을 통과해야 하며, 이를 통해 분석 방법과 시스템이 올바르게 작동함을 보증한다.
• 예를 들어, 약물의 고성능 액체 크로마토그래피(HPLC) 순도 분석에서는 가장 순도 높은 표준 물질을 테스트 샘플 분석 전에 주입한다. 분석되는 매개변수는 (예: 3회 주입에 대한 피크 면적의 상대표준편차(%RSD) 또는 머무름 시간)과 같은 크로마토그래피 매개변수가 될 수 있다. 시스템 적합성 테스트를 통과하면, 이후 미지 분석물에 대해 수집된 데이터가 유효하다고 간주되어 해당 HPLC 분석 실행 전체가 유효한 것으로 판단된다. 20개 이상의 샘플에 대한 더 긴 HPLC 분석 실행의 경우, 추가 시스템 적합성 표준(소위 '확인 표준' 또는 'bracketing standard')을 HPLC 분석 실행의 끝 또는 중간에 주입하여 통계 분석에 포함할 수 있다. 모든 시스템 적합성 표준이 통과 기준을 만족하면, 이는 분석 시작 시점뿐만 아니라 분석 과정 전반에 걸쳐 모든 샘플에서 허용 가능한 데이터가 생성되었음을 확인해 준다. 분석 실행이 유효하려면 모든 시스템 적합성 표준이 통과해야 한다.

10. 산업별 적용

검증 및 타당성 검증이라는 용어는 다양한 산업과 기관에서 폭넓게 사용된다. 특정 제품, 규정, 산업 분야에 따라 매우 구체적인 의미와 요구사항을 가질 수 있다. 주요 적용 사례는 다음과 같다.

• 소프트웨어 및 컴퓨터 시스템
• 식품 및 의약품 제조
• 제약: 의약품의 설계, 생산, 유통은 엄격하게 규제되며, 관련 소프트웨어 시스템도 포함된다. 예를 들어, 미국 식품의약국(FDA)은 미국 연방 규정집(Code of Federal Regulations) 제21편에 관련 규정을 명시하고 있다.^[54] Nash 등은 제약 제조 공정의 다양한 유효성 검사 주제를 다루는 책을 출판했다.^[55] 일부 기업은 규제 요구사항을 잘 이해하고 우수 자동화 제조 규정(GAMP) 시스템 유효성 검사에 위험 기반 접근 방식을 채택하기도 하지만, 대부분은 기존 절차를 따른다.^[56][57] 이는 GxP 관리의 일부이다. 규격 이탈(OOS, Out of Specification)이 발생하면 유효성 검사 및 검증의 중요성이 더욱 강조된다.^[58] 이러한 경우, 시험 검사실에서는 OOS 조사를 위해 여러 차례 샘플 분석이 필요할 수 있다.
• 의료 기기: 미국 식품의약국(FDA) (21 CFR)는 ASME V&V 40 표준에 명시된 의료 기기에 대한 유효성 검사 및 검증 요구사항을 가지고 있다. 관련 지침^{[54][59][60][61]} 및 ISO 13485 표준도 참조할 수 있다.
• 제조 공정 및 세척 유효성 검사: 미국 식품의약국(FDA)에 의해 의무화되고 규제된다.^{[62][63][64][65]}
• 식품 위생: 예시^[66]
• 임상 실험실 의학: ISO 15198:2004 임상 실험실 의학 - 체외 진단 의료 기기 - 제조업체의 사용자 품질 관리 절차 유효성 검사
• 공학
• 일반 공학
• 엔지니어링 유효성 검사 테스트
• 토목 공학
• 건축물
• 도로
• 교량
• 의료 서비스: 예시^[67]
• 온실 가스: ISO 14064 ANSI/ISO: 온실 가스 – 인정 또는 기타 형태의 인정을 위한 온실 가스 유효성 검사 및 검증 기관 요구사항
• 교통 및 운송
• 도로 안전 감사
• 정기 차량 검사
• 항공기 소음: 예시^[68]
• 항공기:
• 모델:^[69]
• (Ni-Cd) 전지: 예시^[70]
• ICT 산업: 예시^[71]
• 경제학
• 회계
• 농업: 농업 방법론 및 생산 공정 검증부터 농업 모델링 유효성 검사까지 다양한 응용 분야가 있다.^{[72][73][74][75][76]}
• 부동산 감정: 감사 보고 및 인증^[77]
• 군비 통제

참조

_[1] 간행물 Quality Management Systems - Process Validation Guidance Global Harmonization Task Force 2004
_[2] 논문 Everything You Thought You Knew about Validation and Verification is Probably Dodgy https://web.archive.[...] 2018-04-30
_[3] 웹사이트 Validation vs. Verification https://jamesmccaffr[...] 2018-04-30
_[4] 웹사이트 Difference between Verification and Validation http://www.softwaret[...] 2018-04-30
_[5] 논문 P1490/D1, May 2011 - IEEE Draft Guide: Adoption of the Project Management Institute (PMI) Standard: A Guide to the Project Management Body of Knowledge (PMBOK Guide)-2008 (4th edition) https://ieeexplore.i[...] IEEE 2017-03-28
_[6] 문서 "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010
_[7] 서적 IEEE 1012-2004 IEEE
_[8] 문서 "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010
_[9] 문서 "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010
_[10] 서적 Cyber Physical Systems. Model-Based Design Springer International Publishing 2019
_[11] 서적 Software Engineering Economics 1981
_[12] 웹사이트 Welcome http://www.analytica[...] 2008-03-18
_[13] 웹사이트 External Calibration https://web.archive.[...] 2008-03-18
_[14] 웹사이트 Replacement Parts-Identical, Suitable, or Inappropriate? http://pt.wkhealth.c[...] 2008-03-29
_[15] 웹사이트 ISV, IHV Certification Programs http://www.applabs.c[...] 2008-03-26
_[16] 웹사이트 AppLabs attains ISO27001:2005 accreditation https://web.archive.[...] 2008-03-26
_[17] 웹사이트 Guideline on general principles of process validation https://web.archive.[...] U.S. Food and Drug Administration 2008-07-12
_[18] 웹사이트 Prospective validation https://web.archive.[...] Groupe Novasep 2008-09-24
_[19] 논문 Prospective Validation of the San Francisco Syncope Rule to Predict Patients With Serious Outcomes Elsevier 2006
_[20] 논문 Prospective validation of AASLD guidelines for the early diagnosis of epatocellular carcinoma in cirrhotic patients Elsevier 2007
_[21] 논문 Prospective validation of the WHO proposals for the classification of myelodysplastic syndromes https://web.archive.[...] 2008-09-24
_[22] 논문 Rapid Identification of High-Risk Transient Ischemic Attacks: Prospective Validation of the ABCD Score American Heart Association 2008
_[23] 논문 Drug-eluting or bare-metal stents forlarge coronary vessel stenting? The BASKET-PROVE (PROspective Validation Examination) trial: Study protocol and design Mosby-Year Book Inc. 2008
_[24] 논문 Improvement in the regulation of the vitamin K antagonist acenocoumarol after a standard initial dose regimen: prospective validation of a prescription model Springer 2008
_[25] 논문 Prospective validation of the EBAS-DEP – A short sensitive screening instrument for depression in the physically ill elderly Elsevier 1996
_[26] 논문 Identifying Stroke in the Field: Prospective Validation of the Los Angeles Prehospital Stroke Screen (LAPSS) http://stroke.ahajou[...] American Heart Association 2008-09-24
_[27] 웹사이트 Ch. 4 PROCESS VALIDATION in Medical Device Quality Systems Manual https://www.fda.gov/[...] 2009-08-06
_[28] 웹사이트 Retrospective validation https://web.archive.[...] 2008-09-24
_[29] 논문 Retrospective Validation of a Clinical Decision Rule to Safely Rule Out Subarachnoid Hemorrhage in Emergency Department Headache Patients 2007
_[30] 논문 Retrospective Validation of a Surveillance System for Unexplained Illness and Death: New Haven County, Connecticut 2001
_[31] 논문 How to evaluate and improve the quality and credibility of an outcomes database: validation and feedback study on the UK Cardiac Surgery Experience 2003
_[32] 웹사이트 The White Paper Trust, assurance and safety: The regulation of health professionals https://web.archive.[...] 2008-09-30
_[33] 논문 Physician revalidation in Europe Royal College of Physicians 2008
_[34] 웹사이트 Guidelines for the Validation of Analytical Methods for Active Constituent, Agricultural and Veterinary Chemical Products https://web.archive.[...] 2009-07-12
_[35] 논문 Validation of liquid chromatographic and gas chromatographic methods Applications to pharmacokinetics 1996
_[36] 웹사이트 Commercial scale production http://www.peptisynt[...] 2009-07-12
_[37] 웹사이트 Downstream Processing: A Revalidation Study of Viral Clearance in the Purification of Monoclonal Antibody CB.Hep-1 http://biopharminter[...] 2009-07-12
_[38] 논문 Evaluating Predictors of Geographic Area Population Size Cut-offs to Manage Re-identification Risk
_[39] 논문 Implications of mortality transition for primary health care in rural South Africa: a population-based surveillance study
_[40] 웹사이트 Warning Letter (WL No. 320-08-04) https://www.fda.gov/[...] 2009-07-12
_[41] 웹사이트 Validation Guidelines for Pharmaceutical Dosage Forms (GUIDE-0029) http://www.hc-sc.gc.[...] 2009-07-12
_[42] 웹사이트 Guidance for Industry: Bioanalytical Method Validation https://www.fda.gov/[...] 2001-05
_[43] 웹사이트 Method Validation http://www.caspharma[...] 2011-09-19
_[44] 웹사이트 Guidance Notes on Analytical Method Validation: Methodology http://depa.pquim.un[...] 2008-09-29
_[45] 논문 Guidance for robustness/ruggedness tests in method validation Elsevier
_[46] 서적 Method Validation in Pharmaceutical Analysis: A Guide to best Practice Wiley-VCH
_[47] 웹사이트 Calibration of dissolution test apparatus (USP apparatus 1 and 2) – SOP
_[48] 논문 Optimized and Validated HPLC Methods for Compendial Quality Assessment. III. Testing of Optical Purity Applying 1-Acid-Glycoprotein Stationary Phase
_[49] 웹사이트 System suitability testing for Aripiprazole quality control with the Agilent 1120 Compact LC and ZORBAX C-18 columns http://www.chem.agil[...] 2009-06-29
_[50] 논문 Ruggedness/robustness evaluation and system suitability test on United States Pharmacopoeia XXVI assay ginsenosides in Asian and American ginseng by high-performance liquid chromatography
_[51] 웹사이트 Japanese Pharmacopoeia http://jpdb.nihs.go.[...] 2009-06-29
_[52] 웹사이트 Optimizing fault injection in FMI co-simulation through sensitivity partitioning https://dl.acm.org/d[...] 2019-07-22
_[53] 문서 'Exploring Fault Parameter Space Using Reinforcement Learning-based Fault Injection.'
_[54] 웹사이트 GUIDELINE ON GENERAL PRINCIPLES OF PROCESS VALIDATION https://www.fda.gov/[...] 1987-05
_[55] 서적 Pharmaceutical Process Validation: An International Third Edition Informa Healthcare
_[56] 웹사이트 Risk-based equipment qualification: a user/supplier cooperative approach http://www.gampforum[...] 2008-06-15
_[57] 논문 Current challenges for FDA-regulated bioanalytical laboratories for human (BA/BE) studies. Part I: defining the appropriate compliance standards – application of the principles of FDA GLP and FDA GMP to bioanalytical laboratories John Wiley & Sons
_[58] 웹사이트 Guidance for Industry: Investigating Out-of-Specification (OOS) Test Results for Pharmaceutical Production https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[59] 웹사이트 Guidance for Industry: Cybersecurity for Networked Medical Devices Containing Off-the Shelf (OTS) Software https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[60] 웹사이트 General Principles of Software validation; Final Guidance for Industry and FDA Staff https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[61] 웹사이트 Guidance for Industry and FDA Staff: Medical Device User Fee and Modernization Act of 2002, Validation Data in Premarket Notification Submissions (510(k)s) for Reprocessed Single-Use Medical Devices https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[62] 웹사이트 Guideline on general principles of process validation https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[63] 웹사이트 Guide to inspections validation of cleaning processes https://www.fda.gov/[...] Food and Drug Administration 2009-07-12
_[64] 웹사이트 Cleaning validation in the pharmaceutical industry http://cat.inist.fr/[...] 2008-03-20
_[65] 웹사이트 A review of current implementation strategies for validation of cleaning processes in the pharmaceutical industry http://cat.inist.fr/[...] 2008-03-20
_[66] 웹사이트 Discussion Paper on Proposed Draft Guidelines for the Validation of Food Hygiene Control Measures http://www.fsis.usda[...] 2011-02-10
_[67] 웹사이트 Archived copy http://www.transfusi[...] 2008-06-14
_[68] 웹사이트 Archived copy http://www.caa.co.uk[...] 2007-09-07
_[69] 웹사이트 Service Unavailable http://lanl.gov/proj[...]
_[70] 서적 Sixteenth Annual Battery Conference on Applications and Advances. Proceedings of the Conference (Cat. No.01TH8533) 2002-08-07
_[71] 웹사이트 Improving the efficiency of verification and validation http://www.inderscie[...] Inderscience.com 2011-09-19
_[72] 웹사이트 Verification of genetic recombination by hypha fusion of Pyricularia oryzas using transducing gene as marker. (the Ministry of Agriculture, Forestry and Fisheries Natl. Agricultural Res. Center S). http://sciencelinks.[...] 2008-03-20
_[73] 웹사이트 Implications of the Voluntary Michigan Agriculture Environmental Assurance Program (MAEAP) Verification on Livestock Operations, 2000–2004 http://asae.frymulti[...] 2008-03-20
_[74] 간행물 Hyperspectral vegetation indices and novel algorithms for predicting green LAI of crop canopies: Modeling and validation in the context of precision agriculture Elsevier
_[75] 웹사이트 Using cross-validation to evaluate ceres-maize yield simulations within a decision support system for precision agriculture http://www.ars.usda.[...] 2008-03-20
_[76] 간행물 Monitoring the Realization of the Right to Food: Adaptation and Validation of the U.S. Department of Agriculture Food Insecurity Module to Rural Senegal http://ideas.repec.o[...] 2007-10
_[77] 웹사이트 Method and system for authenticating appraisal reports https://www.google.c[...] 2008-09-15