Back to Explorer

체외진단의료기기 임상적 성능시험 통계 고려사항 해설서

미분류민원인안내서pdf2024-01-08
다중성(Multiplicity)일치 한계이상치표본 크기검증편의바이오마커 층화 설계데이터 무결성무작위화자료 무결성비식별화확증 임상적 성능평가외적 검증내적 검증동등성 검정우월성 검정비열등성 검정가설검정통계적 추정확률화 장치맹검 방법

Key Topics

Terms and concepts identified from this document

Scope & Applicability

Product Classes

7
정성 제품

CLSI 가이드라인의 시험설계를 활용할 수 있는 제품군

정량제품

숫자로 결과를 제시하는 체외진단의료기기

동반진단 의료기기

의약품 임상시험 계획서로 갈음 가능한 특정 제품군

의약품
의료기기

신청행위에 사용되는 장비, 재료 등

인공지능기반 소프트웨어

대응짝 설계를 적용할 수 있는 대표적인 예시

체외진단의료기기

WHO 사전적격인증 프로그램의 대상 제품군

Stakeholders

7
제조자

개발경위에 관한 자료를 작성하고 제출하는 주체

독립적 중개인

비식별화를 위해 검체 은행과 스폰서 간에 직접 관여하지 않는 집단

자료 관리 책임자

연구번호 생성 및 연결 정보를 엄격히 관리하는 독립적 인원

시험자

검체채취를 실시하는 주체

의뢰자

임상시험을 수행하고 안전성 정보를 관리하는 주체

스폰서

호주 규정에서 외주 범위에 포함되는 이해관계자; 호주 시장 공급 승인 주체; 국가별 계약서에 명시된 역할과 책임

민원인

Regulatory Context

Regulatory Activities

4
품목허가
확증 임상시험

표방하고자 하는 임상적 유효성의 타당한 근거 자료 제시

임상적 성능시험

소프트웨어의 도움을 받은 판독의 정확도 우월성 입증 활동; 임상적 성능시험의 관찰항목·임상적 성능시험 항목 및 관찰검사 방법; 체외진단의료기기의 성능을 평가하기 위한 시험

임상적 성능평가

병리전문의 판독 결과를 바탕으로 한 성능 평가

Document Types

13
임상적 성능시험 자료

바이러스 농도 변화상을 증명하기 위해 제출하는 자료

임상적 연구논문

비열등성 또는 동등성 마진 설정을 위해 인용 가능

보정 ROC 커브

결측 메카니즘 적용에 따른 분석 결과물

시험보고서

사이버보안 적합성 입증을 위한 구체적 문서 예시

임상적 성능시험계획서

시험 절차, 대상자 선정기준 등이 포함된 문서; 기관윤리심의위원회 승인 대상 문서; 임상적 성능시험의 목적, 설계, 방법 등을 기술한 문서

증례기록서

탈락 사유 기재 서류; 시험성적서와 증례기록서에 탈락 사유를 기재함; 임상적 성능시험을 위해 필요한 서류

통계분석 계획

공변량 분석 등을 기술해야 하는 문서

임상적 성능 시험계획서

대상자 크기 산출 공식 및 설정 근거를 제시해야 하는 문서

임상시험계획서
임상적 성능시험 계획서

임상적 성능을 확인하기 위해 작성하는 계획 문서; 체외진단의료기기 유효성 증명을 위해 작성하는 문서; 시험 수행을 위해 승인받아야 하는 문서; 중대한 임상적 성능시험 계획서 위반 등의 이유로

통계분석 계획서

변수 요약 및 보고 개요를 포함하는 문서

임상적 성능시험 시험계획서

시험 배경, 목적, 설계 등 중요 정보가 기술되어야 하는 문서

연구계획서

모든 대상자는 트레드밀을 수행하는 동안 VGF-2를 3번 주입 받는다. (연구계획서 참고); 간 손상 이상사례 발생으로 인해 개정된 문서

Attributes

15
편향

분석 결과의 계통적 오차

편차

두 시험법 사이의 Bias 평가

장애모수

Nuisance parameter (P11/Ps 또는 P01)

표본 크기

검정력을 확보하기 위해 산출된 전체 표본수 N

임상적 특이도

시험결과 산출된 성능 지표 (99.0%)

임상적 민감도

시험결과 산출된 성능 지표 (97.0%)

정밀도(precision)

성능평가 결과의 통계적 특성

제2종 오류

다중성 보정 시 고려해야 하는 통계적 오류율

제1종 오류

통계적 유의수준 설정 시 고려사항

유병률
특이도

정확도 시험 결과 지표; benign 슬라이드 판독 성능 평가 지표; 유효성 평가를 위한 성능 지표

민감도

정확도 시험 결과 지표; 암 슬라이드 판독 성능 평가 지표; 유효성 평가를 위한 성능 지표

비열등성 마진

비열등성 시험에서 허용되는 최대 차이 한계값

신뢰구간

참값과 비교 시 기재 사항

검정력

피험자 수 산출 근거로 사용되는 통계적 파라미터

Regulatory Terms

1
Intention-to-treat

배정된 대로 분석 원칙

Technical Details

Substances

3
A 단백질

새로운 심근경색 표지자 예시

환자에서 유래한 검체

비교평가 시 사용하는 기본 원칙 검체

분석물질

검사에 사용되는 물질 또는 구성요소; 측정 대상이 되는 항원, 항체, 표적 유전자 등

Testing Methods

15
Bland-Altman 방법

평균 차이를 연구하고 일치 한계를 구성하여 두 정량적 측정 간의 일치를 정량화하는 대체 분석

잔차 분석

실제 측정값과 이론값 간의 차이를 분석

Deming 회귀분석

교차 밸리데이션 시 편향을 평가하는 통계적 방법

Passing 및 Bablok 회귀 분석

데이터 분포 문제를 해결하고 상수 또는 비례 차이를 탐지하는 분석법

선형회귀

상관관계가 있을 때 계산 가능한 분석 기법

선형 회귀

상관관계 분석을 위한 통계 기법

회귀분석

기존제품 변경 시 의도된 용도나 사용자 요구를 확인하기 위해 실시

MRI

뇌 병변 확인을 위한 자기공명영상 장치 시험; 뇌 및 후각구 상태 확인을 위한 자기공명영상; Brain MRI findings in ICU patients with COVID-19

CTAP

참조방법으로 사용되는 침습적인 검사

McNemar 검정

짝지어진 2개 표본의 민감도 검정에 사용되는 통계 방법

Z 검정

2개의 독립적 표본의 민감도 검정에 사용되는 통계 방법

이항검정

1개 표본의 민감도와 특이도 검정에 사용되는 통계 방법

Clopper-Pearson

정확 신뢰구간 산출 방법

베이즈 정리

검증편의 보정을 위한 기초 이론

양성 사후검사 확률의 오즈(Positive posttest odds)

범주편향을 탐색하기 위한 통계적 접근법

Processes

15
임상적 성능시험

제품의 임상적 유효성을 검증하는 프로세스; 실제 임상 환경에서의 성능을 평가하는 시험; 체외진단의료기기의 성능 검증 과정; 시험용 소프트웨어의 안전성과 유효성을 검정하기 위한 다기관 후향적 확증 시험

측정방법의 검증

제조자가 수행해야 하는 시험 종류 (Measurement procedure validation)

측정방법의 클레임 확립

제조자가 수행해야 하는 시험 종류 (Measurement procedure claims establishment)

부집단 분석

질병 특성 별로 나누어 분석하는 방법

층화 무작위 배정

무작위 배정의 한 방법

블록 무작위 배정

무작위 배정의 한 방법; 일정 수의 대상자를 블록으로 설정하여 시험기기와 대조기기를 배정하는 방법

계통 표집

고정된 표집 간격을 정하여 규칙적으로 표본을 선택하는 방법

층화 확률화 표집

질병 특성 등을 층으로 고려하여 각 층 내에서 표집하는 방법

단순 무작위 표집

모든 요소가 선택될 확률이 동일한 표본추출 방법

무작위 배정

시험약과 대조약의 적용 부위 배치 방식

무작위 표집

모집단에서 표본을 추출하는 확률적 방법

통계분석

시험목적에 적합하게 수행되어야 하는 데이터 처리 과정

시험대상자 크기 산출

시험목표에 적합한 결론을 얻기 위한 규모 결정

후향적 연구

저장된 검체를 이용하며 시간과 비용을 절약할 수 있는 설계 방식

전향적 연구

임상적 유효성 검증을 위한 연구 방식

Clinical Concepts

15
임상시험계획서

피험자 선정기준, 목표 피험자 수 등을 포함하는 자료

검정력

피험자 수 산출 공식에 사용되는 파라미터 (80%)

유의수준

통계적 검정 및 피험자 수 산출을 위한 파라미터

유병률

국내의 유병률 및 역학적 특징 자료 포함

차이 검정

기준보다 높거나 차이가 있음을 증명하기 위한 검정 유형

임상적 성능평가

병리학자의 판독 결과와 비교하여 성능을 확인하는 평가

제2종 오류

대립가설이 참임에도 불구하고, 잘못하여 대립가설을 기각하고 귀무가설을 채택할 확률

제1종 오류

귀무가설이 참임에도 불구하고, 잘못하여 귀무가설을 기각하고 대립가설을 채택할 확률

비열등성 임상

치료 효과가 대조군보다 나쁘지 않음을 입증하기 위한 임상시험 유형

동등성 임상

치료 효과의 동등함을 입증하기 위한 임상시험 유형

우월성 임상

치료 효과의 차이를 입증하기 위한 임상시험 유형

이중맹검

대조군이 있는 연구의 배정 방법

무작위 배정

시험자가 검체 정보를 알 수 없도록 하는 절차

PP set

Per Protocol Set, 계획서에 따라 임상시험을 완료한 집단

FA set

Full Analysis Set, 유효성 분석의 주 분석군

Identified Hazards

Hazards

7
범주 편의

하위집단 간 결과 차이로 발생하는 편향

검증 편향

참조검사 결과의 결측으로 인해 발생하는 오류

결측 자료

연구 결과에 편향을 발생시킬 수 있는 위험요인

제 1종 오류

사전에 계획되지 않은 사후 분석 시 발생하는 문제점

선택 편향

표본 추출 과정에서 발생할 수 있는 오류 위험

수행적 편향(Operational bias)

임상적 성능평가 수행 중에 발생될 수 있는 편향

편향

치료 효과 추정치를 참값에서 벗어나게 만드는 요소

Standards & References

External Standards

2
국제 표준품

HPV 16형 및 18형 항체/DNA에 대한 표준물질

CLSI EP09c

변경 전·후 제품의 비교평가를 위해 참고하는 가이드라인

Specifications

10
정상범위

혈액학적 평가 결과의 임상적 유의성 판단 기준

동등성 마진

동등성 검정의 표본크기를 구할 때 필요한 기준; 두 검사 간 차이 5% 또는 비율 95%로 설정

최소 성능 수준

가이드라인을 통해 제안되는 체외진단의료기기 요구 성능

성능 목표

국외 의료기기 규제 당국에서 설정하는 Performance goal

임상적 판정기준치

제품의 확증 임상 결과에서 타당성을 추정하는 기준

판정기준치

병변 유무 혹은 분석 결과를 제시하기 위한 설정 근거

비열등성 마진

미리 정해진 통계적 허용 한계

성능목표

임상적으로 허용 가능한 성능의 기준

성능 평가 기준

시험기기의 성능을 측정할 수 있는 평가변수

성능목표(Performance goal)

시험용 체외진단 의료기기가 유효하다고 판단할 수 있는 임상적 성능 기준

MFDS Specific

MFDS Organizations

6
의료기기심사부

혁신의료기기 군별평가 항목 평가를 수행하는 부서

식품의약품안전평가원 의료기기심사부

가이드라인 발행 부서

체외진단기기과

가이드라인 작성 및 문의 담당 과

의료기기심사부 체외진단기기과

가이드라인 담당 부서

식품의약품안전처
식품의약품안전평가원

가이드라인 작성 및 검토 부서 소속 기관

Organizations

2
미FDA

Paige Prostate AI를 승인한 규제기관

식품의약품안전청

민원 신청 및 서류 접수 기관

Activities

2
모니터링
검체 수집 절차(Specimen collection procedure)

채취 전, 과정, 후의 처치를 포함하여 상세히 기술해야 함

Violations

3
계획서 위반

피험자가 임상시험계획서 요건을 지속적으로 위반하는 상황

제2종 오류

귀무가설이 거짓이나 이를 채택하는 오류

제1종 오류

귀무가설이 참이나 이를 기각할 오류

Related FDA Guidelines (2)

Related MFDS Guidelines (8)