측정 데이터에서 이상값은 어떻게 찾아내고 판단할까

이상값의 의미와 측정 데이터 분석 방법

측정 데이터를 여러 번 수집하다 보면 대부분의 값과 비교했을 때 유난히 크거나 작은 값이 나타날 수 있습니다. 이러한 값을 **이상값(Outlier)**이라고 합니다.

예를 들어 부품의 길이를 반복 측정했을 때 대부분의 결과가 10.01~10.05mm 범위에 있는데 한 번만 10.80mm가 측정됐다면 해당 값을 확인할 필요가 있습니다.

그러나 다른 값과 차이가 크다는 이유만으로 잘못된 데이터라고 판단해서는 안 됩니다. 측정 과정의 오류일 수도 있지만, 실제 제품의 결함이나 공정의 변화를 나타내는 중요한 결과일 수도 있기 때문입니다.

따라서 이상값을 발견하면 통계적 기준으로 후보를 찾고, 측정 과정과 장비 상태를 확인한 뒤 데이터의 처리 방법을 결정해야 합니다.

이상값은 어떤 특징을 가질까

이상값은 전체 데이터의 일반적인 분포에서 상대적으로 크게 벗어난 값입니다. 다만 모든 데이터에 동일하게 적용되는 절대적인 기준이 있는 것은 아닙니다. 데이터의 분포와 측정 목적에 따라 판단 방법이 달라질 수 있습니다.

예를 들어 다음과 같은 측정 결과가 있다고 가정해 보겠습니다.

측정 번호	측정값
1	10.2
2	10.4
3	10.3
4	10.5
5	10.4
6	10.3
7	15.8

대부분의 측정값은 10.2~10.5 부근에 모여 있지만 마지막 값은 15.8로 크게 다릅니다. 이 값은 이상값 후보로 검토할 수 있습니다.

하지만 15.8이 실제 측정 대상의 특성을 반영한 결과인지, 측정 장비의 오작동이나 기록 실수로 발생한 값인지는 추가 확인이 필요합니다.

통계적으로 특이한 값과 측정 오류는 서로 다른 개념입니다.

이상값을 찾아내는 대표적인 방법

이상값을 확인하는 방법에는 데이터 직접 검토, 그래프 분석, 사분위 범위, 평균과 표준편차를 이용한 방법 등이 있습니다. 데이터의 양과 분포 특성에 맞는 방법을 선택해야 합니다.

1. 측정값을 정렬해서 확인하기

가장 기본적인 방법은 측정값을 작은 순서나 큰 순서로 정렬하고 전체 범위를 살펴보는 것입니다.

대부분의 값이 비슷한 범위에 있는데 일부 값만 크게 벗어나 있다면 우선 확인 대상으로 표시할 수 있습니다. 다만 데이터가 많아지면 눈으로만 판단하기 어려우므로 그래프나 통계적 방법을 함께 사용하는 것이 좋습니다.

2. 그래프로 분포 확인하기

히스토그램은 측정값이 어느 구간에 집중되어 있는지 보여주며, 산점도는 두 변수 사이의 관계와 특이한 점을 확인하는 데 유용합니다. 상자수염그림(Box Plot)은 중앙값과 사분위 범위를 바탕으로 데이터 분포와 이상값 후보를 살펴보는 데 활용됩니다.

그래프에서 멀리 떨어진 점이 발견되면 측정 기록과 조건을 확인할 필요가 있습니다. 그러나 그래프에 나타난 위치만으로 해당 값을 삭제할지는 결정할 수 없습니다.

사분위 범위 IQR로 이상값 후보 찾기

상자수염그림에서 자주 사용하는 방법 중 하나가 사분위 범위(IQR)를 이용하는 것입니다.

사분위 범위는 제3사분위수에서 제1사분위수를 뺀 값입니다.

IQR = Q3 − Q1

• Q1: 제1사분위수로, 데이터의 아래쪽 25% 지점에 해당합니다.
• Q3: 제3사분위수로, 데이터의 아래쪽 75% 지점에 해당합니다.

일반적인 탐색 기준에서는 다음과 같이 하한과 상한을 계산합니다.

• 하한 = Q1 − 1.5 × IQR
• 상한 = Q3 + 1.5 × IQR

이 범위를 벗어나는 값은 이상값 후보로 분류할 수 있습니다. 다만 사분위수 계산 방식은 소프트웨어나 분석 방법에 따라 조금씩 다를 수 있습니다.

또한 이 기준은 데이터를 점검하기 위한 통계적 규칙이지, 측정 오류를 확정하는 기준은 아닙니다. 실제 공정에서 발생한 유효한 값도 이 범위를 벗어날 수 있습니다.

평균과 표준편차로 확인하는 방법

평균과 표준편차를 이용하면 각 측정값이 평균에서 얼마나 떨어져 있는지 확인할 수 있습니다.

예를 들어 평균이 100이고 표준편차가 2인 데이터에서 110이라는 값이 나타났다면 평균에서 상당히 멀리 떨어진 결과이므로 확인할 필요가 있습니다.

평균으로부터의 거리를 표준편차 단위로 나타낸 값은 다음과 같이 계산할 수 있습니다.

표준화 점수(z) = (측정값 − 평균) ÷ 표준편차

절댓값이 큰 표준화 점수는 해당 값이 평균에서 멀리 떨어져 있음을 나타냅니다. 하지만 어떤 값을 이상값으로 판단할지는 데이터의 분포와 분석 목적에 따라 달라집니다.

특히 이상값이 포함된 상태에서 평균과 표준편차를 계산하면 두 통계량 자체가 영향을 받을 수 있습니다. 데이터가 한쪽으로 치우쳐 있거나 여러 집단이 섞여 있다면 이 방법만으로 판단하기 어렵습니다.

측정 횟수가 적은 데이터에서는 단순히 표준화 점수가 크다는 이유만으로 값을 제외하지 말고, 필요한 경우 데이터 특성에 맞는 별도의 이상값 검정 방법을 검토해야 합니다.

이상값과 측정 오류는 어떻게 구분할까

이상값을 발견했을 때 가장 먼저 해야 할 일은 값이 다르다는 사실보다 그 값이 발생한 원인을 확인하는 것입니다.

다음 항목을 점검하면 원인을 파악하는 데 도움이 됩니다.

• 측정 장비가 정상적으로 작동했는가
• 센서와 측정 부위의 접촉 상태가 적절했는가
• 측정 단위나 소수점을 잘못 입력하지 않았는가
• 정해진 측정 절차를 따랐는가
• 시료 자체에 결함이나 특이한 특성이 있었는가
• 온도, 습도, 진동 등 측정 환경이 달라졌는가
• 특정 시간대나 작업 조건에서 실제 공정 변화가 발생했는가

예를 들어 특정 시간대에만 측정값이 크게 달라졌다면 장비 상태뿐 아니라 원재료, 작업 조건, 공정 설정도 함께 확인해야 합니다.

이상값의 원인을 확인하지 않고 통계적 기준만으로 데이터를 제거하면 실제 품질 문제를 놓칠 수 있습니다.

이상값을 발견하면 다시 측정해야 할까

재측정은 원인을 확인하는 데 도움이 될 수 있지만, 모든 이상값을 무조건 다시 측정해야 하는 것은 아닙니다.

측정 중 시료가 제대로 고정되지 않았거나 장비의 접촉 상태가 불안정했다는 근거가 있다면 정해진 절차에 따라 재측정할 수 있습니다. 이때 최초 측정값과 재측정값을 모두 보존하고, 어떤 조건에서 측정했는지 기록하는 것이 좋습니다.

반면 실제 제품의 결함이나 공정 변화로 확인된 값이라면 재측정 결과가 정상이라는 이유만으로 최초 값을 없애서는 안 됩니다. 간헐적으로 발생하는 문제일 수 있기 때문입니다.

재측정의 목적은 이상값을 없애는 것이 아니라 측정 결과의 원인과 유효성을 확인하는 것입니다.

이상값을 데이터에서 제외할 수 있는 경우

이상값을 분석에서 제외하려면 객관적인 근거가 있어야 합니다.

예를 들어 실제 측정값을 잘못 입력했거나 단위를 혼동한 사실이 확인된 경우, 장비 고장으로 측정 결과가 유효하지 않았다는 사실이 확인된 경우에는 정해진 절차에 따라 데이터를 수정하거나 분석에서 제외할 수 있습니다.

측정 절차를 위반해 결과의 유효성을 인정하기 어려운 경우에도 적용 기준과 기록에 따라 처리할 수 있습니다.

다만 평균에서 멀리 떨어져 있다는 이유만으로 값을 삭제하거나, 분석 결과가 기대와 다르다는 이유로 제외해서는 안 됩니다. 품질관리에서는 이러한 임의적인 삭제가 실제 공정 상태를 왜곡할 수 있습니다.

데이터를 제외했다면 원래 값, 제외 사유, 확인 결과와 처리 방법을 기록해 나중에도 판단 과정을 추적할 수 있도록 해야 합니다.

이상값 기록과 추적성이 중요한 이유

측정 데이터는 결과뿐 아니라 측정 과정까지 신뢰할 수 있어야 합니다. 이상값이 발견되면 다음 정보를 기록하는 것이 좋습니다.

• 측정 일시와 측정 대상
• 측정값과 측정 단위
• 사용한 장비와 측정 조건
• 확인한 장비 상태 및 측정 절차
• 재측정 여부와 결과
• 원인 조사 결과
• 데이터 수정 또는 제외 여부와 근거

이러한 기록은 동일한 문제가 반복되는지 확인하고 장비나 공정의 개선 필요성을 판단하는 데 도움이 됩니다. 특히 시험·검사와 제조 품질관리에서는 데이터 처리 과정을 추적할 수 있어야 결과의 신뢰성을 유지할 수 있습니다.

자주 묻는 질문

Q: 이상값은 정확히 무엇인가요?

A: 전체 데이터의 분포에서 상대적으로 크게 벗어난 값입니다. 다만 통계적으로 이상값으로 분류됐다는 사실만으로 측정 오류라고 단정할 수는 없습니다.

Q: 이상값을 찾는 가장 쉬운 방법은 무엇인가요?

A: 측정값을 정렬해 범위를 확인하거나 히스토그램과 상자수염그림으로 분포를 살펴보는 방법이 기본적입니다. 데이터 특성에 따라 사분위 범위나 표준화 점수를 함께 활용할 수 있습니다.

Q: 평균에서 멀리 떨어진 값은 모두 이상값인가요?

A: 아닙니다. 실제 공정 변화나 제품의 특성을 나타내는 값일 수 있습니다. 데이터 분포와 측정 조건을 함께 확인해야 합니다.

Q: 이상값을 발견하면 반드시 재측정해야 하나요?

A: 상황에 따라 다릅니다. 측정 과정의 오류가 의심되면 재측정이 도움이 될 수 있지만, 실제 현상을 나타내는 값이라면 최초 결과도 보존하고 원인을 조사해야 합니다.

Q: 이상값을 제외했다면 무엇을 기록해야 하나요?

A: 원래 측정값, 측정 조건, 확인된 오류 원인, 재측정 결과, 제외 여부와 그 근거를 기록하는 것이 좋습니다. 이를 통해 데이터 처리 과정의 신뢰성과 추적성을 확보할 수 있습니다.

마무리

측정 데이터에서 이상값을 찾는 것은 단순히 다른 숫자를 골라내는 작업이 아닙니다. 중요한 것은 해당 값이 왜 다른지 확인하고, 실제 현상을 나타내는지 또는 측정 과정의 오류로 발생했는지 판단하는 것입니다.

사분위 범위, 평균과 표준편차, 그래프 분석 등을 활용하면 이상값 후보를 효율적으로 찾을 수 있습니다. 그러나 최종 판단에는 측정 조건과 장비 상태, 원자료, 실제 공정 상황에 대한 검토가 필요합니다.

신뢰할 수 있는 데이터 관리는 이상값을 무조건 제거하는 것이 아니라 원인을 확인하고 처리 근거를 남기는 것에서 시작됩니다.