신용카드 이상거래 탐지를 위한 기계학습 방법의 성능 비교
신용카드 이상거래 탐지는 정상거래가 압도적으로 많은 불균형 분류 문제
2개의 공개 데이터셋에 9가지 기계학습 방법을 동일한 조건으로 적용하고, 학습·예측시간 비교
핵심 요약
두 데이터셋 모두에서 XGBoost와 LGBM의 분류 성능이 가장 우수했다.
특히 LGBM은 XGBoost와 비슷한 정확도를 유지하면서 이상거래 예측시간은 30배 이상 짧아, 실시간 탐지 환경에 더 적합한 방법으로 제안됐다.
- CCFD에서는 XGBoost가 AUPRC와 AUROC 모두 가장 높았다.
- IEEE-CIS FD에서는 LGBM이 AUPRC, XGBoost가 AUROC에서 가장 높았다.
- 불균형 데이터에서는 AUROC만 볼 때보다 AUPRC를 함께 확인해야 모델 차이가 잘 드러났다.
- 실무 적용에서는 정확도뿐 아니라 컨셉 변화에 따른 재학습 주기와 예측시간도 중요하다.
1. 문제 설정
이상거래 탐지는 기존 정상·이상거래를 학습한 모델로 새로운 거래의 이상 여부를 판별하는 이진 분류 문제다.
거래 금액과 시각을 비롯한 특징에는 민감한 개인정보가 포함될 수 있어 실제 금융 데이터를 공개하기 어렵고, 공개 데이터에서도 특징의 의미가 대부분 익명화되어 있다.
논문이 다룬 주요 과제는 다음과 같다.
- 데이터 불균형: CCFD의 이상거래 비율은 0.173%, IEEE-CIS FD는 3.499%다.
- 컨셉 변화: 시간이 지나 새로운 공격 패턴이 등장하면 과거 데이터로 학습한 모델의 성능이 떨어질 수 있다.
- 시간 복잡도: 주기적인 재학습과 초당 수천~수만 건의 거래 처리를 고려해야 한다.
- 데이터 부족: 개인정보 문제로 실제 거래 데이터와 특징 의미를 충분히 확보하기 어렵다.
2. 데이터와 평가 방법
데이터셋
- Credit Card Fraud Detection(CCFD): 총 284,807건 중 이상거래 492건. 데이터셋 보기
- IEEE-CIS Fraud Detection: 총 590,540건, 원본 특징 433개. 데이터셋 보기
CCFD는 학습 데이터에서 계산한 평균과 분산으로 표준화했다.
IEEE-CIS FD는 결측값과 상관관계, 특징 중요도, 시간 경과에 따른 안정성을 고려해 특징을 정리, 파생 특징을 생성해 최종 263개 특징을 사용했다.
비교한 9가지 방법
- 선형 모델: LDA, Lasso, Ridge, Elastic Net
- 트리·커널 모델: XGBoost, LGBM, Random Forest, SVM
- 신경망 모델: 오토인코더로 사전 학습된 분류기
평가지표와 검증
모델은 층화 5겹 교차검증을 10번 반복해 평가했고, 각 학습 데이터 내부에서는 층화 3겹 교차검증과 그리드 탐색으로 하이퍼파라미터를 최적화했다.
결과는 총 50회 평가의 평균과 표준편차로 제시했다.
- AUROC: 전체 임계값에서 다수 클래스까지 포함한 전반적인 분류 성능을 평가한다.
- AUPRC: 정밀도와 재현율을 사용하므로 이상거래처럼 소수 클래스 판별이 중요한 문제에 더 민감하다.
3. 분류 성능
CCFD
XGBoost가 AUPRC 0.8612, AUROC 0.9827로 가장 높은 성능을 기록했다.
LGBM과 Random Forest도 AUPRC 0.85 이상으로 근접했다.
AUROC는 대부분 0.9 이상이었지만 AUPRC에서는 선형 모델과 비선형 모델의 차이가 더 분명했다.
불균형 데이터에서 AUPRC가 중요한 이유를 보여주는 결과다.
IEEE-CIS FD
AUPRC는 LGBM이 0.9249로 가장 높았고, AUROC는 XGBoost가 0.9836으로 가장 높았다.
이 데이터에서도 Gradient Boosting 계열이 다른 방법보다 전반적으로 우수했다.
4. 학습시간과 예측시간
운영 환경에서는 모델을 얼마나 빨리 다시 학습할 수 있는지, 거래 한 건을 얼마나 빠르게 판단하는지가 중요하다.
공격 패턴이 변하면 모델을 주기적으로 갱신해야 하고, 이상거래는 짧은 시간에 연속적으로 발생할 수 있기 때문이다.
- SVM은 두 데이터셋 모두에서 학습시간이 가장 길었다.
- XGBoost의 건당 예측시간은 CCFD 0.0668초, IEEE-CIS FD 0.1248초였다.
- LGBM은 각각 0.0016초와 0.0037초로, XGBoost보다 30배 이상 빨랐다.
- LGBM의 학습시간은 XGBoost보다 조금 길었지만 실시간 예측 측면에서는 큰 이점이 있었다.
5. 읽고 난 뒤
이 논문의 장점은 서로 다른 두 공개 데이터셋과 동일한 검증 절차를 사용해 여러 모델을 비교하고, 정확도와 처리시간을 함께 살펴봤다는 점이다.
단순히 가장 높은 점수의 모델을 고르는 것이 아니라 실제 이상거래 탐지 시스템에서 필요한 응답속도까지 고려해 LGBM을 제안한 결론이 설득력 있었다.
다만 실제 서비스에서는 모델 성능 외에도 오탐에 따른 검토 비용, 탐지 임계값, 최신 사기 패턴으로 인한 컨셉 변화, 설명 가능성까지 함께 고려해야 한다.
향후에는 시간 순서 기반 검증과 비용 민감 학습을 추가해 운영 환경에 더 가까운 조건에서 비교해 볼 수 있을 것 같다.
첨부파일