공개 SW인 하둡으로 빅데이터 분석 기반 마련

이은조 엔씨소프트 데이터플랫폼실 데이터분산처리팀 팀장은 "의사결정에 필요한 정보 분석을 위한 코그노스(Cognos), 데이터분석을 위한 SPSS(Statistical Package for the Social Sciences), 데이터 저장을 위한 DBMS 등으로 GFIS에 정보 처리 스택을 구성해 오토 플레이 툴에 의해 자동으로 사냥하는 봇(Bot)을 탐지하는 모델링 기법을 이미 운영했다"고 밝혔다.

그러나 리니지, 아이온, 블레이드앤소울 등의 MMORPG에서 하루에 생성되는 2~3TB의 로그를 처리하는 데 DBMS는 한계가 커 당시 로그 데이터만 분석할 수 있었다. 이에 따라 기존 GFIS와 연동 가능하고 게임 로그 데이터를 심층 분석할 수 있는 R을 도입하기 전에 확장이 자유롭고 대용량을 분산 처리할 수 있는 하둡을 선제적으로 도입할 필요가 있었다는 게 이은조 팀장의 설명이다.

엔씨소프트는 정형화된 데이터는 DBMS에, 전체 데이터의 약 90%를 차지하는 게임 로그 데이터는 하둡에 적재되도록 인프라를 계층화했다. 이어서 SQL과 유사한 쿼리로 데이터를 처리할 수 있는 하이브, 반복적 코딩에 취약한 맵리듀스를 보완하는 스크립트 언어인 피그, 응용프로그램 개발과 잡 생성, 스케줄링을 단순화하는 캐스케이딩과 같은 하둡 에코시스템도 함께 도입했다. 여기에 피그로 정제된 데이터를 인메모리로 처리해 성능을 높이고 GFIS의 운영 정책에 맞춰 스케줄링을 세분화했으며, GFIS의 데이터 포맷에 맞춰 하둡의 인풋 포맷을 커스터마이징했다. 이를 통해 100여개의 클러스터로 구성된 1.8PB(1,024TB) 규모의 대용량 분산처리시스템을 구축함으로써 주요 MMORPG의 게임 로그 데이터 일체를 처리 가능한 인프라 구축을 완료했다.

데이터 분석 위한 R로 부정행위 탐지

GFIS의 단계적 개선 계획에 따라 하둡을 선제적으로 도입하고 빅데이터 분석을 위해 공개 SW인 R을 도입한 배경에 대해 이은조 팀장은 "인터랙티브한 데이터 분석에 SPSS의 UI는 강점이지만 데이터 분석의 자동화에는 UI가 오히려 장애가 됐을 뿐 아니라 당시에는 하둡에 대한 지원이 미비했다"고 설명했다. 이에 반해 R은 공개 SW인 SVN과 연동이 자유롭게 반복된 처리를 스크립트로 자동화할 수 있으며 분석 결과를 모델링하는 데 유리했다는 것. 이에 따라 원시 데이터의 정제와 가공에 하둡의 피그, 분석과 모델링에는 R, 전체 프로세스의 제어에는 파이썬을 활용한 게임 데이터 분석 프로세스가 구축됐다.

엔씨소프트는 자동화된 봇을 운영해 불법적으로 얻은 아이템과 게임 머니를 취합해 판매하는 배후 계정으로까지 탐지 범위를 확대하기 위해 R에 Contagion Model을 적용했다. 캐릭터 간 사회 활동을 관계 네트워크로 구축하고 시각화한 이 모델링 기법으로 탐지 알고리즘 상의 모호한 경계에 있어 판단할 수 없던 캐릭터까지 위법성을 정량화해 부정행위에 대한 근본적인 제재 수단이 마련된 것으로 평가된다.

최근 엔씨소프트는 활동 패턴에 따라 크게 어긋나는 시점을 탐지하는 자기 상관 분석과 회귀 분석을 통해 아이템 복사, 특정 몬스터 무한 사냥 등의 게임 내 버그를 이용한 플레이를 감지하는 데 공개 SW인 하둡과 R을 활용하고 있다. 이를 통해 해킹 등에 따른 피해 복구에 신속히 대응할 수 있는 체제를 확립한 엔씨소프트는 이런 성과를 바탕으로 공개 SW 기반의 GFIS가 우선 적용됐던 리니지와 아이온 뿐 아니라 다른 MMORPG로 그 도입을 확대하는 한편, 기존 GFIS와의 통합을 준비 중이다. 또한 아이온 OBT부터 축적된 게임 로그 데이터 분석을 통해 변화된 트렌드를 분석하고 이를 게임 업데이트와 차기 게임 개발에 활용해 급변하는 시장에 신속히 대응하는 데 공개 SW가 큰 역할을 한 것으로 평가하고 있다.

참조 : https://www.oss.kr/oss_case/show/16ff58d8-3bd9-4d28-939f-016fe76ba8f1