치레동 레이팅 설계해보기 (일반)

들어가기에 앞서

주의: 아직 이 레이팅 시스템이 충분히 사용할 가치가 있는지, 신뢰성이 있는지 판단되지 않은 상태입니다.

혹시라도 수식을 보면 어지럽거나 논문을 펼친다는 것 자체에 부담을 느낀다면 걱정하지 않아도 된다. 나무위키에 있는 수식을 몇 개 가져온 것 외에는 수식이 하나도 없다. 수학과 직접적으로 관련된 이야기는 최대한 배제할 것이다. 또한 수학적인 이야기가 나온다고 해도 내용을 이해하는 데에는 중요하지 않은 내용이고, 중요한 포인트를 굵은 글씨로 표시해두었으니 그것만 읽어도 될 것 같다!

혹시라도, 만에 하나, 수식을 원하고 들어왔다면 다른 포스트에서 다룰 예정이니 그 포스트를 기다려주시길 바란다.

개요

치레동

평소에 방송을 잘 보지는 않지만 최근 재미있게 본 대회가 있다. 스트리머 남궁혁님이 주최하고 치지직에서 공식적으로 제작지원하는 치지직 레이싱 동아리 (이하 치레동)다. 그란 투리스모라는 레이싱 게임을 기반으로 진행하는 레이싱 대회이고, 이번에 진행한 대회는 3번째로 개최한 대회였다. 그런데 대회를 보다가 한 가지 의문점이 들었다. 선수마다 티어가 정해져있던데 그건 어떻게 정해질까? 무엇을 기준으로 정해질까? 또한 고티어 선수들은 약자 코스프레를 하기도 하고, “저 사람이 왜 저 스틴트에서 뛰냐”라는 말이 나오는 등 티어가 잘 정립되어있다면 (또는 대회 상 티어에 따른 플레이 환경이 잘 짜여있었다면) 나오지 않을 것 같은 말이 나오는 것이 이상하다고 느꼈다¹. 그래서 우선 티어가 어떻게 결정되는지부터 알아보기로 했다.

티어 지수와 랭킹 지수, 그리고 티어 배정 (3회 대회 진행 전)

나무위키를 찾아보니 지수들은 아래와 같은 식으로 구한다고 한다. ²

\[\begin{aligned} \text{랭킹 지수}&=\frac{10}{\left|I_A\right|} \sum_{j \in I_A}\frac{T_j^A}{P_j}\\ \text{티어 지수}(T)&=\frac{1}{n}\sum_{i=1}^n \left(0.3Q_i+0.7R_i\right) \end{aligned}\]

수식의 의미는 전부 건너뛰고 글로만 간단히 설명하겠다.

먼저 티어 지수는 대회 별로 결정되는 수로 퀄리파잉 순위와 본선 순위로 결정된다. 퀄리파잉에서 얻은 평균 순위에 0.3을, 본선 평균 순위에 0.7을 곱해서 더한 값을 티어 지수라고 정의한다. 다른 말로 하면, 티어 지수는 특정 대회에서 획득한 순위의 가중평균³이다.

그리고 랭킹 지수는 참가한 모든 대회에서의 티어 지수를 이용하는데, 각 대회에서 자신의 티어 지수를 그 대회에서의 참가자 수로 나눈 값을 모두 더한 뒤 10을 곱해서 평균을 낸다⁴. 의미를 부여하자면, 랭킹 지수는 10명이 참여하는 경기에서 대략 어떤 순위를 획득할지를 의미한다.

즉, 티어 지수는 특정 대회에서의 성적을 대표하고, 랭킹 지수는 전체적인 실력을 대표하는 값인 것이다.

치레동에서는 위에서의 티어 지수에 기준값을 두어 티어를 결정했다. 티어 지수가 특정 값보다 높으면 가장 높은 티어인 티어 4, 그 다음 값보다 높으면 티어 3, …로 결정되는 방식이다. 1회 대회를 진행하기 전에는 데이터가 없으니 티어를 따로 정하지 않았고, 1회 대회가 끝난 뒤에 티어 지수를 3, 5, 9를 기준으로 구분하여 4개의 티어로 나누었다. 이 정보는 2회 대회에서 팀장급 인원을 선별할 때, 팀 드래프트에서 선수의 경매 순서를 결정하는 데에 활용되었다. 그리고 마찬가지로 2회 대회를 진행한 후, 2회 대회의 결과를 바탕으로 티어 지수를 계산하고 이를 바탕으로 티어를 결정했다. 해당 대회에서는 기준이 약간 바뀌어 3, 6, 8를 기준으로 구분했고, 3회 대회에서는 딱히 티어 정보를 활용하지 않았다.

아래는 참고용 데이터로 1회와 2회 대회 종료 후의 티어 지수와 티어 배정 정보다.

1회 대회 종료 후 티어 지수와 티어 배정	2회 대회 종료 후 티어 지수와 티어 배정

티어 지수와 랭킹 지수의 한계점

그런데 이러한 지수와 이를 기반으로 책정되는 티어에는 몇 가지 한계점이 있다. 먼저, 본선은 팀전으로 진행하는데 팀전에 대한 결과가 전혀 반영되지 않는다! 물론 초보 선수들이 많을 수 밖에 없는 대회에서 팀플레이가 체계적으로 이루어지기는 어렵겠지만, 그래도 팀전에서의 높은 순위를 위해 개인전 순위를 뒤로 하고 팀원들을 도와주는 플레이를 하는 경우가 드물게나마 있을 수 있다. 물론 반대로 버스를 타면서 높은 팀 순위를 가져가거나 1등을 했지만 다른 팀원이 올라오지 못해서 낮은 팀 순위를 기록하는 경우도 있을 수 있지만, 팀으로서 서로 도움을 주고받는 플레이가 존재하는 이상 팀전 결과도 같이 반영하는 것이 더욱 대표성이 있을 것 같다.

이번에는 상황을 하나 가정해보자. 선수 A가 10인 대회에 한 번 출전해서 티어 지수 3을 받았다. 선수 B는 10인 대회에 여러 번 출전해서 평균 티어 지수(=랭킹 지수) 3을 기록했다. 이 두 선수의 실력이 같을까? 같을 수도 있고, 다를 수도 있다. 하지만 여러 번 출전해서 랭킹 지수 3을 기록한 선수는 다음 대회에서도 3에 근접한 티어 지수를 기록할 확률이 높다는 것을 의미한다. 반면에 한 번 출전해서 티어 지수 3을 기록한 선수는 그 대회만 보고 다음 대회에서 3 정도의 티어 지수를 기록할 것이라고 말하기 어렵다. 운이나 다른 실력 외적인 요소에 영향을 받았을 가능성이 상대적으로 높다. 즉, 랭킹 지수로서 티어 지수의 평균값을 그대로 사용하는 것이 문제점이 될 수 있다.

여기에 더해서, 치레동 2회에서 새로운 문제점을 찾았다. 1회에서와의 다른 점은 각 본선 경기마다 대결하는 팀이 다르다는 것이다. 비교적 약팀만 만나는 대진인 경우 단순 순위로 티어 지수를 계산하게 되면 높은 순위를 달성하기 쉬워지기 때문에 티어 지수도 덩달아 높아지고, 반대로 강팀만 만나는 대진인 경우 전반적인 순위가 낮아지면서 낮은 티어 지수를 받게 된다. 즉, 티어 지수나 추후 랭킹 지수를 활용할 때 해당 지수의 신뢰성에 문제가 생길 수 있다. 장기적으로 본다면 그러한 부분도 언젠가 상쇄되겠지만, 자주 열리지 않는 치레동의 특성상 쉽게 사라지지는 않을 것이다. 이러한 점 때문에 랭킹 지수의 대표성에 의문을 가질 수도 있다.

이러한 한계점을 해결해보고자 치레동 레이팅 시스템을 설계해보기로 했다. 주요한 목적은 아래와 같다.

팀전 결과도 같이 반영되는 레이팅
꾸준한 퍼포먼스를 반영하는 레이팅
대결한 선수의 실력에 따른 레이팅 보정

~~사실 딴거 다 모르겠고 늦잠님이 허위매물이라는 것을 증명할 근거가 될 만한 게 있을지 궁금했다~~

TrueSkill 기반 레이팅 설계

TrueSkill을 활용한 이유

우선 TrueSkill에 대해 간단히 소개하겠다. TrueSkill은 마이크로소프트에서 개발한 매치메이킹 시스템으로, 원래는 PvP 게임에서 밸런스있게 플레이어들을 매칭시키기 위해 만들어진 시스템이다⁵. 여기서 주목할 부분은 그 안에 있는 레이팅 시스템으로, 플레이어의 실력을 평균과 표준편차라는 값으로 나타낸다. 체스 같은 곳에서 사용되는 일반적인 레이팅은 실력을 하나의 숫자로 나타내지만, TrueSkill은 두 개의 값을 활용하여 플레이어의 실력을 범위와 확률로 나타낸다. 플레이어의 실력은 특정 범위 내에 존재하고, 그 범위 안에 확률이 흩뿌려져있다고 보는 것이다. 실제로 이 시스템에서는 플레이어의 실력을 아래의 그래프와 비슷하게 표시한다.

TrueSkill의 특징 중 하나는 플레이한 횟수가 많아질수록 실력을 나타내는 범위가 좁아지면서 실력이 점선으로 표시된 평균값 근처에 있을 확률(신뢰도)이 올라간다는 것이다. 위의 그림을 이용해서 설명하자면, 플레이할수록 실력을 나타내는 범위가 점점 노란색 그래프에서 파란색 그래프처럼 좁게 변하게 되는 것이다. TrueSkill에서는 이러한 사실을 바탕으로 평균보다 일정 확률만큼 아래에 있는 값⁶을 레이팅으로 활용한다. 그렇게 한다면, 같은 평균값을 가졌더라도 위 그림의 노란색과 파란색처럼 실력 범위가 다르다면 파란색과 같이 더 좁은 범위를 가진 플레이어가 더 높은 레이팅을 가진다 (혹시라도 왜 그런지 궁금하다면 추후 작성할 수식이 가득한 포스트로 초대한다). 이러한 점을 이용한다면 3가지 문제점 중 두 번째인 꾸준한 퍼포먼스를 반영하는 레이팅 조건을 충족시킬 수 있다.

그리고 플레이어가 게임을 진행하면 범위와 확률을 같이 보정하여 전체적인 실력값을 보정하는데, 이 때 보정하는 정도를 결정하는 요인은 바로 게임을 같이 진행하는 플레이어의 실력이다. 각 플레이어의 실력을 바탕으로 승률을 계산하고, 경기 결과에 따라서 각 플레이어의 실력의 보정값이 결정된다. 낮은 확률을 뚫고 이긴 플레이어는 평균이 크게 오르고, 예상된 승리를 따낸 플레이어는 평균이 조금 오르는 식이다. 반대로 진 플레이어는 평균이 내려가게 된다. 따라서 이를 도입한다면 세 번째 문제점인 대결한 선수의 실력에 따른 레이팅 보정 조건을 충족시킬 수 있다. 자세한 수학적인 내용은 다른 포스트에서 다룰 예정이니 여기서는 그렇구나하고 넘어가면 될 것 같다.

TrueSkill의 또 다른 특징으로는 팀 수가 어떻든, 각 팀 별로 몇 명의 플레이어가 참여하든 상관없이 레이팅을 계산할 수 있다는 점이다. 일반적으로 널리 사용하는 레이팅은 개인 1:1 대결만을 가정하는 것과는 다르게, TrueSkill은 개인 1:1 대결뿐만 아니라 팀 1:1 대결(ex. 치레동 2회의 5:5), 여러 팀이 동시에 대결(ex. 치레동 1회의 3:3:3:3), 심지어는 6:4와 같은 비대칭 대결에서도 레이팅을 계산할 수 있다. 즉, 경기 형태가 어떻든 레이팅을 계산하는 것이 가능하다.

TrueSkill의 한계점

다만 TrueSkill을 그대로 사용한다고 해도 문제점이 존재한다. TrueSkill을 그대로 사용한다면 팀전으로 치러지는 경기에서 팀전 순위만 계산이 들어가고 각 플레이어의 순위는 무시된다. 또한, 실력을 보정할 때 가중치를 설정할 수 없어서 퀄리파잉과 본선 경기가 같은 비중을 가지게 된다. 따라서 이 레이팅 시스템을 조금 변형할 필요가 생긴다.

이 이후로는 수학적인 기술이 필수적이므로, 자세한 설명은 생략하고 어떠한 변형을 필요로 하는지만 간단히 짚고 넘어가겠다. 자세한 수식과 설명은 다른 포스트에서 다룰 예정이다.

실력값의 변동을 결정할 때, 여러 요인에 대한 변동량의 가중평균을 계산하여 최종 변동값을 결정하고 반영할 수 있도록 한다.
- 퀄리파잉의 경우 본선보다 낮은 가중치를 두어야 하므로, 기존 실력과 경기 결과를 해석한 값에 대한 가중치합을 계산해서 변동값을 적용한다. 기존 티어 지수를 계산할 때에도 퀄리파잉과 본선을 3:7 비율로 반영한 것을 참고하여 본선은 1, 퀄리파잉은 0.43의 가중치를 적용한다.
- 본선의 경우 팀 순위뿐만 아니라 개인 순위도 같이 반영해야 하므로, 팀 순위를 해석한 값과 개인 순위를 해석한 값의 가중치합을 계산해서 변동값을 적용한다. 이 때 각각의 가중치 값은 팀 순위 0.3, 개인 순위 0.7로, 기존 티어 지수를 계산할 때 개인 순위만 반영한 것을 토대로 개인 순위의 비율을 더 높게 책정했다. → 목적 중 첫 번째인 팀전 결과도 같이 반영되는 레이팅 조건을 충족시킬 수 있다.

결과

이 부분에서는 데이터를 표현하기 위해 숫자가 꽤 많이 나오는데, 부담없이 넘겨도 무방하다.

초기 레이팅

TrueSkill은 플레이어가 처음 가질 레이팅 값, 최대로 늘어날 수 있는 레이팅 값, 레이팅 변화 정도 등 여러 가지 설정값을 조정할 수 있다. 수식이 들어가면 어지러워질 수 있으니, 대략적으로 설명하자면 처음 참가할 때에는 레이팅 0점, 평균 50점으로 시작하도록 설정했다. 그렇게 하면 100점 만점의 레이팅과 유사한 시스템으로 사용할 수 있다. 여기서의 레이팅과 평균은 각각 시스템이 추정하는 플레이어 실력의 저점⁶과 평균이라고 생각하면 편하다. 그리고 시스템의 특성 상 레이팅 값을 평균값보다 더욱 신뢰하기 때문에, 레이팅 값을 중심으로 플레이어의 실력을 판단하면 된다.

이제 실제 결과를 적용해보자.

치레동 1회

개요

자세한 레이팅 변동 데이터는 추후 다른 포스트나 페이지에 작성하겠다.

우선 치레동 1회에서는 아래의 4개의 레이스가 진행되었다. 자세한 결과는 나무위키 페이지를 참고하길 바란다.

라운드 1 퀄리파잉 (가중치=0.43)
라운드 1 본선 (가중치=1)
라운드 2 퀄리파잉 (가중치=0.43)
라운드 2 본선 (가중치=1)

이번 대회는 첫 대회이고 데이터가 부족하므로 전반적인 레이팅도 정확도가 높지 않을 것이라 예상한다.

결과

위 레이스를 모두 반영한 뒤의 최종 레이팅은 아래와 같다. 변동값은 이전 대회를 기준으로 한다.

치레동 1회 대회 레이팅 데이터

순위	이름	레이팅	평균	티어	랭킹 지수
1	형독	`54.96 (-)`	`77.72 (-)`	4	`1.250`
2	남궁혁	`52.67 (-)`	`75.65 (-)`	4	`1.250`
3	요나	`42.29 (-)`	`62.08 (-)`	3	`2.792`
4	강지형	`41.38 (-)`	`60.83 (-)`	3	`3.167`
5	김레오	`37.79 (-)`	`56.93 (-)`	3	`4.082`
6	늦잠	`29.15 (-)`	`47.98 (-)`	2	`5.833`
7	쵸쵸우	`25.80 (-)`	`44.76 (-)`	2	`6.292`
8	양메이	`24.13 (-)`	`42.89 (-)`	2	`6.542`
9	헤라	`22.40 (-)`	`41.28 (-)`	2	`7.208`
10	서애덕	`16.33 (-)`	`36.19 (-)`	1	`8.042`
11	햄쿠비	`9.05 (-)`	`29.94 (-)`	1	`9.292`
12	오단밍	`6.13 (-)`	`27.55 (-)`	1	`9.292`

대회 진행 후 결정된 티어를 반영한 그래프는 아래와 같다. 선명한 점이 레이팅, 흐릿한 점이 평균이다. (이미지를 클릭하면 크게 볼 수 있다.)

또한 이후 결정된 랭킹 지수와 비교한 레이팅은 아래와 같다.

데이터 관찰

우선 첫 데이터를 뽑고 그래프를 그려봤는데, 몇 가지 흥미로운 점이 보인다.

첫 번째는, 정확히 같은 티어 지수를 기록한 형독님-남궁혁님, 햄쿠비님-오단밍님 사이에 레이팅 차이가 보이는 모습이다. 이는 순위를 기록한 순서 때문에 달라진 것이다. 남궁혁님은 라운드 1에서 퀄리파잉과 본선 모두 1위를 기록하고 라운드 2에서 2위를 기록했지만, 형독님은 라운드 1에서 2위를 기록하고 라운드 2에서 1위를 기록했다. 즉, 라운드 1에서 남궁혁님이 먼저 1위를 기록했기 때문에 남궁혁님의 레이팅이 더 높아졌고, 이후 라운드 2를 진행하면서 형독님이 1위를 기록함에 따라 형독님의 레이팅이 더욱 올라가게 된 것이다. 햄쿠비님과 오단밍님도 같은 이유로 레이팅 차이가 생겼다고 볼 수 있다. 이는 TrueSkill의 특징 중 하나로, 낮은 확률로 이긴 플레이어가 더 큰 보상을 받는다는 점에서 기인하는 것이다. 라운드 1에서 더 높은 레이팅을 가져간 남궁혁님을 라운드 2에서 형독님이 이겨버리니 더 많은 레이팅 값을 보상으로 얻은 셈이다.

또 다른 점은, 레이팅과 랭킹 지수의 관계가 거의 비슷하게 나타나고 티어 지수로 구분된 티어도 레이팅 값에 따라 잘 구분된다는 점이다. 각 티어 별로 레이팅 값을 살펴보면 티어 간 레이팅 값 차이가 명확하게 나타나고 있다. 물론 첫 대회이기 때문에 데이터가 부족한 것도 있겠지만, 랭킹 지수와 별다른 차이를 보이지 않았다는 점에서 계속 데이터를 쌓아가면서 관찰할 가치가 있어보인다.

치레동 2회

개요

마찬가지로 자세한 레이팅 변동 데이터는 추후 다른 포스트나 페이지에 작성하겠다.

우선 치레동 2회에서는 아래의 11개의 레이스가 진행되었다. 자세한 결과는 나무위키 페이지를 참고하길 바란다.

예선 퀄리파잉⁷ (가중치=0.43)
예선 A조 본선 (가중치=1)
예선 B조 본선 (가중치=1)
4강 A조 퀄리파잉 (가중치=0.43)
4강 A조 본선 (가중치=1)
4강 B조 퀄리파잉 (가중치=0.43)
4강 B조 본선 (가중치=1)
3,4위전 퀄리파잉 (가중치=0.43)
3,4위전 본선 (가중치=1)
결승전 퀄리파잉 (가중치=0.43)
결승전 본선 (가중치=1)

이렇게 많은 경기가 진행된만큼, 상위권이 아닌 선수들의 레이팅 변동도 상당할 것으로 예상된다.

결과

위 레이스를 모두 반영한 뒤의 최종 레이팅은 다음과 같다. 변동값은 이전 대회를 기준으로 한다.

치레동 2회 대회 레이팅 데이터

순위	이름	레이팅	평균	티어	랭킹 지수
1	남궁혁	`63.04 (+10.37)`	`80.94 (+5.29)`	4	`1.275`
2	박인수	`55.90 (-)`	`75.39 (-)`	4	`1.700`
3	형독	`55.29 (+0.33)`	`71.25 (-6.47)`	4	`2.050`
4	제황	`51.96 (-)`	`71.45 (-)`	4	`2.000`
5	강지형	`49.20 (+7.82)`	`63.86 (+3.03)`	4	`2.958`
6	요나	`47.60 (+5.31)`	`61.90 (-0.18)`	3	`3.121`
7	문호준	`46.52 (-)`	`62.50 (-)`	3	`3.500`
8	김레오	`42.08 (+4.29)`	`54.74 (-2.19)`	3	`4.896`
9	노돌리	`40.75 (-)`	`57.05 (-)`	3	`4.250`
10	박지	`31.66 (-)`	`46.87 (-)`	3	`5.850`
11	뽀구미	`31.10 (-)`	`46.61 (-)`	3	`5.200`
12	김토키	`30.94 (-)`	`46.27 (-)`	2	`6.300`
13	늦잠	`29.15 (-)`	`47.98 (-)`	2	`5.833`
14	오단밍	`26.83 (+20.70)`	`39.63 (+12.08)`	2	`7.796`
15	헤라	`25.98 (+3.58)`	`38.34 (-2.94)`	2	`7.354`
16	쵸쵸우	`25.81 (+0.01)`	`38.35 (-6.41)`	1	`7.321`
17	서애덕	`25.61 (+9.28)`	`38.25 (+2.06)`	2	`7.721`
18	양메이	`21.97 (-2.16)`	`34.61 (-8.28)`	1	`8.021`
19	햄쿠비	`18.67 (+9.62)`	`31.77 (+1.83)`	2	`8.521`
20	케인	`8.30 (-)`	`26.92 (-)`	1	`8.950`
21	이글콥	`4.08 (-)`	`22.87 (-)`	1	`9.350`

대회 진행 후 1회 대회의 티어를 반영한 그래프는 아래와 같다. 선명한 점이 레이팅, 흐릿한 점이 평균이다. (이미지를 클릭하면 크게 볼 수 있다.)

대회 진행 후 결정된 티어를 반영한 그래프는 아래와 같다. 마찬가지로 선명한 점이 레이팅, 흐릿한 점이 평균이다.

또한 이후 결정된 랭킹 지수와 비교한 레이팅은 아래와 같다. (슬슬 인원이 많아져서 그래프에 이름을 넣기가 힘들다. 글자가 일부 겹치거나 위치가 이상한 부분은 양해바란다.)

데이터 관찰

대회를 2개 진행한 시점에서는, 레이팅과 티어의 차이가 조금씩 발생하고 있다. 티어 3과 티어 4는 역전되는 경우가 없는데, 티어 1과 티어 2에서는 티어 1 선수의 레이팅이 더 높은 경우가 발생하고 있다. 가장 큰 이유는 치레동 2회에서 티어 결정 방식에 있는데, 1회 대회의 결과를 반영하지 않기 때문이다. 그 예시로, 햄쿠비님은 1회에서는 하위권에 계속 붙어있을 정도의 기록을 남기며 처음에 티어 1로 배정받았지만, 이번 대회에서 개인 순위를 끌어올리며 티어 2로 배정받았다. 하지만 1회 대회까지 고려한 결과를 사용했다면 티어 1로 유지될 가능성도 배제할 수 없었을 것이다. 이러한 차이점에서 레이팅과 티어 간의 차이가 발생하는 것으로 보인다.

랭킹 지수와 레이팅간의 관계는 여전히 비슷한 모습을 보이고 있다. 다만 차이가 나는 부분이라면 1회와 2회 모두 참가한 선수들의 경우 레이팅 값이 조금 더 높게 형성되는 모습을 보이고 있다. 예를 들어, 형독님은 제황님보다, 김레오님은 뽀구미님과 노돌리님보다 랭킹 지수에 비해 레이팅이 높은 것을 확인할 수 있다. 이는 위에서 설명했듯이, 같은 평균값을 가져도 데이터가 더 많이 쌓여서 레이팅이 더 높아지는 효과이다. 즉, 꾸준히 대회에 참가한 선수들이 레이팅에서 더 좋은 평가를 받는 것이다.

또한 두 대회를 모두 참가한 선수들의 레이팅과 평균의 차이를 보면, 두 값의 차이가 한 대회에만 참가한 선수들에 비해 더 작다. 이 값이 작다는 것은 곧 해당 실력에 대한 신뢰도가 높아졌다는 뜻이다. 따라서 꾸준히 대회에 참가한 선수들이 레이팅에서 더 좋은 평가를 받는다는 점을 다시 한 번 확인할 수 있다.

치레동 3회

개요

마찬가지로 자세한 레이팅 변동 데이터는 추후 다른 포스트나 페이지에 작성하겠다.

우선 치레동 3회에서는 아래의 5개의 레이스가 진행되었다. 자세한 결과는 나무위키 페이지나 치레보드를 참고하길 바란다.

퀄리파잉⁷ (가중치=0.43)
STINT 1 퀄리파잉 (가중치=0.43)
본선 STINT 1 (가중치=1)
본선 STINT 2 (가중치=1)
본선 STINT 3 (가중치=1)

결과

위 레이스를 모두 반영한 뒤의 최종 레이팅은 다음과 같다. 변동값은 이전 대회를 기준으로 한다.

치레동 3회 대회 레이팅 데이터

※ 3회 대회 이후에는 공식적으로 랭킹 지수를 산출하지 않았고, 아래는 나무위키에 작성되어있던 랭킹 지수를 참고하여 작성한 것임을 알린다.

순위	이름	레이팅	평균	티어	랭킹 지수
1	형독	`60.15 (+4.86)`	`74.44 (+3.19)`	6	`1.511`
2	남궁혁	`57.51 (-5.53)`	`72.94 (-8.00)`	6	`1.661`
3	박인수	`55.90 (-)`	`75.39 (-)`	6	`1.700`
4	제황	`52.81 (+0.85)`	`68.53 (-2.92)`	5	`1.850`
5	요나	`51.29 (+3.69)`	`63.87 (+1.97)`	5	`2.447`
6	강지형	`51.15 (+1.95)`	`63.91 (+0.05)`	5	`2.517`
7	문호준	`46.52 (-)`	`62.50 (-)`	4	`3.500`
8	김레오	`44.56 (+2.48)`	`55.97 (+1.23)`	5	`3.975`
9	유영혁	`40.84 (-)`	`64.27 (-)`	4+	`1.367`
10	노돌리	`40.75 (-)`	`57.05 (-)`	4	`4.250`
11	사모장	`38.28 (-)`	`60.90 (-)`	4+	`1.767`
12	김토키	`34.25 (+3.31)`	`47.45 (+1.18)`	4	`5.217`
13	박지	`31.66 (-)`	`46.87 (-)`	4	`5.850`
14	오단밍	`31.63 (+4.80)`	`43.25 (+3.62)`	3+	`6.453`
15	늦잠	`30.86 (+1.71)`	`45.92 (-2.06)`	3+	`6.717`
16	뽀구미	`30.30 (-0.80)`	`43.60 (-3.01)`	4	`5.567`
17	백마력티비	`29.82 (-)`	`52.65 (-)`	4+	`2.667`
18	헤라	`29.30 (+3.32)`	`40.50 (+2.16)`	4	`5.936`
19	해마티엘	`26.98 (-)`	`50.03 (-)`	4	`4.700`
20	서애덕	`26.78 (+1.17)`	`38.11 (-0.14)`	3	`7.147`
21	쵸쵸우	`25.28 (-0.53)`	`36.72 (-1.63)`	2	`7.003`
22	양메이	`25.22 (+3.25)`	`36.54 (+1.93)`	3	`7.025`
23	하루토	`23.21 (-)`	`45.68 (-)`	3	`4.867`
24	로션욤	`21.15 (-)`	`41.76 (-)`	2	`7.567`
25	최케빈	`21.09 (-)`	`43.60 (-)`	2	`5.500`
26	새싹감자	`18.69 (-)`	`41.18 (-)`	3	`5.367`
27	햄쿠비	`18.67 (-)`	`31.77 (-)`	3	`8.521`
28	유리리	`18.46 (-)`	`39.04 (-)`	1+	`8.233`
29	새담	`17.18 (-)`	`37.72 (-)`	1+	`7.700`
30	이글콥	`16.84 (+12.76)`	`31.69 (+8.82)`	2	`8.642`
31	미치르 메르헨	`10.55 (-)`	`31.55 (-)`	1+	`8.600`
32	이치카 히비	`9.34 (-)`	`30.64 (-)`	1+	`8.667`
33	케인	`8.82 (-)`	`27.36 (-)`	1	`8.950`
34	아로	`8.06 (-)`	`29.51 (-)`	1	`9.433`
35	하쁘	`4.79 (-)`	`26.70 (-)`	1	`9.500`
36	레아나	`-2.68 (-)`	`21.48 (-)`	1	`9.767`

대회 진행 후 2회 대회의 티어를 반영한 그래프는 아래와 같다. 선명한 점이 레이팅, 흐릿한 점이 평균이다. (이미지를 클릭하면 크게 볼 수 있다.)

대회 진행 후 결정된 티어를 반영한 그래프는 아래와 같다. 마찬가지로 선명한 점이 레이팅, 흐릿한 점이 평균이다.

3회에서는 랭킹 지수와 티어 지수를 공식적으로 집계하지 않았기 때문에 랭킹 지수와 레이팅의 비교 그래프는 숨겨놓겠다. 더군다나 사람이 많아서 그래프 안의 텍스트도 많이 겹쳐서 잘 보이지 않는다. 그래도 궁금하다면 아래 버튼을 눌러 확인할 수 있다.

치레동 3회 랭킹 지수와 레이팅

마찬가지로 나무위키에 작성되어있던 랭킹 지수를 참고하여 그래프를 그렸다.

데이터 관찰

대회에 참가하는 선수들의 목록이 계속 바뀌면서 서로 같은 대회에 참가한 적이 없던 두 선수의 실력을 비교하는 경우가 계속 생겨나고있다. 예를 들어, 위 그래프에서도 1, 3회만 참가한 늦잠님과 2회만 참가한 박지님의 레이팅이 비슷한 위치에 있는 것을 확인할 수 있다. 두 선수의 레이팅이 비슷하니 실력이 비슷하다고 단정지을 수 있을까? 개인적인 생각으로는 어느 정도 그렇다고 생각하는데, 그 이유는 두 선수가 참여한 대회에 모두 참여한 선수들이 있기 때문이다. 레이팅은 위에서 언급했듯이 다른 선수들의 실력에 따라 보정되고, 반대로 늦잠님이나 박지님의 실력으로 인해 다른 선수들의 레이팅도 보정받았을 것이다. 그렇게 보정된 다른 선수들의 레이팅을 기준으로 해당 선수들의 레이팅이 보정을 받은 것이므로 단순히 레이팅을 비교하는 것도 어느 정도 신뢰할 수 있다고 생각한다.

결론

이 레이팅이 어떤 의미를 가질 수 있는지, 어떻게 활용할 수 있는지에 대해서는 이 포스트에서 확인하지는 않았다. 그래서 지금까지의 내용으로는 “그래서 이거 쓰면 뭐가 좋은데?”에 대한 질문에 대답을 할 수 없다. 지금까지는 그냥 “괜찮은 시스템 가져다가 대회 데이터에 도입해봤다” 정도이다. 사실 이 포스트를 작성하는 시점에서도 아직 확인해보지 않은 상태다. 따라서 다음 포스트는 이 레이팅이 얼마나 많은 의미나 활용처가 있을지 확인해보는 것이 될 것 같다.

사실 이러한 레이팅 시스템을 설계하고 정리를 하는 와중에 치레동 티어 회의가 있었다. 이번부터는 티어를 대회 결과뿐만 아니라 연습 태도, 성장 가능성 등도 고려해서 결정했다고 한다. 방송을 보지는 못했지만 회의를 진행하면서 티어메이커에 한 명씩 올려가면서 결정했던 것 같다(…). 이번에도 같은 방식으로 결정한다면 혹시라도 이 레이팅을 활용할 수 있었을까 싶은데 방식이 조금 바뀌어버린 것이 개인적으로는 아쉽다.

아무튼 결론을 내자면, 지수나 레이팅은 과거를 나타내는 값이다. 이번부터는 티어 결정이 미래 또한 고려하는 정성적인 요인을 반영하므로, 그러한 값들은 티어 결정에 있어서 이전보다는 상대적으로 큰 영향을 미치지 못할 것이다. 다만 티어 결정에 참고 자료로 활용될 수 있는 부분인만큼, 과거의 데이터를 조금 더 수학적이고 체계적인 시스템으로 다뤄보고 그 결과가 이전에 사용했던 수치와 어떠한 차이가 있는지 살펴보는 것에 의의를 두고 있다.

여담

여담으로, 데이터를 보고 어떤 선수가 과도하게 저평가 또는 고평가가 되었다고 생각되는 부분이 있다면 트위터(현 X) 포스트나 이 포스트에 댓글을 남겨주길 바란다. 이것저것 시스템을 조정해볼 때 귀중한 참고 자료로 활용될 것이다.

그리고 마지막으로, 이 포스트의 부제목이기도 한 질문에 대한 답변을 해보겠다. 물론 아직 이 레이팅이 정확하다고 하기에는 제대로 검증되지는 않았지만, 지금까지의 데이터를 바탕으로 한다면 대답할 수 있을 것 같다. 2회 대회가 끝난 시점의 데이터를 한 번 보자. 아래는 2회 대회 종료 시점의 레이팅 데이터 중 일부이다.

	순위	이름	레이팅	평균	티어	랭킹 지수
	11	뽀구미	`31.10 (-)`	`46.61 (-)`	3	`5.200`
	12	김토키	`30.94 (-)`	`46.27 (-)`	2	`6.300`
→	13	늦잠	`29.15 (-)`	`47.98 (-)`	2	`5.833`
→	14	오단밍	`26.83 (+20.70)`	`39.63 (+12.08)`	2	`7.796`
	15	헤라	`25.98 (+3.58)`	`38.34 (-2.94)`	2	`7.354`
	16	쵸쵸우	`25.81 (+0.01)`	`38.35 (-6.41)`	1	`7.321`

늦잠님의 레이팅은 STINT 2에서 1위를 기록한 오단밍님보다도 높은 것으로 나타났다. 즉, 늦잠님은 정량적으로도 허위매물이 맞았다고 볼 수 있을 것 같다. (이미 티어 2가 STINT 1에서 뛴다는 것 자체가 말이 안되긴 했다)

참조

나무위키 문서
TrueSkill 공식 자료
- 웹사이트: Microsoft Research: TrueSkill™
- 논문: TrueSkill™: A Bayesian Skill Rating System
Python TrueSkill 라이브러리
- 웹사이트
- 깃허브

물론 방송적인 측면에서는 그렇게 되는 것이 이야깃거리도 많고 더 재밌긴 하다. ↩
단, $I_A$는 A가 참가한 대회들의 집합, $\left|I_A\right|$는 A가 참가한 대회 수, $T_j^A$는 대회 $j$에서 A의 티어 지수, $P_j$는 대회 $j$의 참가자 수, $n$은 참가한 대회의 수, $Q_i$는 $i$라운드에서의 퀄리파잉 순위, $R_i$는 $i$라운드에서의 본선 순위이다. ↩
평균은 평균인데 중요하게 생각되는 값에 더 가깝게 조정된 값이라는 의미이다. 예를 들어, 10인 대회의 퀄리파잉에서 2위를 기록하고 본선에서 7위를 기록했다면 티어 지수는 $2\times 0.3+7\times 0.7=5.5$가 된다. 평균을 냈지만 본선의 가중치가 더 높았으므로 본선의 순위에 더 가까운 값이 나온다. ↩
사실 이것도 이상한게 12명이 참가한 대회에서 티어 지수 1을 기록하면 랭킹 지수가 0.833이 된다. 의미 상으로 10명이 참가하는 대회에서 기록할 것으로 기대하는 “순위”인데 말이다! 하지만 본 포스트에서 중요한 것은 아니니 일단 넘어가겠다. ↩
실제로 리그 오브 레전드에서는 TrueSkill를 개선한 TrueSkill 2를 매치메이킹 시스템으로 사용한다고 알려져있다. ↩
정확히는 하위 99.7%에 해당하는 값이다. 즉, 플레이어의 실력이 이 값보다 높을 확률이 99.7%라고 추정하는 것이다. ↩ ↩²
실제로는 여러 경기가 있었지만, 데이터를 취합할 때 하나의 기록으로 남기는만큼 하나의 경기로 간주한다. ↩ ↩²