게임 개발 성과 측정 프로젝트 파트1: 최고와 나머지

원문: The Game Outcomes Project, Part 1: The Best and the Rest

---

이 기사는 5편 시리즈 중 첫번째입니다.

• 파트1: 최고와 나머지 (한글) (Gamasutra) (BlogSpot) (Chinese)
• 파트2: 효율적인 팀 만들기 (한글) (Gamasutra) (BlogSpot) (Chinese)
• 파트3: 성과 요인들 (한글) (Gamasutra) (BlogSpot) (Chinese)
• 파트4: 야근은 게임을 망친다 (한글) (Gamasutra) (BlogSpot) (Chinese)
• 파트5: 위대한 팀은 어떻게 일하는가? (한글) (Gamasutra) (Chinese)
• 저희의 설문조사 방법론에 대한 상세한 정보는 이 블로그를 참고해주세요.
• 설문 조사의 로우 데이터(개인정보 제외)는 이곳에서 볼 수 있습니다.

게임 개발 성과 측정 프로젝트팀의 구성원은 다음과 같습니다.  Paul Tozour, David Wegbreit, Lucien Parsons, Zhenghua “Z” Yang, NDark Teng, Eric Byron, Julianna Pillemer, Ben Weber, and Karen Buro.

게임 개발 성과 측정 프로젝트: 최고와 나머지

무엇이 최고의 팀을 그토록 효율적으로 만드는 걸까요?

여러 종류의 팀들에서 일해본 베테랑 개발자들은 종종 이들 팀 사이의 거대한 문화적 차이점을 지적하곤 했습니다. 어떤 팀은 태엽 시계처럼 움직였고, 평온하고 행복한 상태에서 세계 최정상급의 게임을 만들어냈습니다. 또 다른 팀은 필사적으로 노력하며 뼈가 부서지도록 악몽 같은 주 80~90시간의 야근과 크련 치를 1년씩이나 견뎌냈지만, 최악으로 치달아 혼돈의 도가니 속에서 번 아웃 해버렸습니다. 어떤 팀은 친밀하게 협력하며 집중하고 협조적이며; 어떤 팀은 적대적이고 집중되지 않은 상태에서 일합니다. 일부는 심지어 사내 정치의 지뢰밭이 깔린 상태에서 서로 간의 뒤통수치기와 저격이 난무하는 전쟁터 같은 상황에서 일하기도 합니다.

무엇이 이들팀을 이토록 다르게 만드는 걸까요? 어떤 요인이 최고의 팀과 나머지를 가르는 걸까요?

우리 업계는 이러한 현상을 파악하려는 노력은 하고 있을까요?

우리가 궁금해하는 내용이 올바른 방향은 맞는 걸까요?

이러한 의문점들이 게임 성과 측정 프로젝트를 시작하게 된 동기가 되었습니다. 2014년의 10월과 11월에 우리 팀은 수백 명의 게임 개발자를 상태로 대규모 설문조사를 수행하였습니다. 설문조사는 약 120여 개 정도의 팀워크, 문화, 프로덕션, 그리고 프로젝트 관리에 대한 항목으로 이루어졌습니다. 서로 다른 프로젝트를 나란히 두고 비교하는 것이 하나의 프로젝트를 상세히 분석하는 것보다 더 많이 배울 것이라 판단하였습니다. 훌륭한 팀이 잘하는 것과 부족한 팀이 못하는 것들을 찾고, 반대로 훌륭한 팀이 안 하는 것과 부족한 팀이 하는 일들을 찾는 게 업계의 모든 이들에게 도움이 되리라 생각했습니다.

우리의 설문 조사는 효율적 팀에 관한 대표적인 연구들로부터 영감을 받았습니다. 우선 성공적인 팀의 5가지 조건(원서)의 5가지 조건의 효율적 팀 모델로 시작하였습니다. 또 다른 책 탁월한 조직이 빠지기 쉬운 5가지 함정 탈출법(원서)으로부터 5요인 효율적 팀 모델을 착안하였고, 또한 1천만 명의 고용인과 매니저들의 갤럽 데이터를 합산해 분석한 12 위대한 경영의 요소(원서)로부터 12요인 모델을 제작하였습니다. 이 3 종류의 팀 효율성 모델 중 최소한 1가지 이상은 게임 개발과 어떤 식으로든 연관성이 나타날 것이라 믿었습니다.

우리는 또한 게임 업계의 차이점을 보여주는 중요한 몇몇 카테고리를 추가하였습니다.

설문조사의 두 번째 페이지에서 우리는 몇 개의 포괄적인 배경 조사 설문항목을 추가하였습니다. 팀 인원과 프로젝트 진행 기간, 게임 장르, 표적 플랫폼, 팀에게 제시된 금전적 보상, 그리고 팀에서 사용하고 있는 개발 방법론에 대한 항목으로 구성되었습니다.

그다음으로 우리는 게임 프로젝트의 성과를 정량적으로 측정하는 문제에 부딪혔습니다.

5명의 개발자에게 “성공한 게임”이 무엇이냐고 묻는다면 당신은 아마 5개의 다른 답변을 듣게 될 것입니다. 어떤 개발자는 오직 매출액만을 따지고; 어떤 개발자는 게임의 비평적 성공에 훨씬 더 많은 신경을 씁니다. 작은 인디 개발자들은 “성공”을 매출이나 비평과는 상관없이 그들의 첫 게임을 발매하는 것만으로 충분하다 생각할 것이고, 국가 계약 프로젝트로 시장의 기호를 안 따지는 개발자는 “성공”을 납기일에 맞추는 것으로 판단할 것입니다. (우리는 그런 개발자로부터의 설문지도 몇 개 받았습니다,)

객관적으로 “성공”을 정의할 수 없으므로 우리는 4가지의 렌즈로 프로젝트 성과를 정량적으로 평가하기로 했습니다. 우리는 6혹은 7점 척도로 아래의 성과 측정 설문을 작성하였습니다.

• 게임의 투자자본수익률(ROI)이 어떤지 아는 선에서 답해주세요. 혹은 게임을 개발해 출시한 결과로 회사에 발생한 수익과 손실이 얼마나 되나요?
• 게임의 최우선 표적 플랫폼으로 최초 설정한 발매 기일을 지켰나요? 혹은 게임 개발이 취소되었나요?
• 게임이 비평적으로 어느 정도 성공을 거두었나요?
• 마지막으로, 게임이 내부 목표를 달성했나요? 혹은 팀에서 만들려고 시도한 게임을 만드는 데 성공했다고 느꼈나요?

우리는 위의 4종류의 성과 측정 답변과 설문지의 나머지 질문들 사이에 상관관계를 찾고, 어떤 요인이 4종류의 성과에 가장 큰 영향을 끼치는지도 밝혀낼 수 있을 것이라 기대하였습니다. 우리는 한편으로 성과에 영향을 끼치는 ‘잡음’ 들(변덕스러운 소비자 기호, 게임 비평가의 성향, 고 품질 게임을 제작하면서 항상 맞닥뜨리는 예상 불가능한 어려움과 기타 변수들) 때문에 의미 있는 상관관계를 찾기 어렵게 만드는 상황을 염려했습니다. 아마 충분한 수량의 설문을 받으면 회피 불가능한 잡음들 너머로 상관관계를 찾을 수 있을 것입니다.

우리는 여러 번의 이터레이션을 통해 설문지를 개선하고, 포럼 글, 가마스튜라 글, 트위터, IGDA 메일링을 통해 설문지를 배포하였습니다. 그 결과 완료된 771개의 설문지를 받았고 그중 302개가 완전한 설문지였고 302개 중 273개가 개발 과정에서 중단되거나 버려지지 않고 제대로 완료된 게임 프로젝트에서 온 답변이었습니다.

결과

그래서 무엇을 찾았을까요?

완전한 금광이었습니다. 결과물은 충격적이었습니다.

120개의 설문 항목 중 85% 이상의 p값이 0.05 이하로 게임 성과와 통계적으로 유의미한 상관관계를 보였습니다. (p값은 우리의 표본과 같은 데이터가 실제로 독립적일 확률을 의미합니다; 따라서 작은 p값은 데이터가 독립적이지 않다는 증거입니다.) 상관관계는 대부분 중간 수준이거나 강하게 나타났습니다. (절댓값 >0.2), 대부분의 p값은 0.001보다도 낮은 값을 나타내었습니다. 우리는 심지어 통합 성과 점수에 대하여 무려 0.82의 상관계수를 나타내는 선형 회귀분석 모델을 그릴 수 있었습니다. (아래의 그림1)

그림1. 통합 성과점수(세로축)를 대상으로 그린 선형 회귀분석 모델(가로축). 검은색 대각선이 최적 추세선.  273개의 설문 데이터 포인트가 있음.

3종류의 효율적 팀 모델(해크만의 “Leading Teams” 모델, 렌씨오니의 “5가지 함정” 모델, 그리고 갤럽의 “12” 모델) 모두 게임 프로젝트의 성과와 강한 상관관계를 보였습니다.

얼마나 많은 관련있는 설문 문항을 우리가 빼먹었는지는 알 수 없습니다. 훌륭한 팀과 나머지의 차이를 더 강력하게 드러낼 수 있는 수 많은 질문들이 있을지도 모릅니다.

하지만 우리가 확인한 통계적으로 유의미한 상관관계는 최소한 우리의 연구가 무엇이 훌륭한 게임 개발팀을 그렇게 만드는지에 대한 부분적이나마 훌륭한 답변을 도출하는 데 성공하였다고 생각합니다.   

게임 개발 성과 측정 프로젝트

공간상의 제약때문에 우리의 분석은 여러 편의 기사로 분리해 게재할 것입니다. 남은 3개의 기사는 2015년 1월부터 1주일 간격으로 게시될 것입니다. 세 종류의 효율적 팀 모델에 대한 상세한 논의는 좀 더 철저한 분석을 위해 두 번째 기사로 미루었습니다.

이번 편에서는  설문 조사에 대한 소개와 설문지 두 번째 페이지의 배경조사 내용에 대해 다룰 것입니다. 우리 조사내용 중 상대적으로 상관관계가 적은 부분을 다룰 것이지만, 상관관계를 못 찾은 부분도 상관관계를 찾은 부분만큼이나 그 자체로 흥미진진할 것입니다.  

게임 장르와 플랫폼

첫째로 우리는 응답자들에게 그들이 작업했던 게임의 장르를 물어보았습니다. 아래는 그 결과 전체입니다.

그림2. 게임 장르(가로축) vs. 통합 성과 점수(세로축) 점수가 높을 수록(녹색 점) 통합 성과 점수에 따른 더 성공적인 프로젝트임을 의미함.

우리는 게임 장르와 성과 사이의 매우 작은 상관관계를 발견했습니다. 게임 장르에 따라 통합 성과 점수가 치우치는 몇몇 사례가 있긴 했지만, 표본 크기가 너무 작아 의미 있는 결론을 도출하기는 불가능합니다. 우리의 표본은 모든 게임 장르에서 30개 미만이었습니다.

(그림2는 box-and-whisker plot을 사용하였습니다. 자세한 내용은 여기 참조.)

우리는 또한 게임의 플랫폼에 대해 -데스크탑(PC 혹은 MAC), 콘솔(Xbox/PlayStation), 모바일, 휴대기기, 그리고/혹은 웹/페이스북- 설문조사를 하였습니다. 특정 플랫폼 선택, 혹은 여러 플랫폼 동시개발 모두의 경우에서 통합 성과 점수에 통계적으로 의미 있는 결론을 발견하지 못하였습니다.

개발 기간과 팀 인원

아래의 그림에서는 개별 프로젝트의 총 개발기간을 월 단위로 환산해 적용하였습니다. 

그림3. 총 개발기간(가로축) vs 통합 성과 점수(세로축). 검은선은 추세선.

위의 그림에서 총 개발기간과 통합 성과점수는 약간의 반비례(-0.229의 스피어만 상관계수) 관계를 보입니다. p값은 0.003입니다. 원만하게 진행되는 프로젝트에 비해 어려움을 겪는 프로젝트는 개발 기간이 지연되기 쉬워서 나타나는 상관관계로 추정할 수 있습니다.

우리는 또한 프로젝트의 최종 단계에서의 팀 인원과 평균적인 팀 인원 모두에 대하여 설문조사를 수행하였습니다. 평균적인 팀 인원은 1명에서 11명 사이였고 평균은 5.7명이었습니다. 최종 팀 인원은 1명에서 500명 사이였고 평균은 48.6명이었습니다. 아래의 그림에서 볼 수 있듯이 평균 팀 인원과 최종 팀 인원 모두 약간의 양의 상관관계를 보였는데, 모두 p값이 0.1을 초과하여 통계적으로 의미가 있다고 판단할 수 없었습니다. 문제가 있는 프로젝트는 잘 진행되고 있는 프로젝트에 비해서 추가적인 투자를 받기 어려워서 팀 인원과 프로젝트 성과에 약간의 양의 상관관계가 있다고 추정됩니다. 따라서 팀 인원수가 프로젝트 성과에 양의 상관관계를 보이는 게 놀라울 일은 아닙니다.

그림4. 평균 팀 인원와 통합 성과 점수(세로축)의 상관 관계

그림5. 최종 팀 인원와 통합 성과 점수(세로축)의 상관 관계

그림6. 팀 인원의 변동 비율(최종 인원을 평균 인원으로 나눈 값)과 통합 성과 점수(세로축)의 상관 관계

게임 엔진

우리는 사용된 기술적 솔루션에 대해 설문조사를 하였습니다: 새 엔진을 바닥부터 만들거나, 전작 개발에 사용되었던 핵심 기술 혹은 내부 /  소유 엔진(EA 프로스트바이트 등); 또는 외부 개발 엔진(유니티, 언리얼, 크라이등)

결과는 아래와 같습니다:

그림7. 사용된 게임 엔진 / 핵심 기술 (가로축) vs 통합 성과 점수 (세로축) box-andwhisker plot 사용.

	통합 성과 점수(평균)	표준 편차	응답수
새 엔진/기술	53.3	18.3	41
전작의 엔진	64.8	15.8	58
내부/소유 엔진 (프로스트바이트등)	60.7	19.4	46
외부 개발 엔진 (언리얼, 유니티등)	55.6	17.5	113
그 외	55.5	19.5	15

자세히 살펴볼수록 결과는 별로 두드러지지 않다는 사실을 알 수 있습니다. 전작에서 동일한 엔진을 사용했던 프로젝트가 가장 높은 점수를 나타냈고 - 기술적인 어려움을 미리 극복하고 이미 게임을 만들 줄 아는 베테랑팀이 갖추어져 있기 때문에 다른 개발팀에 비해 앞서나갈 것이라 누구나 예상할 수 있을 것이다.

우리는 크루스칼 왈리스의 일원 변량 분석을 사용하여 위의 설문조사가 딱 그 경우에만(전작에서 동일한 엔진을 사용하는 등) 에만 p값이 0.006으로 통계적으로 유의미하다는 사실을 발견했습니다. 해당 분류의 답변을 제거하고 나머지만으로 분석하면 p값이 0.3 이상으로 증가하였습니다.

이에 대한 우리의 해석은 게임 엔진 선택 문제는 전적으로 만들어지고 있는 게임과 개발팀이 선택할 수 있는 대안에 달려 있고, 그 대안들은 어떤 것이나 상황에 따라 ‘최적’의 선택이 될 수 있다는 것입니다. 다시 말해, 가장 합리적인 해석은 만들어지고 있는 게임의 속성이나 개발 상황과 상관없이 어떤 경우에도 항상 적용되는 ‘정답지’는 없습니다. 게임 엔진에 대한 선택이 기술적으로 중요하지 않다는 뜻은 아니지만, 데이터가 보여주는 것은 서로 다른 선택 간의 성공과 실패가 모두 다수 존재하고 각각의 선택이 최종 성과에 미치는 영향은 매우 미미합니다. 이는 엔진/기술에 대한 4가지 대안 모두 개발팀이 처한 상황에 따라 선택할 수 있다는 뜻입니다.

우리는 이번에는 응답자의 개발팀이 사용하고 있는 구체적인 기술 솔루션을 물어보지 않았습니다. 다음에 또다시 비슷한 연구를 진행한다면 특정 게임 엔진에 대한 질문을 추가할 수도 있을 것입니다.(유니티, 언리얼, 크라이엔진등) 


팀 경력 사항

우리는 또한 팀원들의 평균 경력 연차를 묻는 설문을 5개의 등급으로 나누어서 수행하였습니다. (1은 2년 미만의 평균 개발 경력, 5는 8년 이상의 숙련된 게임 업계 베테랑을 나타냅니다.)

그림8. 팀 경력 사항 랭킹 (가로축, 분류는 위에 기술함)  통합 성과 점수에 대해 매핑(세로축)

여기서 우리는 0.19의 상관관계(p값 0.001 미만)를 볼 수 있습니다. 왼쪽 상단과(경험이 전혀 없는 팀이 매우 성공적인 상황) 오른쪽 하단에는(매우 숙련된 팀이 대실패하는 상황) 점이 하나도 없다는 사실에 주목하세요.

그래서 우리의 연구는 숙련된 팀이 훨씬 더 성공할 가능성이 높다는 업계 상식을 확실히 입증하였습니다. 놀라운 결과는 아니지만, 데이터가 상식에 명확히 부합한다는 점은 안심가는 일입니다. 게임 개발 경력이라고는 없는 사람이 갑자기 나타나 며칠 만에 개발한 게임으로 대성공한다는 이야기가 재미있기는 하지만(플래피 버드처럼) 우리의 연구 결과는 그런 경우가 매우 희귀하다는 것을 명백히 밝히고 있습니다.


놀라운 점1: 생산성과 인센티브

이번 설문의 첫 번째 페이지를 통해 두 가지의 또 다른 놀라운 사항을 발견했습니다.

첫 번째는 금전적 인센티브였습니다. 우리는 설문지를 통해 “팀에서 당신 게임의 최종 성과, 팀의 실적 혹은 당신 개인의 실적에 대한 인센티브를 제시했나요? 해당하는 사항을 모두 고르세요” 해당 사항이 여러 개 있을경우 모두 선택할 수 있도록 설문 문항을 제작하였습니다.

위 설문의 상관관계는 아래와 같습니다:

그림9. 인센티브(가로축) vs 통합 성과 점수(세로축) box-andwhisker plot을 사용하여 5가지 형태의 금전적 인센티브를 나타냄. 왼쪽부터 오른쪽으로:개인 실적, 팀 실적, 로열티 수익 게임 리뷰/메타 크리틱 점수와 그 외 기타. 5가지 형태의 금전적 인센티브 지급법에 대해 1종당 273개의 데이터 포인트를 해당 방법을 사용 안 하는 경우(왼쪽)와 사용하는 경우(오른쪽)에 대해 나누어 분석함.

인센티브의 다섯 가지 형태 중 오직 개인 실적 인센티브만이 통계적 유의성을 보였습니다. 개인 실적에 맞춰 보상을 제시한(273개 중 64개) 게임 프로젝트는 평균 63.2(표준편차 18.6)을 나타냈고 개인 실적 보상을 제시하지 않은  프로젝트는 평균 56.5(표준편차17.7)의 통합 성과 점수를 나타냈습니다. Wilcoxon rank-sum 테스트는 개인 실적 인센티브 제시와 제시안한 경우의 비교는 p값이 0.017로 나타났습니다.

인센티브의 다른 형태는 -팀 실적, 로열티 수익, 리뷰 그리고/혹은 메타크리틱 점수 기준, 그외 기타- p값이 높아서 통합 성과점수와 통계적으로 의미 있는 상관관계가 없었습니다.(Wilcoxon rank-sum 테스트 p값 0.33, 0.77, 0.98, 0.90)

이것은 매우 놀라운 발견이었습니다. 보통은 팀 전체에 동기부여 하기 위해 팀 실적에 인센티브를 제시합니다. 하지만 우리의 연구 결과는 오직 개인별 인센티브만이 의도한 효과를 나타내는 것으로 나왔는데, 그마저도 예상한 것보다 훨씬 작은 영향을 끼쳤습니다.

이에 대해 가능한 설명은 아마도 Dan Pink에 대해 유명해진 심리적 현상이 게임 업계에도 적용된다는 것입니다. - 금전적 보상은(최근에 이루어진 수많은 연구결과에 따르면) 대부분의 경우 완전히 쓸모없는 동기부여 도구이고, 많은 경우 심지어 역효과를 내는 현상입니다.

우리는 또한 로열티 수익과 메타크리틱 리뷰의 경우 개발 개발자 스스로 어찌할 수 없다고 무력감을 느끼기 때문에 -동의하지 못하는 게임 기획 사항이나 다른 팀 구성원이 갑자기 합류하는 등- 잠재적으로 있을 수 있는 동기 부여 효과를 잠식하리라 추측하였습니다. 하지만 개인별 인센티브는 각 개인이 자신의 노력에 따라 인정과 보상을 받을 가능성이 더 높다고 생각할 것입니다. 하지만 뒷받침할 더 많은 데이터 없이는 위의 분석은 우리의 추측일 뿐입니다.

무엇이 원인이던지, 우리의 결과는 Pay For Performance (PEP)와 같은 개별 성과 인센티브 방식이 의미있는 효과를 보인다는 것입니다. 로열티 수익이나 팀 인센티브 그 외 기타 방식의 금전적 인센티브는 효과가 없었습니다.

놀라운 점2: 개발 방법론

우리의 두 번째 큰 발견은 게임 업계에서 자주 토론의 대상이 되는 개발 방법론 영역이었습니다.

우리는 개발 방법론을 -0(모른다), 1(워터폴), 2(애자일) 3.애자일-스크럼 그리고 4나머지/기타 정책 중 어떤 방식을 사용하는지 조사했습니다. 우리는 또한 설문 답변자들이 자신들이 사용하는 개발 방법론의 정확한 이름을 몰라도 가장 근접한 선택지를 고를 수 있도록 선택지마다 해당 개발 방법론에 대한 상세한 설명을 덧붙였습니다. 그리고 설문결과는 충격적이었습니다.

그림10. 개발 방법론 vs 통합 성과 점수

각각의 개발 방법론에 대한 평균과 표준편차를 나타내는 더 상세한 데이터는 아래와 같습니다.

	통합 성과 점수(평균)	표준 편차	응답수
모른다	50.6	17.4	7
워터폴	55.4	17.9	53
애자일	59.1	19.4	94
애자일-스크럼	59.7	16.9	75
나머지/기타	57.6	17.6	44

가장 놀라운 점은 개발 방법론에 따른 통합 성과점수의 차이가 거의 없다는 것입니다.

또한 크루스칼 왈리스의 H test를 통해 도출한 p값이 0.46으로 네 종류의 개발 방법론과 통합 성과점수간 어떠한 상관 관계도 없다는 의미입니다. 개발 방법론과 4종류의 통합 방법론을 개별적으로 매칭해서 분석해보아도 상관관계가 나타나지 않았습니다.

개발 방법론들이 어떤 이들에게는 게임 개발의 성배처럼 여겨지는 현실에서, 개발 방법론의 선택은 매우 큰 차이점을 가져올 것으로 예상할 수 있을 것입니다. 특히 스크럼이 한참 앞설 것이라 기대했지만, 개발 방법론간의 차이는 매우 작았습니다. 각 개발 방법론별로 수많은 변수가 존재하고 개발 방법론과 통합 성과 점수의 상관관계는 p값이 너무 높아서 개발 방법론과 통합 성과 점수의 상관관계가 전혀 독립적이지 않다는 결론을 내리게 되었습니다. 스크럼, 애자일 그리고 “기타” 개발 방법론 사용의 차이는 전혀 구분되지 않습니다. “모른다”의 점수도 너무 높고 “기타/나머지” 또한 점수가 매우 높아서 우리 리스트에는 없지만 효과적인 또 다른 개발 방법론이 있을 것처럼 보일 정도입니다.(흥미롭게도 “기타”에 속하는 답변자들에게 좀 더 상세한 내용을 묻자 Cerny method 사용 게임들이 해당 카테고리에서 가장 높은 점수를 나타내었습니다.)

또한 게임 엔진에 대한 설문과는 달리 우리는 어떤 개발 방법론이 특정팀에게 더 적절하다고 말할 수도 없습니다. 개발 방법론은 기본적으로 보편적으로 유용하게 사용될 의도로 만들어진 것입니다. 개발 방법론의 종류는 게임 장르, 팀 인원, 경력 수준 기타 어떤 요인과도 상관관계가 나타내지 않았습니다.

마지막으로 이를 통해 우린 무엇을 배울 수 있을까요?

우리는 이번 기사에서 몇 가지 중요한 상관관계를 보았습니다. 후속 연구에서 더 많은 상관관계를 설명할 것입니다. 2번 기사와 3번 기사에서는 85%의 이상의 설문에서 통계적으로 유의미한 상관관계를 보이는 다양한 문화적 요인과 통합 성과 점수간 주목할만한 상관관계를 다룰 것입니다.

프로젝트의 성과를 결정하는 주요 요인이 무엇인지는 이제 명확해졌습니다. 우리의 결과물은 이를 주저 없이 드러냅니다. 만약 특정 개발 방법론을 사용하는 게 정말로 중요한 사항이었다면 성과 점수와의 상관관계에서 반드시 드러났어야 합니다.

그러나 상관관계가 드러나지 않았습니다.

개발 방법론에 대한 사람들의 지대한 관심과는 달리 개발 방법론의 선택은 별로 중요하지 않으며 성과를 결정하는 주요 요인도 아닙니다. 사람들이 해롭다고 주장하는 “워터폴” 방법도 좋은 성과를 낼 수 있다는 것을 보여줍니다.  

우리의 세 번째 기사에서는 특정한 개발 방법론 이외에 어떤 개발 방식이 프로젝트의 성과에 영향을 끼쳤는지 확인하기 위해 추가로 수행한 설문을 다룰 것입니다. -이들의 상관관계도 팀 문화에 대한 다른 요인보다는 상대적으로 훨씬 작은 상관관계를 나타냈습니다.


결론

우리는 최고의 팀과 나머지 사이의 차이점을 구분하기 시작했습니다.

총 개발 기간, 팀 경력 사항, 개인 실적에 따른 인센티브, 그리고 전작 게임엔진의 재사용까지 4가지 요인이 통합 성과 점수와 명백한 상관관계를 보인다는 사실을 보았습니다.

우리의 연구는 몇 가지 예상 못 한 결과도 확인하였습니다. 프로젝트 성과에 큰 영향을 끼칠 것이라 가정하였던 팀 인원, 게임 장르, 대상 플랫폼, 개발 방법론이 프로젝트 성과와 전혀 상관관계가 없었습니다. 개인 실적에 대한 보상과는 달리 팀 실적에 기반한 인센티브도 전혀 효과가 없었습니다.

1월초에 발표할 두 번째 기사에서는 세 종류의 팀 효율성 모델에 대해 이들과 통합 성과 점수의 상관관계와 개인 성과에 대한 상관관계도 상세히 다룰 것입니다. 이번 기사에서 다룬 그 어떤 요인보다도 더 강한 상관관계를 볼 수 있습니다.

세 번째 기사에서는 게임 개발에서만 나타나는 특수한 다른 요인들을 추가로 다룰 것입니다. 기술적 리스크 관리, 기획 리스크 관리, 크런치/초과근무, 팀 안정성, 프로젝트 계획, 커뮤니케이션, 아웃소싱, 존중과 협업 / 무력감, 팀 포커스, 조직의 패배주의가 그것입니다. 우리는 또한 우리의 연구 결과를 요약하고, 팀 자가진단과 포스트모템을 할 수 있는 진단 도구를 제공할 것입니다.

마지막으로 우리의 네번째 기사는 데이터를 기반으로 논란이 되는 크런치 이슈에 대해 명확한 결론을 내릴 것입니다.  



게임 성과 측정 프로젝트를 위해 설문조사에 참여해주신 수백 명의 전/현직 게임 개발자들에게 감사드립니다. IGDA 프로덕션 SIG 멤버인 Clinton Keith와 Chuck Hoover는 설문 문항 설계에 도움을 주셔서 감사합니다. Kate Edwards, Tristin Hightower, 그리고 IGDA는 설문지 배포에 도움을 주었습니다. Christian Nutt과 가마수트라 편집진 또한 설문지 배포에 도움을 주었습니다.

추후 게임 개발 성과 프로젝트에 대한 안내를 받고 싶다면 저희 트위터를 팔로우 해주세요 @GameOutcomes