이 기사는 5편 시리즈 중 3번째입니다..
- 파트1: 최고와 나머지 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트2: 효율적인 팀 만들기 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트3: 성과 요인들 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트4: 야근은 게임을 망친다 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트5: 위대한 팀은 어떻게 일하는가? (한글) (Gamasutra) (Chinese)
- 저희의 설문조사 방법론에 대한 상세한 정보는 이 블로그를 참고해주세요.
- 설문 조사의 로우 데이터(개인정보 제외)는 이곳에서 볼 수 있습니다.
게임 개발 성과 측정 프로젝트팀의 구성원은 다음과 같습니다. Paul Tozour, David Wegbreit, Lucien Parsons, Zhenghua “Z” Yang, NDark Teng, Eric Byron, Julianna Pillemer, Ben Weber, and Karen Buro.
게임 개발 성과 측정 프로젝트, 파트3: 성과 요인들
게임 개발 성과 측정 프로젝트는 2014년 10월에 수행한 게임 개발에서의 팀 워크, 문화, 생산성 그리고 리더쉽에 대한 대규모 연구입니다. 수백 명의 게임 개발자들로부터 120개 항목으로 이루어진 설문 조사를 수행하였고, 모든 요인과 4개의 게임 프로젝트 성과 지표에(일정지연, 투자수익률(ROI).리뷰/메타 점수, 내부평가)대한 상관관계를 분석하였습니다. 저희 팀은 이 4개의 성과지표를 합산하여 통합 성과 점수를 산출하였고 이에 대한 설명은 설문조사 방법론 블로그에서 확인할 수 있습니다.
앞선 기사에서는(파트1, 파트2) 게임 개발 성과 측정 프로젝트를 소개하고 매우 놀라운 결과물을 보여드렸습니다. 프로젝트 성과에 영향을 기여할 것이라 예상했던 많은 요인이 -팀 크기, 개발 기간, 개발 방법론, 그리고 여러 형태의 금전적 인센티브 - 프로젝트 성과와 의미 있는 상관관계를 나타내지 않았습니다. 하지만 우리가 조사한 세 종류의 효율적 팀 모델은 프로젝트 성과와 뚜렷하게 주목할만한 상관관계를 보였습니다.
우리의 분석은 팀 효율성의 큰 차이점을 발견하였고, 그 차이점이 즉각적으로 프로젝트 성과에 크고 확실한 변화를 가져온다는 것을 확인하였습니다.
모든 게임은 그 게임을 만드는 팀의 반영입니다. 그리고 더 나은 게임을 만드는 최고의 방법은 더 나은 팀을 만드는 것입니다.
이번 기사에서는 파트2의 세 가지 효율적 팀 모델에서 다루지 않았던 요인들을-게임 개발에만 있는 특수한 요인들도 포함됩니다.- 추가로 살펴볼 것입니다. 우리는 어떤 방식으로든 프로젝트 성과에 영향을 끼칠 것으로 추정되는 요인들을 설문지에 추가하였고, 결과물은 우리를 실망시키지 않았습니다.
기획 리스크 관리
첫째로 기획 리스크 관리를 살펴보겠습니다. 업계에 널리 알려져 있다시피 기획 변동은 비용 증가와 일정 초과를 불러오는 주된 문제입니다. 저희도 개인적으로 초기 게임 기획이 명확하지 않거나, 프리프로덕션이 없거나 게임 플레이를 확정하기에 부족해서, 혹은 개발중인 게임이 여러 번의 파괴적인 기획 수정으로 개발 진행 사항을 무위로 만들어서 어마어마한 작업 결과물이 버려지고 게임 개발이 뒷걸음치게 만드는 상황들을 목격했습니다.
최고의 팀은 분명 기획 리스크를 신중하게 관리할 것으로 생각했습니다. 최고의 팀은 게임 개발 도중의 기획 변동으로 인한 반동을 완화하고, 파괴적인 기획 변동 자체가 발생할 필요자체를 없애도록 노력할 것입니다.(처음 부터 더 나은 기획을 가지고 시작해서)
우리는 이와 관련된 5개의 설문 항목을 제작하였습니다. 아래의 그림1에서 복숭아색으로 표시한 마지막 설문을 제외하고 기획 리스크 관리 문항들은 전체 설문지에서 상당히 강한 상관관계를 나타냈습니다. 복숭아색 항목을 제외한 나머지는 모두 통계적으로 유의미했습니다.(p값 0.05미만)
그림1.기획 리스크 관리에 대한 설문과 프로젝트 성과와의 상관관계. 우측의 "범주 점수"는 통합 성과점수와 상관계수의 절댓값이 가장 큰 값으로 기획 리스크 관리 설문의 전체적인 가치를 의미함. "Not S.S"는 통계적으로 유의미하지 않은 상관관계(p값이 0.05 이상)
개발 중 기획이 바뀌거나 바뀐 기획을 다루는 방식은 우리 설문에 응답한 프로젝트 성과에 지대한 영향을 끼쳤습니다.
하지만 기획을 변경할 때 모든 이해당사자가 의사 결정 과정에 참여하고 기획을 변경한 타당한 사유가 명확하게 전달되면 피해를 상쇄할 수 있었습니다.
[파트2를 읽지 않은 독자들을 위하여 다시 설명합니다. 음의 상관관계 (붉은색/오렌지)가 나쁜 의미는 아닙니다; 오히려 "부정적 방향"으로 작성된 설문은, 즉 프로젝트에서 일어난 나쁜 일에 관해 물어본 항목은 프로젝트 성과와 음의 상관관계가 나타나야 합니다. 낮은 점수의 답변이 (더 강한 부정) 프로젝트 성과가(높은 ROI, 적은 일정 지연, 높은 리뷰 점수 등) 좋아지는 상관관계를 의미합니다. 진짜 중요한 것은 상관계수의 절댓값입니다: 상관계수의 절댓값이 클수록 프로젝트 성과에 더 강하게 영향을 끼친다는 의미입니다. 그 다음에 해당 요인이 프로젝트 성과의 양의 상관관계를 가지는지, 음의 상관관계를 가지는지 확인하면 됩니다]
뜻밖에도, 개발할 게임에 대해 구체적인 문서를 작성하였는지에 대한 설문 결과는 매우 낮은 상관관계 -0.2미만의- 를 나타냈습니다. 또한 ROI와 리뷰/메타 점수와는 통계적으로 유의미한 상관관계가 없었습니다(p값 <0.05). 이는 일반적인 믿음과는 달리 기획 문서가 훨씬 덜 유용하다는 사실을 의미합니다. 유일하게 의미 있는 상관관계를 나타낸 영역은 프로젝트의 일정과 관련된 부분이었습니다. 이를 통해 기획 문서는 일정관리에는 긍정적으로 기여하지만, 기획 문서가 ROI나 비평에서 성공하는 데에 기여할 것이라 믿는 사람은 상당한 착각을 하는 것으로 보입니다.
여기서 한가지 명확히 짚고 가고 싶은 게 있습니다. 2014년에 수행한 우리의 설문 조사는 프로젝트의 게임 기획상 혁신성에 대한 설문은 포함되지 않았습니다. 간단한 일회성 게임을 여러 개 개발하거나 후속편을 개발한다면 기획 리스크를 훨씬 쉽게 줄일 수 있습니다. 우리는 설문 결과가 그런 행동을 장려하는 식으로 보이길 원치 않습니다.
우리는 기획상의 혁신이 매우 중요하다고 믿고, 혁신을 위해서는 게임 기획이 개발 도중에 크게 변화하는 일이 꽤 자주 필요하다고 생각합니다. 저희의 경험을 통한 주관적인 의견은 기획 변동이 가져올 거대한 리스크와 혁신을 향한 열망은 신중하게 고려하여 적절한 균형을 이루어야 한다고 생각합니다. 기획 혁신에 대해서는 다음에 수행할 설문조사에서 좀 더 깊게 파볼 계획입니다.
팀의 집중력
앞서서 게임 기획 리스크를 관리하는 문제를 보았습니다. 그러면 팀의 집중력 수준은- 현재 개발 완료 정도에 대한 동일한 판단을 하며, 하나의 공유된 비젼을 공유 - 게임 개발 성과에 얼마나 영향을 미칠까요?
그림2.팀의 집중력에 대한 설문과 상관계수
위에서 보인 높은 상관관계는 예상하던 바입니다; 팀 집중력은 앞서 다룬 기획리스크 관리와 밀접하게 연관되어 있는데, 파트2의 해크만의 효율적 팀 모델에서 2번째 조건인 "강렬한 방향성"과도 깊이 연관되어 있습니다. 그래서 상관관계가 매우 유사합니다. 이를 통해 명백히 알 수잇는 점은 성공적은 팀은 강력하게 공유된 비젼을 가지고, 상품의 비젼에 진지하게 신경을 쓰며, 게임 기획에 대한 의견 충돌이 발생하였을 때 신중히 접근하여 빠르고 전문적으로 합의합니다.
"대부분의 팀 구성원이 게임의 비젼에 대해 진지하게 신경 쓰고 있었다"가 게임 개발성과들에 대한 상관관계 간 편차가 크다는 점이 흥미로운데요. 비평 점수와 내부 목표와는 높은 양의 상관관계를 가지고, 일정 지연과는 매우 약한 상관계수를 나타내고 있습니다. 이는 프로젝트에 대한 열정이 더 높은 리뷰점수를 받고 만족하는 팀을 만드는 데에는 도움이 되지만 일정을 지키는 데는 큰 도움이 안되는 것으로 보입니다.
크런치 (연속된 초과근무)
우리 업계는 연속된 초과근무 즉, 크런치를 자주 하기로 전설적입니다.(혹은 "악명높은"이 맞는 표현이겠죠) 하지만 정확히 크런치는 프로젝트 성과와 어떤 연관이 있을까요?
그림3.크런치에 대한 설문과 상관계수
크런치와 연관된 5개의 설문이 모두 성과와-일부는 아주 강하게-상관관계가 있다는 것을 볼 수 있습니다. 유일하게 초과 근무가 의무적이 아니라 전적으로 자발적이었는지 묻는 설문은 프로젝트 성과와 양의 상관관계를 보였습니다.
크런치가 개선할 것이라 예상되는 성과 항목에서도 -일정 지연- 크런치는 두드러지는 음의 상관관계를 보였습니다. 즉, 크런치는 프로젝트 사실 일정에 도움이 안된다는 사실을 의미합니다.
크런치는 매우 중요한 논점입니다. 크런치는 아무런 사실이나 데이터 없이 너무나 자주 격렬한 토론의 주제가 되어 왔습니다. 크런치라는 주제를 올바르게 다루기 위해서 -가능하다면 관련된 "논쟁"을 모두 잠재울- 우리는 크런치만 다룰 다음 기사를 통해 이 결과들을 좀 더 상세히 탐구해 볼 것입니다. 우리는 이를 위해 스쿠버 장비를 착용하고 데이터의 "심해"로 들어가서 크런치와 그 영향에 대한 정확한 사실들을 캐낼 것입니다.
적어도 다음에 우리가 제공할 데이터들이 앞으로 계속될 크런치에 대한 논쟁을 의견의 대결이 아니라 실제 증거들의 대결로 이끌어갈 것으로 기대하고 있습니다.
팀 안정성
다수의 입중된 경영학 연구에서는 안정적인 팀이 인력변동이 잦거나, 여러 팀에서 동시에 일하는 팀원들에 비해 훨씬 더 효율적이라고 명백한 결론을 내리고 있습니다. 수술팀과 항공기 승무원들에 대한 연구에서는 처음 함께 일하기 시작한 몇 주 동안은 훨씬 더 많은 실수를 하지만, 함께 일하는 기간이 길어질수록 점점 효율적이 된다는 연구결과를 나타냈습니다. 우리는 팀 안정성이 게임 개발 성과에는 어떤 영향을 끼칠지 호기심이 생겼습니다.
그림4.팀 안정성에 대한 설문과 프로젝트 성과와의 상관계수
놀랍게도 팀 구성원이 프로젝트에 전념하는지에 대한 설문은 프로젝트 성과와 통계적으로 유의미한 상관관계를 전혀 보이지 않았습니다. 프로젝트에 전념하는지는 별 상관없다는 결론을 나타냈습니다.
하지만 프로젝트의 인력변동과 조직개편에 대한 좀 더 일반적인 설문은 프로젝트 성과가 나빠지는 상관관계를 확실하고 명쾌하게 나타냈습니다.
그렇지만 어디까지가 프로젝트에 발생한 문제의 원인이고, 어디부터가 문제의 결과인지 구별하기 어렵습니다. 이직률의 경우 양쪽 모두 충분한 실제 사례가 존재합니다:프로젝트에 문제가 있어서 대량의 이직과 정리해고가 발생한 경우도 많고, 중요 인력이 이탈해서 스튜디오가 휘청인 경우도 많습니다.- 추가로 프로젝트의 문제로 인해 중요 인력이 이탈하고, 이는 사기와 생산성에 더 많은 문제를 가져오고, 이는 또 다시 더 많은 인력의 이탈로 이어지는 나선형으로 문제가 계속되는 사례들도 있습니다.
우리는 추후 다시 수행할 설문조사에서 이 요인을 좀 더 깊이 분석해 볼 예정입니다(특히나 자발적 퇴사와 비자발적 퇴사를 나눠서 분석해보려 합니다). 하지만 지금으로써는 두 가지 해석을 내놓을 수밖에 없습니다. 현시점에서 우리가 내릴 수 있는 결론은 인력 변동과 조직 개편이 대체로 모두 해가 됩니다. 따라서 현명한 리더라면 최선을 다해서 인력 변동과 조직개편 모두 최소화해야 합니다.
커뮤니케이션과 피드백
우리는 커뮤니케이션과 피드백이 팀 효율성에 어느 정도로 어떤 영향을 끼치는지 확인하기 위한 설문을 넣었습니다:
그림5.의사소통에 대한 설문과 상관계수
프로젝트 리더와 관리자들의 정기적인 피드백은(세 번째 설문항목) 분명히 핵심입니다 - 이 설문은 파트2에서 다룬 갤럽의 효율적 팀 모델 #11 항목과 깊게 연관되어 있는데 이 설문과 #11과 관한 설문의 상관계수가 거의 동일합니다. 상급자와 이야기하기 쉬운 것도 상당히 중요하다는 사실이 분명히 나타나고 있습니다.
전체팀이 함께하는 정기적 커뮤니케이션은 (첫 번째 설문) 생각보다는 덜 중요했지만, 전반적으로 상당히 의미 있는 양의 상관계수를 보였습니다. 한편 이메일과 얼굴을 맞대며 이야기하는 의사소통 문화를 비교한 우리의 마지막 설문은 아무런 의미 있는 상관관계를 보이지 않았습니다.
실패에 대한 조직의 인식
2012년에 가마수트라에 게재된 핀란드 개발사 슈퍼셀의 인터뷰에서 그들은 실패에 대한 슈퍼셀의 태도를 아래와 같이 설명하였습니다.
"우리 회사가 가진 가장 큰 장점은 문화입니다. [...] 우리는 실패를 축하하는 문화를 가지고 있습니다. 게임이 잘 되었을 때도 물론 파티를 열지만, 엄청나게 망해서 심지어 상품을 폐기해야 되는 상황이 되었을 때도 - 자주 일어나는 일입니다, 올해 우리는 2개의 상품을 글로벌 발매했고 3개의 상품을 폐기했습니다. - 정말 크게 망했을 때, 우리는 샴페인으로 축배를 듭니다. 일종의 포스트모템 이벤트를 가지고 매우 개방된 자세로 무엇이 잘못되었고, 무엇이 올바르게 되었는지 이야기를 나눕니다. 우리가 무엇을 배웠고 무엇보다 중요한 것은 다음에는 무엇을 바꿔서 시도할까? 라는 질문을 던지는 것입니다."
아마도 대부분의 게임 개발사가 슈퍼셀 같은 태도를 가지지는 않을 것입니다. 만약 슈퍼셀이 특수한 아웃라이어라고 본다면, 더 많은 게임 개발사들이 슈퍼셀의 태도를 적용한다고 좋은 성과를 낼 수 있을까요?
우리는 개발자 설문에 문화적 수준에서 실패에 대한 팀의 인식에 대한 6개의 설문 넣었습니다:
아마도 대부분의 게임 개발사가 슈퍼셀 같은 태도를 가지지는 않을 것입니다. 만약 슈퍼셀이 특수한 아웃라이어라고 본다면, 더 많은 게임 개발사들이 슈퍼셀의 태도를 적용한다고 좋은 성과를 낼 수 있을까요?
우리는 개발자 설문에 문화적 수준에서 실패에 대한 팀의 인식에 대한 6개의 설문 넣었습니다:
그림6.실패에 대한 조직의 인식 설문과 상관계수
거의 모든 설문항목이 상당히 강한 상관관계를 나타냈습니다. 더 성공적인 게임 프로젝트들은 창조적 리스크를 감수하고 실패를 공개적으로 이야기합니다. 또한 팀 구성원이 두려움 없이 창조적 리스크를 감수할 수 있도록 지원하고 있습니다.
위의 결과들은 파트2에서 다뤘던 해크만의 5가지 조건 모델의 "도와주는 분위기"조건에서 다루는 "심리적 안정감"의 개념과 밀접하게 연관되어 있습니다.
존중
광범위한 경영학 연구결과는 존중은 직무몰입도를 높이는, 따라서 생산성을 높이는 매우 중요한 요인이라는 사실을 보여줍니다. 최근에 이루어진 전 세계 2만명의 고용인을 대상으로 한 HBR의 연구결과는 부하직원에 대한 존중이 성과에 가장 큰 영향을 끼치는 요소라는 사실을 발견했습니다. 직원들을 더 존중해주면 직무몰입, 잔류율, 만족감, 집중력을 비롯해 다수의 항목에서 엄청나게 큰 변화를 나타냈습니다
우리는 이러한 사실이 게임 업계에도 마찬가지로 적용되는지 궁금했습니다. 게임 프로젝트의 성공과 실패에도 존중받는 근무 환경이 기여하는지 확인해보았습니다. 결과는 우리를 실망하게 하지 않았습니다.
그림7.존중에 대한 설문과 상관계수
이 범주에서 우리가 수행한 3개의 설문항목은 모두 게임 개발 성과와 주목할만한 상관관계를 나타냈습니다. 특히나 팀 리더/관리자와 개발자 간 상호존중하는 관계의 상관계수가 높았습니다.
확실한 것은 모든 팀 구성원들은 --특히나 리더/관리자들 -- 다른 팀 구성원들에게 무례한 행동을 하기 전에 매우 신중히 생각해야 합니다:이는 팀을 해치는 것뿐만 아니라 그들 자신의 미래가 걸린 게임 프로젝트를 해치는 행위입니다.
프로젝트 계획 수립
프로젝트 계획 수립
우리는 다각도에서 프로젝트 계획 수립이 게임 개발 성과에 끼치는 영향을 조망하는 설문들을 수행하였습니다:
그림8.프로젝트 계획 수립에 대한 설문과 상관계수
납기일과 책임은 마지막 설문항목의 양의 상관관계에서 볼 수 있듯이 중요한 영향을 끼칩니다. 분명히 책임감은 전체적인 성과를 높입니다.
납기일과 책임은 마지막 설문항목의 양의 상관관계에서 볼 수 있듯이 중요한 영향을 끼칩니다. 분명히 책임감은 전체적인 성과를 높입니다.
하지만 납기일을 죽기 살기로 너무 심각하게 따지면(설문 #4) 프로젝트 성과전반에 부정적인 상관관계를 나타냈고, 프로젝트 일정 엄수와는 통계적으로 아무런 상관관계가 없었습니다. 이는 죽기 살기로 납기일을 지키는 게 일정 개선에 실패할 뿐 아니라, 장기적으로 역효과를 낳는다는 사실을 명백하게 나타냅니다.
이를 통해 우리는 납기일을 너무 심각하게 따지는 게 해로울 뿐 아니라, 심한 압박을 가하는 관리전략이 역효과를 내는 경향이 있다고 알 수 있습니다. 우리는 성공적은 팀은 각각의 마일스톤 목표와 프로덕션의 현실 간의 밸런스를 잘 맞출 것으로 추정하였고, 팀의 응집력과 때때로 각 개인의 마일스톤 목표를 전체 프로젝트를 위해 희생하는 실용주의가 필요할 것이라 생각했습니다.
놀랍게도 일간 단위의 과업 재계산은 (설문 #5) 일정엄수와는 통계적으로 유의미한 상관관계를 나타내지 않았고, 다른 프로젝트 성과 지표들과 약한 상관관계를 보일 뿐이었습니다.
게다가 상세한 계획(설문 #1)은 투자수익률과 일정 엄수에는 양의 상관관계를 보인 반면에 비평점수나 내부목표와는 통계적으로 유의미한 상관관계가 없었습니다: 상세한 계획은 일정 엄수에는 도움을 주지만 동시에 팀을 보수적으로 만들어서, 상품 품질을 높이지만 일정 엄수에 방해되는 불안정한 요소들을 피하는 경향을 보인다고 추정하였습니다. 그래서 때때로는 개발 과정에서 게임을 더 개선할 기회들을 압살할 수도 있습니다.
우리는 또한 기술적 리스크에 대한 사항도 궁금했습니다. 주요 기술적 변동과 이를 다루는 방식, 팀에서 하는 코드 리뷰나 페어 프로그래밍은 성과에 어떻게 영향을 끼칠까요? 엔진 교체나 주요 기술적 변동이 프로젝트의 개발 기간을 늘리거나 심지어 프로젝트를 완전히 실패, 취소하게 만들었던 수많은 사례를 게임 업계에서 들을 수 있습니다.
그림9.기술적 리스크 관리에대한 설문과 프로젝트 성과와의 상관계수
여기서도 우리는 매우 강한 상관관계를 볼 수 있습니다. 설문 #1은 핵심 기술 개선이 프로젝트에 상당한 리스크가 됨을 보여주고, 설문 #3은 이러한 기술적 변동을 전달하고 받아들이는 커뮤니케이션은 심지어 더 중요하다는 것을 보여줍니다.
하지만 이러한 결정의 이유가 내부적이냐 외부적이냐는 상관이 없어 보이고, 코드 리뷰나 페어 프로그래밍이 일정 지연, ROI와는 통계적으로 유의미한 양의 상관관계를 보이지만, 상관계수는 0.2 미만으로 상대적으로 약한 편입니다. 비록 코드 리뷰가 상품 결함을 줄이고 팀의 프로그래밍 기술 수준을 높여준다는 중대한 증거가 있음에도 상관계수가 더 높게 나타나지 않은 이유는 코드 리뷰를 수행하는 방식이나 팀의 경력 수준에 영향을 받기 때문으로 추정하였습니다. -- 추가적으로 상세한 분석을 수행하여 코드 리뷰와 관련된 요인은 경력이 많은 팀에서 훨씬 더 상관계수가 높은 것으로 나타났습니다. 우리는 다음 연구에서 이와 관련된 내용을 좀 더 철저히 조사할 예정입니다.
개발 방법론
파트1에서 우리는 개발 방법론이- 워터폴, 애자일, 스크럼, 나머지/기타 - 프로젝트 성과에 통계적으로 의미 있는 기여를 전혀 하지 못한다는 충격적인 발견을 하였습니다. 하지만 우리는 개발방법론에 대한 몇 가지 추가적인 설문을 수행했었습니다:
그림10.개발 방법론에 대한 설문과 상관계수
여기서 우리는 개발 방법론을 훈련하려는 노력과 팀원 전부가 각 마일스톤에 해야 할 우선순위를 정하도록 참여하는 게 모두 통계적으로 유의미하며(>0.2) 양의 상관계수를 나타낸다는 사실을 볼 수 있습니다. 하지만 일간으로 제작 과정에 대한 회의를 진행하는 것과 마일스톤마다 우선순위를 다시 설정하는 것은 상대적으로 낮은 상관관계를 볼 수 있습니다.
마지막 설문과(마일스톤마다 우선 순위를 다시 설정) 일정 지연 사이에는 통계적으로 유의미한 상관관계가 없었지만, 나머지 3개의 성과에 대해서는 작은 양의 상관관계를 나타냈습니다. 마일스톤마다 우선순위를 재 설정하는 게 상품의 품질은 높이지만, 종종 일정에 손실을 감수해야 한다는 추정이 타당해 보입니다.
우리는 또한 개발 방법론이 프로젝트 성과에 영향이 없다는 결과에 대해 추가로 스튜디오에서 사용하는 개발 방법론에 숙달되었다고 응답한(그림10의 첫 번째 설문에 대해 "매우 그렇다", "대체로 그렇다"이라고 답변)그룹만을 대상으로 개발 방법론과 프로젝트 성과의 상관관계를 확인하는 분석을 수행하였습니다. 추가 분석에서도 워터폴, 애자일, 애자일-스크럼의 선택과 프로젝트 성과사이에 통계적으로 유의미한 상관관계가 없었습니다.
이번 분석은 개발 방법론의 선택은 프로젝트 성과에 거의 영향이 없다는 앞선 발견을 뒷받침하는 것으로 보입니다; 중요한 것은 하나를 선택해서, 고정적으로 사용하고, 팀이 방법론을 잘 사용하도록 적절히 훈련하는 것입니다.
협동 & 협업
우리는 개인적으로 도움을 주는 문제에 있어서 서로 다른 문화를 가진 팀들을 겪어 보았습니다. 도움을 주는 것을 미덕으로 보는 팀과 도움을 주는 것을 죄악시하는 팀입니다. 어떤 팀들은 "가라앉거나 수영하거나"의 자세로 신규 입사자들이 스스로 배우도록 외줄에 올려놓습니다; 다른 팀들은 팀 구성원이 서로 협업하거나 도움을 많이 주도록 격려하고 보상을 부여합니다. 우리는 이러한 문화적 차이가 프로젝트 성과에 어떤 영향을 끼치는지 알아보았습니다.
그림11.협동 & 협업과 관련된 설문과 상관계수
개별 성과에 대한 상관관계는 다소 약한 편이지만 통합 성과에 대해서는 명확하게 양의 상관관계를 나타내고 있습니다.
두 번째 설문과 일정 지연 사이에 통계적으로 유의미한 상관관계가 없다는 사실을 주목하세요. 어떤 팀은 너무 많은 시간과 자원을 그들이 맞닥뜨리는 문제점과 어려움에 너무 집착하여, 시간을 낭비하거나 부정적 영향을 끼치는 것으로 추정하였습니다.
외주와 복합기능팀
우리는 추가로 두 개의 범주에 대한 설문을 수행하였습니다. 첫 번째는 외부 개발자, 계약직, 그리고 외주입니다:
그림12.외주에 대한 설문과 상관계수
외주에 대한 설문은 프로젝트 성과와 통계적으로 유의미한 상관관계가 전혀 없었습니다. 데이터만 가지고 본다면 외주는 프로젝트 성과에 아무런 확인 가능한 영향을 끼치지 않는다는 의미입니다. 아마도 외주의 영향은 외주 개발자/업체의 능력, 그리고 이를 팀에 어떻게 적용하는지, 비용, 외부 노동을 내부에 적용하는 조정능력 등에 달려있는데 이들은 모두 저희가 2014년에 수행한 설문조사의 조사범위를 벗어나는 내용입니다.
다른 범주는 부속팀이 전문분야(아트, 프로그래밍, 기획)로 나뉘느냐 혹은 복합적인 기능을 가진 인력의 집합으로 나뉘느냐에 대한 설문이었습니다.
그림13.복합기능팀에 대한 설문과 상관계수
이번에도 우리는 복합 기능팀이냐 전문 분야별 팀이냐 하는 문제가 통계적으로 유의미한 상관관계를 전혀 나타내지 않았습니다. 이 문제에 대해서는 "정답지"란 존재하지 않는 것으로 보입니다. 만약 어떤 팀 구조를 선택하느냐의 문제를 결정하는 요인이 있다면, 우리가 수행한 설문조사의 조사범위를 벋어나 있는 요인일 것입니다.
결론: 최선의 방법
앞선 기사에서 우리는 세 종류의 효율적 팀 모델이 모두 게임 프로젝트 성과와 강한 상관관계를 보이는 모습을 확인했습니다. 팀의 효율성은 강렬한 방향성과 공유된 비젼과 연결되어 있으며, 책임을 받아들이고 필요한 일에 힘을 실어 주는 구조, 전문적 지도, 조직이 추구하는 사명의 타당성, 정기적인 피드백, 동료간의 깊은 신뢰와 헌신, 조직의 사명에 대한 믿음, 그리고 중요한 요소인 "심리적 안정감"이 팀 구성원들이 인간관계의 위험을 감수하고 나설 수 있도록 합니다.
위의 요인들과 마찬가지로 이번 기사에서 다룬 요인들도 마지막 두 개의 요인들만 제외하면 모두 의미 있는 상관관계를 가졌습니다. 또한 상관관계가 없는 요인들도 상관관계가 있는 요인들과 마찬가지로 주목해 볼 가치가 있습니다.
아래의 리스트는 상관계수가 높은 항목부터 낮은 항목으로 내림차순 정렬하였습니다. 이 기사의 전체 요약은 다음과 같습니다:
- 기획 리스크 관리는 0.57 이상의 가장 강한 상관계수를 가졌습니다.
- 팀 집중력은 0.50로 두 번째입니다.
- 크런치는 세 번째로 0.44
- 그다음은 팀 안정성, 커뮤니케이션, 실패에 대한 조직의 인식, 존중, 프로젝트 계획, 기술적 리스크 관리 또한 매우 중요한 0.36 에서 0.39 사이의 상관계수를 가졌습니다.
- 개발 방법론과 협동/협업은 마지막으로 각각 0.29와 0.20의 통계적으로 유의미한 상관계수를 가졌습니다.
- 외주와 복합 기능팀의 사용은 통계적으로 유의미한 상관관계가 없었습니다. 이들 요인은 우리의 설문조사가 확인할 수 있는 한에서, 프로젝트 성과에 아무런 영향을 끼치지 않는 것으로 보입니다.
마지막으로 우리는 여러분이 이 연구 결과들을 최대한 활용할 수 있도록 자가 진단 도구를 제작하였습니다. 많은 게임 개발팀들이 이 도구를 사용하여 체계적인 포스트모템과 성장에 도움이 되는 기회를 찾기 바랍니다.
자가 진단 도구
자가 진단도구는 엑셀로 제작되어 우리가 수행한 설문조사 중 가장 영향력이 컸던 38개의 설문 항목과 5개의 선형 회귀분석 모델로(각각의 성과 점수와 통합 성과 점수) 구성되어 있습니다. 파일을 열어서 첫 번째 워크시트에 노란색으로 표시된 38개의 설문에 응답하세요. 응답 내용으로 여러분이 속한 팀의 예측 ROI, 비평 점수, 일정 지연 가능성, 그리고 내부 목표 달성 가능성을 평가해 줄 것입니다. 또한 팀 성과를 개선하기 위한 가장 가능성 높은 방향을 추천해 줄 것입니다.
더 확실한 분석을 위해서는 설문지를 인쇄해서 동료들에게 익명으로 답변을 받아서 평균 점수를 측정해 보세요.
결론
게임 개발 성과 측정 프로젝트는, 수백 개의 게임 프로젝트를 나란히 두고 비교하여 게임 개발을 바라보는 고유의 관점을 제공합니다. 이 과정에서 우리는 여러 개의 놀라운 발견을 하였습니다. 연구 결과는 게임 프로젝트의 성공과 실패에 기여하는 요인들을 명백히 보여주고 미래의 연구가 나아갈 방향을 제시하고 있습니다. 이에 대해서는 방법론 페이지에서 다루고 있습니다.
우리는 이러한 종류의 체계적이고, 객관적이며, 데이터에 근거한 접근이 게임 개발자들이 일반적으로 업무를 하는 방식과 개별 프로젝트 성과 간의 관계를 밝혀주어서 업계 표준과 최고의 방법을 확립하도록 이끌어 줄 것으로 믿습니다. 또한 이를 통해 잘못된 상식과 관행을 타파될 것으로 희망합니다. 앞으로 우리는 이 연구를 더 확대하고 더 많은 참여자를 모집하여 매년 개선하고 발전시켜 나갈 것입니다.
무엇보다도 이 프로젝트가 개발팀들과 리더들이 서로 다른 팀들 간 팀워크와 문화의 차이가 엄청나게 거대하고, 우리가 보여줬듯이 이러한 차이가 게임의 성공과 실패에 압도적인 영향을 끼친다는 사실을 인식하기 바라고 있습니다.
언제나 불확실성의 영역은 존재하지만 여러분 자신의 운명을 결정하는 가장 중요한 요소는 여러분 자신의 손에 달려있습니다.
여러분이 속한 팀의 성공 가능성을 높이고 싶다면, 우리 연구의 결과를 살펴보는 것이 좋은 출발점이 될 것입니다.
다음 작업
파트4에서는 까다로운 논쟁의 대상인 크런치를 다룰 것입니다. 우리는 다각도에서 분석한 데이터를 통해 연속된 초과근무에 대한 명백하고 의심의 여지 없는 결론을 도출하였습니다. 자신의 팀을 "크런치"모드로 집어넣어서 생산성과 게임의 품질을 높이려 하는 사람이 있다면, 파트4를 신중하게 읽어보도록 권장합니다.
여러분의 성원에 힘입어 파트5에서는 게임 성과 측정 프로젝트의 최종 요약본을 준비하였습니다.
게임 성과 측정 프로젝트를 위해 설문조사에 참여해주신 수백 명의 전/현직 게임 개발자들에게 감사드립니다. IGDA 프로덕션 SIG 멤버인 Clinton Keith와 Chuck Hoover는 설문 문항 설계에 도움을 주셔서 감사합니다. Kate Edwards, Tristin Hightower, 그리고 IGDA는 설문지 배포에 도움을 주었습니다. Christian Nutt과 가마수트라 편집진 또한 설문지 배포에 도움을 주었습니다.추후 게임 개발 성과 프로젝트에 대한 안내를 받고 싶다면 저희 트위터를 팔로우 해주세요 @GameOutcomes
Gamasutra 링크 변경 ->
답글삭제https://www.gamedeveloper.com/business/the-game-outcomes-project-part-3-game-development-factors