이 기사는 5편 시리즈 중 2번째입니다.
- 파트1: 최고와 나머지 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트2: 효율적인 팀 만들기 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트3: 성과 요인들 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트4: 야근은 게임을 망친다 (한글) (Gamasutra) (BlogSpot) (Chinese)
- 파트5: 위대한 팀은 어떻게 일하는가? (한글) (Gamasutra) (Chinese)
- 저희의 설문조사 방법론에 대한 상세한 정보는 이 블로그를 참고해주세요.
- 설문 조사의 로우 데이터(개인정보 제외)는 이곳에서 볼 수 있습니다.
게임 개발 성과 측정 프로젝트팀의 구성원은 다음과 같습니다. Paul Tozour, David Wegbreit, Lucien Parsons, Zhenghua “Z” Yang, NDark Teng, Eric Byron, Julianna Pillemer, Ben Weber, and Karen Buro.
게임 개발 성과 측정 프로젝트, 파트2: 효과적인 팀 만들기
개발자로서 우리는 모두 수년간에 걸쳐 필설로 다 할 없는 엄청난 수고를 들여 게임 프로젝트에 매진합니다. 작은 인디팀에서부터 시작해 수십 명, 수백 명까지 규모를 확장하며 거대한 개발사가 되기까지 오랫 동안 게임 개발에 수고를 들였습니다. 그럼에도 불구하고 우리는 어떻게 해야 우리의 고생이 제대로 결실을 맺을지 알지 못합니다.
어떤 의미에서 게임 개발은 포커와 같습니다. 어찌할 수 없는 확률의 영역이 존재합니다. 어떤 때는 특정 작업이 예상보다 훨씬 더 오래 걸리고, 기술적 장벽에 부딪히고, 문서 상에서 훌륭해 보였던 기획이 실제로는 돌아가지 않습니다. 어떤 때는 외부 요인이 결과물을 바꿔 놓습니다. - 모회사의 갑작스러운 폐업, 혹은 약속받았던 마케팅 예산이 사라집니다. 어떤 때는 변덕스러운 고객 취향이 이쪽으로 갔다 저쪽으로 갔다 하고, 무명의 인디 개발자가 이틀 만에 만든앱이 갑자기 앱 차트의 정상을 차지하는 일이 벌어지기도 합니다.
그러나 좋은 포커 플레이어는 리스크가 게임의 일부이고, 보장된 성과는 없다는 것을 받아들입니다. 똑똑한 포커 플레이어는 실패한 리스크 때문에 자신을 질책하지 않습니다; 그들은 좋은 결정은 불운이 결과를 뒤집어 놓았더라도 여전히 좋은 결정이라는 것을 알고 있습니다.
이처럼 어떤 팀은 분명히 어떻게 하면 승산을 높일지 알고 있습니다. 어떤 팀은 연속으로 세계 최고 수준의 게임을 만들고, 그들의 팬층을 늘려나가며, 해가 갈수록 점점 더 승산을 높여갑니다.
최고의 프로그래머가 평범한 프로그래머보다 10배 더 생산적이라는 이야기는 널리 알려진 통계입니다.; 여러 팀에서 일해 본 사람들은 하나같이 비슷한 경험을 했다고 말합니다. 개개인이 경험한 팀의 환경이 그토록 다른데도 비슷한 이야기를 하는 것을 보면 분명 생산적인 팀에는 어떤 유사성이 있는 모양입니다. (특히나 팀에 10배 생산적인 프로그래머가 있었던 경우!)
무엇이 최고의 팀을 그렇게 뛰어나게 만드는 걸까요? 만약 우리가 특정 팀들이 계속해서 성공적으로 과업을 수행하는 요인을 찾아낼 수 있다면 엄청나게 유용하지 않을까요?
더 중요한건: 우리가, 하나의 산업으로써 그러한 요인을 밝혀내려고 노력하고 있는 걸까요?
아니면 우리가 올바른 질문은 던지고 있는 게 맞을까요?
게임 개발 성과 프로젝트는 가장 효과적인 팀과 나머지를 구분하는 요인들을 추적하기 위해 거대하고 체계적인 연구 프로젝트입니다. 우리는 2014년 10월과 11월에 걸쳐 대규모로 익명의 설문지를 배포하였고, 수백 명의 개발자들로부터 응답을 받았습니다. 설문조사의 배경에 대해서는 첫 번째 기사에서 다뤘습니다. 연구 방법에 대한 기술적인 사항은 저희 블로그를 참조해 주세요.
우리의 연구 결과를 보여주는 아래의 그림1을 한번 보세요.
그림1. 게임 개발 선형 회귀분석 모델(가로 축) 대 통합 성과 점수(세로 축). 273개의 데이터 포인트가 나타나 있다.
이 산포도는 우리가 만든 예측 모델과(30여 개의 요인에 기반) 파트1에서 설명한 통합 성과 점수 간의 상관관계를 나타내고 있습니다. 예측 모델은 상관계수가 0.82로 매우 높은 상관관계를 보이고 있습니다.(p값은 0.0001로 ‘데이터가 독립적이다’ 라는 귀무가설을 기각합니다.)
1개의 점은 우리의 설문에 응답한 1개의 게임 프로젝트를 의미합니다. 세로축은 각 게임이 실제로 얼마나 성공적이었는지, 그리고 가로축은 우리의 모델이 예측한 각 게임의 성공 수치입니다.
이 도표가 보여주는 것은 우측 상단(녹색)의 프로젝트가 좌측 하단(빨간색)의 프로젝트와 매우 다르게 일을 하고 있다는 것을 알려줍니다. 이들의 차이점이 무엇인지 배운다면 우리에게 큰 도움이 될 것입니다.
아래는 GIF로 만든(4초 간격) 4개의 도표입니다. 각 차트는 세로축만 다른 내용입니다.
그림2. 예측 모델의(가로 축)대 설문 조사의 4종류의 성과 점수의 상관관계 투자 수익, 리뷰/메타 점수, 일정 지연, 내부 평가. 4초 간격의 GIF 입니다. 색상(빨간색에서 녹색 까지)는 각각의 성과점수를 의미, 행간의 존재하는 포인트는 missing data 포인트의 중간값으로 해석됨.
그림1과 같은 선형 회귀분석 모델을 개별 성과점수에 대해 매핑한 결과입니다.
포커 게임과 마찬가지로 게임 개발에는 피할 수 없는 리스크가 존재합니다. 하지만 더 나은 전략을 배운다면 게임의 질을 높이고 더 나은 결과물이 나올 가능성을 높일 것입니다. 우리가 상관관계 그래프의 오른쪽으로 더 움직일 수 있다면, 우리의 실제 성과도 위쪽으로 나타날 가능성을 높일 것입니다. 즉, 더 나은 프로젝트 성적표를 받게 될 것입니다.
게임 개발 성과 측정 프로젝트팀의 구성원은 대부분 게임 개발자들입니다. 우리 스스로 더 나은 게임을 만드는 요인들을 배우고 싶어서, 그리고 여러분이 더 나은 게임을 만들도록, 우리 모두 그 과정에서 더 행복해지고 생산적이 되게 하려고 이 연구를 시작했습니다.
그 요인들이 무엇인지 알고 싶다면 계속 읽어주세요.
해크만 모델 : 스테이지 세팅
그림1과 같은 선형 회귀분석 모델을 개별 성과점수에 대해 매핑한 결과입니다.
- 내부적으로 프로젝트에 만족했다 (상관계수 0.47)
- 납기일 엄수 / 일정 지연의 정도 (상관계수 0.55)
- 투자수익률-ROI (상관계수 0.52)
- 종합 리뷰/메타크리틱 점수 (상관계수 0.69)
포커 게임과 마찬가지로 게임 개발에는 피할 수 없는 리스크가 존재합니다. 하지만 더 나은 전략을 배운다면 게임의 질을 높이고 더 나은 결과물이 나올 가능성을 높일 것입니다. 우리가 상관관계 그래프의 오른쪽으로 더 움직일 수 있다면, 우리의 실제 성과도 위쪽으로 나타날 가능성을 높일 것입니다. 즉, 더 나은 프로젝트 성적표를 받게 될 것입니다.
게임 개발 성과 측정 프로젝트팀의 구성원은 대부분 게임 개발자들입니다. 우리 스스로 더 나은 게임을 만드는 요인들을 배우고 싶어서, 그리고 여러분이 더 나은 게임을 만들도록, 우리 모두 그 과정에서 더 행복해지고 생산적이 되게 하려고 이 연구를 시작했습니다.
그 요인들이 무엇인지 알고 싶다면 계속 읽어주세요.
해크만 모델 : 스테이지 세팅
우리의 설문지는 3가지의 효율적 팀 모델에 기반을 두고 제작되었습니다. 각각의 모델은 효율적 팀에 대한 아래의 베스트셀러 3권에 뿌리를 두고 있습니다.
첫 번째 모델은 리처드 해크만의 성공적인 팀의 5가지 조건(원서:Leading Teams: Setting the Stage for Great Performances ) 입니다. 이 책에서는 팀워크의 효율성을 증진하기 위한 5가지 핵심 조건을 제시하는데, 이를 통해 팀의 기능을 최적화할 수 있습니다. 해크만의 모델은 광범위한 연구를 통해 입증된 경영과학입니다. 이 모델은 리더와 매니저들이 팀의 성공을 이끌어낸다는 기존 견해에 비해 독특한 접근이었습니다. 해크만의 모델에서는 리더를 팀의 효율성을 증진 시키는 조건들을 만들어 주는 촉진제로 보고 있습니다.
해크만의 핵심 조건들을 요약하면 아래와 같습니다.
- 반드시 진짜 팀이어야 한다. 과업은 팀이 수행하기에 적절해야 하고; 구성원들은 과업 수행과 결과에 이르기까지 상호 의존적으로 일해야 한다; 누가 무엇을 하고 누가 무엇을 하면 안 되는지 확실한 경계선이 있어야 한다; 팀의 구성원은 반드시 자신의 업무 프로세스에 대해 명확한 권한을 가지고 자기 작업의 책임을 져야 한다; 구성원이 지속적으로 안정적으로 유지되며, 구성원의 이동은 최소한이어야 한다; 팀의 구성요소는 반드시 기술적 역량, 팀워크 기술, 외부 인맥, 팀 크기, 실용적으로 움직이고 문화적 다양성을 갖춰야 하며, 마지막으로 경험으로 이루어져야 한다.
- 강렬한 방향성이 있어야 한다. 동기를 부여할 수 있는 목표나 주의를 집중시킬 중요한 목적이 있어야 하고, 사기를 돋우며 지속해서 노력하고 새로운 전략의 개발을 장려해야 한다.
- 스스로 할 일을 찾는 구조. 과업, 역활 그리고 책임은 반드시 구체적으로 명시되며 개개인을 위해 설계되어야 한다.
- 도와주는 분위기.팀내에서 오류를 지적하고, 실수를 인정하고, 잠재적인 문제와 리스크를 지적하더라도 인간관계에서 문제가 생기지 않는다는 공유된 믿음(심리적 안정감)이 필요합니다. 팀은 또한 바람직한 행동은 고무하고 바람직하지 않은 행동은 지양하는 인센티브가 필요합니다. 스스로의 업무 능력을 증대시킬 수 있도록 충분한 피드백과 정보를 제공하고, 일을 완료하는데 필요한 도구와 자원을 제공해줘야 합니다.
- 전문가 코칭. 팀은 팀의 영역 외부에 있는 다양한 멘토들로부터 팀이 더 효율적으로 과업을 수행할 수 있도록 도움을 받을 수 있어야 합니다. 이러한 멘토들은 모티베이터(집단적 태만을 최소화하고 업무 활동을 증대시키는 사람), 컨설턴트(퍼포먼스 개선 전략을 수립하고, 무의미한 반복작업의 도입을 막으며 업무내용이 실제 과업의 요구사항을 충족시키도록 유도하는 사람) 그리고 교육자(기술과 지식을 향상하는 사람)
결과는 아래의 그림3에 있습니다. 오른쪽의 열은 각각의 설문에 대한 긍정적인 답변과 설문지 마지막 장에서 질문한 4가지 성과점수(“일정지연”, “ROI”, “비평”, “내부평가”), 그리고 통합 성과점수간의 상관관계를 나타냅니다.
“범주”컬럼의 값은 해당 분류에서 통합 성과점수와 가장 높은 상관관계를 보인 질문의 상관계수로, 해당 분류의 전체적인 값을 나타냅니다.
그림3. 5개 범주에서 각각의 설문과 5가지 성과 점수(개별 성과점수 4개와 통합 성과 점수)의 상관관계를 보여주는 해크만 모델에 대한 설문조사의 결과. “범주 점수”는 해당 분류에서 상관계수가 가장 높은 설문항목의 점수.
이러한 결과는 충격적입니다. 개별 질문 하나하나 모두가 게임 프로젝트 성과에 의미 있는 상관계수를 가지고 있습니다. 특히나 두번째 범주는-해크만의 “강렬한 방향성”을 갖추는 조건에 대한 설문-은 모든 문항이 0.5이상의 상관계수를 가집니다. 이러한 결과는 우리에게 프로젝트 리더는 명확한 상품의 비젼을 갖추고, 팀에게 비젼을 정확하게 전달하며, 프로젝트의 시작단계에서 필요한 인력을 모두 갖추도록 조언합니다. 또한 팀원들이 소외감을 느낄 가능성이 있는 프로젝트의 방향 전환은 매우 조심스럽게 해야 합니다.
(첨언하면 위의 모든 상관계수의 p값이 0.01보다 한참 더 낮다는 것은 통계적으로 확실히 유의함을 나타냅니다. 우리의 연구에서는 p값이 0.05미만인 경우에만 통계적으로 유의하다고 판단할 것입니다. 앞으로의 기사에서도 p값이 0.05 이상이면 “Not S.S”라고 표기해 통계적 유의성이 없다는 것을 명시할 것입니다.)
첫 번째 기사에서는 우리의 설문 문항들과 프로젝트 성과 사이의 상관관계를 찾지 못해서 고전했던 것을 기억할 것입니다. 심지어 개발 방법론에 대한 설문들조차 게임 성과와 의미 있는 상관관계를 나타내지 않았습니다.
렌시오니 모델 : 5가지 함정
두번째 효율적 팀 모델은 패트릭 렌시오니의 유명한 경영학 서적 탁월한 조직이 빠지기 쉬운 5가지 함정 탈출법 (원서:The Five Dysfunctions of a Team: A Leadership Fable)에 기반을 두고 있습니다. 해크만의 모델과는 달리 렌시오니의 모델에서는 팀에서 잘못될 수 있는 것이 무엇인지에 대해 다루고, 구체적으로 5가지의 함정에 관해 설명하고 있습니다. 이 함정들은 역병처럼 단계적으로 악화하며 팀에 점진적으로 더 큰 장애를 일으킵니다.
직접 책을 읽는 것과 비할 수는 없지만, 핵심 내용을 간략히 요약해보자면 아래와 같습니다:
직접 책을 읽는 것과 비할 수는 없지만, 핵심 내용을 간략히 요약해보자면 아래와 같습니다:
- 신뢰의 부재. 팀 구성원에게 공격받을 수 있다는 두려움은 팀원 간 신뢰구축을 못 하게 만듭니다.( 해크만의 4번째 조건에서 말하는 “심리적 안정감”과 유사한 점을 주목하세요. 거의 같은 이야기입니다.)
- 갈등의 회피. 신뢰의 부재로 인위적인 조화를 유지하기 위해 팀 내에서 생산적인 갈등이 발생하지 않도록 억압합니다.
- 헌신의 부재. 신뢰의 부재와 갈등의 회피는 팀 구성원이 스스로 내리는 결정에 제대로 힘을 쏟지 않게 만들거나, 스스로 감당할 수 있다고 판단되는 수준의 결정만 내리게 됩니다.
- 책임 회피. 위에서 설명한 요인들로 인해 -특히나 헌신의 부재와 갈등의 회피- 팀원들이 책임질 일을 서로 피하게 됩니다.
- 결과에 무관심.책임감이 없으므로 팀원들은 자신이 한 일의 실제 성과를 무시하게 되고, 단체의 성공을 희생하여 개인적 목표 달성과 신분유지에 힘을 쏟게 됩니다.
그림4. 5가지 함정 모델과의 상관관계. "Not S. S."는 통계적으로 유의하지 않음을 의미, 즉 해당 항목은 결과와 어떤 상관관계도 추론할 수 없다.
위의 차트에서는 음의 상관관계를 나타내는 빨간색 칸을 많이 볼 수 있습니다. 이는 예상했던 결과로 나쁜 게 아닙니다. 대부분의 설문 항목은 부정적인 방향("다른 팀원에게 도움을 요청하기 어렵다." 등)으로 만들어졌기 때문에, 해당 설문 항목에 더 많이 동의할수록 프로젝트 성과가 더 나쁘게 되는 음의 상관관계가 나타납니다. 음의 상관관계는 부정적인 방향의 설문에서 예상되는 결과입니다.
중요한 것은 각각의 상관계수들의 절대값입니다. 양수이건 음수이건 절대값이 더 크면 상관관계가 더 크다는 것을 의미합니다. 위의 도표는 모든 상관계수가 5가지 함정 모델에서 기대되는 방향과 일치합니다.
오른쪽의 범주 열에는 통합 성과점수와의 상관계수 절대값이 가장 높은 항목을 볼 수 있습니다. 범주 열의 점수를 살펴보면 통합 성과점수와 상관관계가 해크만 모델의 대략 일치함을 알 수 있습니다.
상관관계가 약하거나 통계적 유의하지 않은(p값이 0.05 이상) 설문 항목이 몇 개 있습니다. 첫 번째 분류에서 2개의 설문 항목은 게임의 비평/메타크리틱 점수와 연관성이 없는데, 그 이유는 알 수 없습니다. 열정적으로 거리낌 없이 의견을 말하는 토론은 프로젝트의 일정 지연과의 상관관계에서만 통계적으로 유의하지 않습니다. 이는 열정적이고 거리낌 없는 토론이 게임의 완성도에는 전체적으로 긍정적인 영향을 끼치지만, 토론 자체가 시간을 잡아먹을 수 있기 때문에 이러한 토론이 게임의 완성도를 높이는 방법을 찾는데는 도움이 되지만 종종 완성도를 높이느라 일정에 손실이 발생하기 때문이라 추정됩니다. 따라서 열정적이고 거리낌 없는 토론이 일정에는 긍정적 효과와 부정적 효과가 동시에 발생하여 서로를 상쇄하는 것으로 보입니다.
지금까지 다룬 두 가지 모델이 모두 매우 유용하다는 사실을 확인했습니다. 해크만의 모델은 팀이 원활하게 움직이는 요인과 도와주는 분위기를 다루고, 렌시오니의 모델이 팀 내부의 역학 관계를 좀 더 깊이 다루고 있습니다. 그러므로 두 개의 모델이 팀의 효율성을 측정하는 데 동등하게 효과적인 시야를 상호보완하며 제공하였습니다.
상관계수 상세히 살펴 보기
하지만 도대체 상관계수가 무엇을 의미하는 걸까요? "0.5"의 상관계수는 얼마나 강력한 걸까요?
첫 기사의 내용과 비교해보면 팀의 경력 사항의 상관 계수는 약 0.2정도였습니다. 따라서 상관계수가 0.2 이상으로 나타난다면 경력 사항보다 더 중요한 항목이라고 생각할 수 있습니다.
몇 개의 그래프를 사용하여 맥락을 짚어 보겠습니다. 해크만의 모델에서 가장 높은 값일 보인 설문 항목을 투자수익률에 대한 질문과 붙여보겠습니다.(투자수익률이 통합 성과 점수보다 객관적인 지표이기 때문에). 우리가 선택한 항목은 “게임 최종 버젼의 모습이 명확하고 분명하게 팀 구성원들에게 전달되었다."으로 투자수익률에 대해 평균적으로 0.4이상의 상관계수를 나타내었습니다.(통합 성과점수와의 상관 계수는 0.56입니다.) 더 확실한 정보를 전달하기 위해 우리는 각 설문지에 해당하는 통합 성과점수를 색상으로 표시하였습니다. 녹색이 높은 통합 성과 점수, 빨간색이 낮은 통합 성과점수입니다.
그림5. "게임 최종 버전의 모습이 명확하고 분명하게 팀 구성원들에게 전달되었다."(가로 축) 을 투자수익률(세로축)에 대비해 그린 그래프. 각 점은 한 개의 설문지를 의미함. 점의 색상은 통합 성과 점수를 표시함. 202개의 데이터 포인트가 표기되어 있다.
패턴을 눈치채셨나요? 오른쪽 하단은 녹색으로 채워지고, 왼쪽 상단은 모두 빨간색, 그리고 우측 상단은 두 색상이 섞여 있습니다. 22개 중 19명의 응답자가 "대 성공"에 속하고(86%) "완전히 동의함"과 "일부 동의함"으로 답변한 응답자는 투자수익률에 대해 "매우 수익성 좋음"으로 답변하였습니다. 하지만 "손실 봄"으로 답변한 응답자는 58명 중 30명이(52%) "동의하지 않음", "전혀 동의하지 않음"으로 대답하였습니다.
무엇보다도 왼쪽 하단이 비어있다는 점이 시사하는 사실이 큽니다. -이 사분면에 해당하는 팀이 있다면 명확하게 정의되고 팀에게 잘 전달된 비젼 없이도 합리적인 투자수익률을 얻을 수 있다는 의미입니다. 그러나 그러한 팀은 거의 없습니다.
한편으로는 명확한 비젼을 가진 팀도 항상 성공하지는 못한다는 사실도 볼 수 있습니다. 그러나 명확한 비젼 없는 팀은 거의 항상 실패합니다.
요약하면 여러분은 성공은 보장할 수 없지만, 실패는 확신할 수 있습니다.
앞으로도 우리가 만든 설문들에서 비슷한 패턴을 보게 될 것입니다. 모든 설문이 비슷한 결과를 나타냅니다. 그 예로 “조직의 구조와 구성원이 프로젝트 착수 시점부터 명확하였다.” 설문 결과를 보면 투자수익률에 대해 앞서보다 낮은 0.18의 상관계수(통합 성과 점수에 대해서는 0.29)를 가지지만 패턴은 명백합니다.
첫 기사의 내용과 비교해보면 팀의 경력 사항의 상관 계수는 약 0.2정도였습니다. 따라서 상관계수가 0.2 이상으로 나타난다면 경력 사항보다 더 중요한 항목이라고 생각할 수 있습니다.
몇 개의 그래프를 사용하여 맥락을 짚어 보겠습니다. 해크만의 모델에서 가장 높은 값일 보인 설문 항목을 투자수익률에 대한 질문과 붙여보겠습니다.(투자수익률이 통합 성과 점수보다 객관적인 지표이기 때문에). 우리가 선택한 항목은 “게임 최종 버젼의 모습이 명확하고 분명하게 팀 구성원들에게 전달되었다."으로 투자수익률에 대해 평균적으로 0.4이상의 상관계수를 나타내었습니다.(통합 성과점수와의 상관 계수는 0.56입니다.) 더 확실한 정보를 전달하기 위해 우리는 각 설문지에 해당하는 통합 성과점수를 색상으로 표시하였습니다. 녹색이 높은 통합 성과 점수, 빨간색이 낮은 통합 성과점수입니다.
그림5. "게임 최종 버전의 모습이 명확하고 분명하게 팀 구성원들에게 전달되었다."(가로 축) 을 투자수익률(세로축)에 대비해 그린 그래프. 각 점은 한 개의 설문지를 의미함. 점의 색상은 통합 성과 점수를 표시함. 202개의 데이터 포인트가 표기되어 있다.
패턴을 눈치채셨나요? 오른쪽 하단은 녹색으로 채워지고, 왼쪽 상단은 모두 빨간색, 그리고 우측 상단은 두 색상이 섞여 있습니다. 22개 중 19명의 응답자가 "대 성공"에 속하고(86%) "완전히 동의함"과 "일부 동의함"으로 답변한 응답자는 투자수익률에 대해 "매우 수익성 좋음"으로 답변하였습니다. 하지만 "손실 봄"으로 답변한 응답자는 58명 중 30명이(52%) "동의하지 않음", "전혀 동의하지 않음"으로 대답하였습니다.
무엇보다도 왼쪽 하단이 비어있다는 점이 시사하는 사실이 큽니다. -이 사분면에 해당하는 팀이 있다면 명확하게 정의되고 팀에게 잘 전달된 비젼 없이도 합리적인 투자수익률을 얻을 수 있다는 의미입니다. 그러나 그러한 팀은 거의 없습니다.
한편으로는 명확한 비젼을 가진 팀도 항상 성공하지는 못한다는 사실도 볼 수 있습니다. 그러나 명확한 비젼 없는 팀은 거의 항상 실패합니다.
요약하면 여러분은 성공은 보장할 수 없지만, 실패는 확신할 수 있습니다.
앞으로도 우리가 만든 설문들에서 비슷한 패턴을 보게 될 것입니다. 모든 설문이 비슷한 결과를 나타냅니다. 그 예로 “조직의 구조와 구성원이 프로젝트 착수 시점부터 명확하였다.” 설문 결과를 보면 투자수익률에 대해 앞서보다 낮은 0.18의 상관계수(통합 성과 점수에 대해서는 0.29)를 가지지만 패턴은 명백합니다.
그림6. 조직 구조의 명료성(가로 축)을 투자 수익률(세로축)에 대비하여 그린 그래프. 각 점의 색상은 통합 성과 점수를 표시함.
상관관계는 인과율을 의미하지 않습니다. 즉 특정 요인으로 인해 성과 점수의 차이가 발생하였다고 증명하는 것은 불가능합니다. "숨겨진" 어떤 요인으로 인해 이러한 차이가 발생하였다고 반박할 수도 있습니다.
비관주의자의 입을 빌려서 말해보면 가장 효율적은 팀은 그냥 가장 뛰어난 사람들을 고용한 팀이고, 더 우수한 직원들이 팀의 특성과(위의 설문지를 통해 드러나는) 성과 모두가 더 좋아지도록 만들기 때문에 팀의 특성이 성과에 영향을 끼치지 않았다고 주장할 수 있습니다.
우리는 이러한 믿음에 대해 철저하게 반론을 펼치지는 않겠습니다. (추가 연구를 원하는 사람들을 위해 추후 로우데이터를 공개할 것입니다.) 하지만 팀 경력 사항의 개별 단계만 살펴보면 -가장 경험이 많은 팀, 혹은 가장 경력이 적은 팀-위의 모든 상관관계가 여전히 존재함을 볼 수 있습니다. 만약 개별 팀 구성원의 기술 수준만이 상관관계를 만드는 요인이라면 볼 수 없는 현상입니다.
마지막으로 세 번째 모델은 어떤지 보겠습니다.
갤럽 모델: '12'
마지막 세 번째 효율적 팀 모델은 와그너와 하터의 책 12 위대한 경영의 요소 (원서: 12: The Elements of Great Managing) 에 기반을 두고 있습니다. 위대한 경영의 요소는 천만 명의 고용인과 매니저들의 인터뷰로 이루어진 갤럽 데이터를 분석한 내용입니다. 이름을 통해 알 수 있듯이 이 모델은 12개의 요소로 이루어져 있습니다.
- 회사에서 내게 무엇을 기대하는지 알고 있다.
- 업무에 필요한 재료와 장비를 갖추고 있다.
- 내 장점을 발휘할 기회가 자주 있다.
- 업무성과에 대해 인정과 칭찬을 받는다.
- 나를 한 인격체로 배려하는 사람이 있다.
- 나의 발전을 후원하는 사람이 있다.
- 내 의견이 비중 있게 반영된다.
- 조직의 사명과 나의 일이 연결되어 있다.
- 팀원 모두가 훌륭한 성과를 위해 최선을 다한다.
- 회사에 친한 친구가 있다.
- 정기적으로 상세하고, 통찰력 있는 피드백을 받는다.
- 더 배우고 성장할 기회가 있다.
그림7. 와그너와 하트너의 `12`책에 의거한 갤럽 모델의 상관관계
위의 연구 결과는 해크만과 렌씨오니의 모델과 비교하면 양쪽으로 좀 더 섞여 있는 결과를 보여줍니다. 10번 요인-회사에 친한 친구가 있다.- 는 아무런 통계적 유의성을 보이지 않아 의미 없는 요인으로 보입니다. 3번과 5번 요인 -내가 가진 기술에 적합한 임무를 수행하였는지와 조직에서 최소한 한 명은 나를 인격체로써 진심으로 신경을 써주고 있는지-는 모두 상대적으로 상관계수가 작아 거의 의미 없는 요인처럼 보이고, 둘 다 4개 중 2개의 성과에 대해 통계적으로 의미 있는 상관관계가 없습니다. 6번 요인도 상대적으로 조금 약한 상관계수를 보이고 비평/메타 점수와는 통계적으로 유의미한 상관관계가 없습니다.
하지만 다른 요인들은 -특히 7.8,9, 11번 - 프로젝트 성과와 현저하게 강한 상관관계를 나타내었습니다. 특히나 이 요인들은 근본적으로 해크만과 렌씨오니의 모델과 평행한 요인입니다. '팀원들이 내 의견을 진지하게 듣고, 조직의 사명이 타당하다고 느끼며, 훌륭한 성과를 내기 위해 함께 현신하며, 정기적으로 상세하고 통찰력 있는 피드백'은 분명히 최고의 개발팀과 나머지를 구분하는 중대한 요인입니다. 1,2,4 12번 요인도 통계적으로 유의한 긍정적 상관관계를 나타내고 있습니다.
8번째 항목의 매우 강한 상관관계 -조직의 사명과 나의 일이 연결되어 있다.-는 특히 주목할만합니다. 이 항목의 상관계수는 갤럽 모델의 모든 설문항목 중 가장 큰 값을 보이는데, 해크만과 렌씨오니의 모델에는 없는 요인입니다.
명확히 정의된 조직의 사명이나 목표가 없거나, 실제 하는 일과 부합되지 않는 사명을 가진 회사도 많습니다. 그래서 사명이나 목표를 구태여 명시하는 게 쓸데없는 짓이라 냉소적으로 보게 되기 쉽습니다. 회사에서 깃발을 휘두르며 고함치는 단합대회는 실제로 아무짝에도 쓸모가 없습니다.
그러나 우리의 연결과는 조직의 사명이 성과에 지대한 영향을 끼친다는 것을 보여줍니다. 스스로의 가치를 신중히 고민하고 진지하게 받아들여 조직 문화 전반에 녹여내는 기업은 그렇지 않은 기업에 비해 측정 가능한 우위에 서 있는 것입니다. 밸브나 슈퍼셀처럼 성공적인 몇몇 기업들은 조직의 사명과 문화를 진지하게 생각하며 이를 사업 전략의 구심점으로 삼는다고 알려져 있습니다. 두 기업 모두 그들 자신만의 명확하고 독자적인 방법으로 조직과 내부 문화를 가지고 있습니다.
우리의 연구 결과는 그들의 성공이 우연이 아님을 시사합니다.
위의 결과들은 갤럽 모델의 부분적 검증뿐만 아니라 우리의 설문 조사와 분석적 접근법이 게임 프로젝트 성과와 연관이 있는 요인과 없는 요인을 분별할 수 있다는 증거라고 생각합니다.
결론
개별 게임 프로젝트만 보면 무엇이 그들을 성공적으로 만드는지, 그리고 무엇이 그들을 실패하게 하였는지 파악하기 어렵습니다. 특정한 하나의 프로젝트의 결과만을 보면 프로젝트 결과물의 공과를 그 프로젝트의 기획, 리더쉽, 비즈니스 모델, 혹은 특정한 시장 상황이나 장기간의 크런치 혹은 게임 기술 탓 이라고 섣부른 판단을 내리기 쉽습니다.
그러나 많은 프로젝트를 나란히 놓고 보면 극적으로 새로운 그림이 나타나게 됩니다.
앞서 예를 든 포커 플레이어와 마찬가지로 결코 피할 수 없는 리스크와 외부 요인(마케팅 예산등)도 중요합니다. 그렇다 하더라도 프로젝트의 성과는 여러분의 손에 달려있고, 팀의 행동이 전적으로 그들의 운명을 결정하게 됩니다.
지금까지의 연구 결과는 가장 효율적인 팀과 가장 비효율적인 팀을 구분하는 주된 요인은 계획적이고 신중하게 양성된 효율적 팀워크이고, 팀워크가 게임 프로젝트 성과에 막대한 영향을 끼친다는 피할 수 없는 결론에 이르게 됩니다. 이 기사에서 다룬 요인들은 다음 기사에서 다룰 요인들과 합산하여 통합 성과 점수와의 상관계수가 0.82로 나타납니다. 이 결과는 그림1에서 볼 수 있습니다.
유명한 경영학자인 피터 드러커는 "문화는 전략을 아침으로 씹어먹는다"라는 명언으로 유명합니다. 이는 대개 전략-비즈니스 모델, 기술, 게임 기획 기타 등등-이 우리에게 경쟁우위를 준다는 믿고 있지만, 조직의 전략을 현실로 실현하고, 운명을 결정하는 것은 대부분 조직 문화에 의해 결정된다는 의미입니다.
팀의 신뢰 구축과 "심리적 안정감"은 구성원들이 솔직하게 문제를 지적하고, 실수를 인정하고, 임박한 위기를 발견해서 알리고 위기에 대처하도록 만듭니다. 창조적 갈등의 포용, 명확하게 정의되고 공유된 비젼에 대한 헌신과 강렬한 방향성, 책임을 받아들이고 필요한 일에 힘을 실어 주는 구조, 전문적 코칭, 조직이 추구하는 사명의 타당성, 자신의 의견을 진지하게 받아들여지고 동료들이 우수한 상품을 만들기 위해 성실히 일한다는 믿음, 정기적이고 상세하며 통찰력있는 피드백. 이 모든 것들이 팀이 더 효율적으로 일하게 만드는 요인입니다. 이 요인들을 모두 합쳐지면 성공적인 팀과 실패한 팀을 나누는 거대한 차이점이 됩니다.
팀워크가 비밀의 양념이라고 말하기는 쉽습니다. -하지만 그것은 실제로는 훨씬 미묘한 사안을 하찮게 표현하는 것입니다.
진짜 비밀의 양념은 의도적이고 지속해서 좋은 팀워크를 내고 개선하여 활짝 피어오르도록 필요한 모든 지원을 아끼지 않는 문화에 있을 것입니다. 문제가 생겼을 때에는 잿더미가 되기 전에 신중하고 부지런하게 진단하고 고쳐나가는 문화입니다.
여러분이 게임 성과 측정 프로젝트에서 무언가를 배우고 싶다면 이것이 우리가 하고 싶은 이야기입니다; 우리의 연구에서 가장 확실한 발견은 바로 문화가 프로젝트 성과에 가장 중대한 요인이라는 사실입니다.
개발자로서 우리는 코드와 데이터를 최적화하는데 엄청난 시간과 수고를 들입니다. 팀을 최적화하는데 동등한 수준의 수고를 들이지 않을 이유가 없습니다.
이 주제에 대해 더 많이 배우고 싶은 분들께는 우리 연구의 원천이 된 3권의 책을 읽어보기 권장합니다.
다음 주에 발표될 우리의 다음 기사에서는 우리가 조사한 내용 중 게임 개발에만 특수한 여러 요인을 다룰 것입니다. 게임 기획 리스크 관리, 크런치 / 초과근무, 프로젝트 계획, 존중, 팀 집중력, 기술적 리스크 관리, 외주, 의사소통 그리고 조직의 실패에 대한 인식이 그것입니다.
4번째 기사에서는 특별히 크런치에 대해서 상세한 분석을 할 것입니다. 그리고 데이터들이 크런치 문제에 대해 놀랄 정도로 명확한 결론을 낸 것을 보여줄 것입니다. 마지막으로 5번째 기사를 통해 우리가 찾은 결과물들을 정리할 것입니다.
마지막 5번째 기사를 통해 우리의 연구 결과물을 요약할 것입니다.
게임 성과 측정 프로젝트를 위해 설문조사에 참여해주신 수백 명의 전/현직 게임 개발자들에게 감사드립니다. IGDA 프로덕션 SIG 멤버인 Clinton Keith와 Chuck Hoover는 설문 문항 설계에 도움을 주셔서 감사합니다. Kate Edwards, Tristin Hightower, 그리고 IGDA는 설문지 배포에 도움을 주었습니다. Christian Nutt과 가마수트라 편집진 또한 설문지 배포에 도움을 주었습니다. 추후 게임 개발 성과 프로젝트에 대한 안내를 받고 싶다면 저희 트위터를 팔로우 해주세요 @GameOutcomes
게임 성과 측정 프로젝트를 위해 설문조사에 참여해주신 수백 명의 전/현직 게임 개발자들에게 감사드립니다. IGDA 프로덕션 SIG 멤버인 Clinton Keith와 Chuck Hoover는 설문 문항 설계에 도움을 주셔서 감사합니다. Kate Edwards, Tristin Hightower, 그리고 IGDA는 설문지 배포에 도움을 주었습니다. Christian Nutt과 가마수트라 편집진 또한 설문지 배포에 도움을 주었습니다. 추후 게임 개발 성과 프로젝트에 대한 안내를 받고 싶다면 저희 트위터를 팔로우 해주세요 @GameOutcomes
잘 읽었습니다. 번역 감사합니다.
답글삭제1편부터 내내 고개를 끄덕이며 보고 있습니다.
답글삭제좋은 번역 감사합니다. (_ _)
좋은 자료 감사합니다. 다른 자료들도 잘 읽어 보고 있습니다.
답글삭제Gamasutra 링크 변경 ->
답글삭제https://www.gamedeveloper.com/business/the-game-outcomes-project-part-2-building-effective-teams