저는 학부생 때부터 실생활에 적용이 가능한 연구를 하고 싶다는 생각을 쭉 지녀왔습니다. 그런 제게 대학원이라고 하면, 막연하게 이론적인 연구를 하는 딱딱한 분위기를 지닌 집단이라고 생각했습니다. 제가 다녀보면서 느낀 한양대학교 경영컨설팅학과는 이론적인 연구뿐만 아니라 다양한 IC-PBL 기반의 수업을 제공하며 학생들에게 실무적 감각도 키울 수 있도록 해주는 학과라고 생각합니다.

 

 다양한 수업에서 풍부한 Field 경험을 갖고 계신 원우 분들과 프로젝트를 진행했던 경험이 가장 기억에 남습니다. 특히, 22년도 2학기 때 들었던 ‘프로젝트관리’ 수업에서 경영컨설팅학과 ‘신동원’, ‘이지성’, ‘이미지’ 박사과정과 함께 진행했던 프로젝트 경험이 가장 기억에 남습니다. 경영컨설팅학과에는 정말 많은 컨설턴트 분들이 재학 중이신데 그분들께서 갖고 계신 노하우를 저희에게 아낌없이 나누어주셨습니다. 이 기회를 빌려 진심으로 감사하다는 말씀을 전하고 싶습니다.

 

 

 

 

 1. A/B Test란 무엇인가? 

 A/B 테스트는 대조군(control)과 실험군(treatment)을 비교하는 대조 실험(controlled experiment)입니다. 2000년 중반부터 시작된 테크기업들의 혁신인 린 스타트업, MVP 등의 발전과 역사를 같이 해왔습니다. A/B 테스트는 기업들이 출시한 제품/서비스의 기능 등 지속적으로 발전시키는 작은 변화에 대한 성과를 측정하기 위해 활용될 수 있습니다.

  가장 간단한 A/B 테스트의 형태를 구조화 시키면 다음의 그림과 같습니다. 사용자는 대조군, 실험군으로 각각 분리되어 기존 시스템과 변화가 일어난 시스템을 경험합니다. 그 결과를 분석 및 비교하여 변화에 대한 성과를 측정합니다. A/B 테스트에서 사용자는 대조군, 실험군에 무작위로 분할되며 한번 지정된 분할은 바뀌지 않습니다. 즉 만약 사용자를 온라인 서비스 사용자라고 가정한다면 사용자는 여러번의 사이트에 방문했을 때 동일한 경험을 하게 됩니다. 

2. A/B Test의 활용  

  A/B 테스트는 에어비앤비, 아마존, 부킹닷컴, 이베이, 구글, 마이크로소프트, 넷플릭스, 트위터, 링크드인 등 온라인 서비스를 제공하는 기업에서 많이 활용합니다. 사용자 인터페이스, 관련 알고리즘(검색, 광고, 개인 정보 확인, 추천상품 등), 지연 시간/성능, 콘텐츠 관리 시스템, 고객 지원 시스템 등을 실험하며 웹사이트, 데스크톱 애플리케이션, 모바일 애플리케이션, 이메일 등 다양한 채널에서 실험됩니다. 

  A/B 테스트의 결과 성과 측정 지표(OEC, Overall Evaluation Criterion)로써 사용자별 활동 일수(active days per user), 사용량, 광고 수익 등이 사용 될 수 있습니다. 이러한 성과 측정 지표는 통계에서의 종속변수로 불릴 수 있습니다.  

  구글은 검색 결과 페이지에 대해 41개 색조의 파란색을 시험했으며 색상 수정은 사용자 참여에 긍정적인 결과를 가져온다는 결과를 얻어 지금의 파란색을 채택하여 검색 결과를 보여주고 있습니다. 또한 아마존은 결제시 신용카드를 제안하는 페이지를 추가하는 실험을 통해 연간 수입을 수천만 달러 증가시킬 수 있었습니다.

 

  A/B 테스트를 활용하여 제품/서비스를 개선한 사례를 분석하여 실험의 절차, 구체적인 성과 등을 확인해 보시기 바랍니다.

 

 

 성공적인 디지털 혁신에 대한 지침, 그리고 리더가 디지털 혁신을 이용해 사업적 성공과 대의라는 두 마리 토끼를 잡는 방법을 소개합니다.

1. 어떤 기업을 만들고 싶은가

디지털 혁신은 결과적을 디지털 도구를 이용해 고객에게 더 나은 서비스를 제공하려는 것입니다. 그런데 기술이 점점 더 강력해지고 비즈니스의 핵심으로 자리 잡으면서 디지털 도구를 어떤 방식으로 사용하는지에 따라 오히려 고객이나 직원, 다양한 이해관계자를 실망시키거나 소외시킬 수도 있게 되었습니다. 기업은 디지털 여정 속에서 디지털 도구를 활용해 성과를 높이는 동시에 옳은 일을 할 수 있는지 자문해 보아야 합니다.

 이를 위해 가장 먼저 할 일은 어떤 기업을 만들고 싶은지에 대한 답을 찾는 것인데요. 대다수 기업이 규제 요건을 지키는 선에서 내적으로는 기능을 개선하고 외적으로는 제품을 개발하는 방식으로 디지털 혁신에 나서는 실수를 범하고 있습니다. 이러한 경우 내부 시스템 개선에 집중하거나 몇 가지 상품을 내놓는데 그칠 것이다. 제품은 출시되기가 무섭게 빠르게 모방되고, 관리 감독의 부족으로 외부 이해관계자들의 불만은 점점 커질지도 모릅니다. 결국 회사 시스템이 고객의 니즈를 완벽하게 충족시키지 못한다는 사실을 깨닫기까지는 오랜 시간이 걸리지 않을 것입니다.

 그러나 내부에 집중하는 대신 외부로 눈을 돌려 고객과 이해관계자가 실제로 원하는 바가 무엇인지 면밀히 살펴보고 새로운 가능성이 등장하는 환경 속에서 이 기업이 어떤 모습이 되길 원하는가를 살펴보면 회사의 변화를 위해 활용할 수 있는 지점들을 파악할 수 있을 것입니다. 그리고 이러한 질문들을 던질 수 있습니다. 최종 고객과의 접점을 늘릴 수 있도록 소매업체와의 인터페이스를 변경할 방법은 무엇일까? 또, 우리 회사가 디지털 기반 회사와 어떤 점에서 차별화되는가? 그 대답의 일부는 회사의 명성과 더 큰 사회에 대한 책임일 것입니다.

 

2. 올바른 목표와 KPI 규정하기

 사업을 잘하는 것과 좋은 일을 하는 것 사이의 균형을 찾기 위한 방법으로 KPI ‘나비(butterfly)’ 프레임워크를 제안합니다. 나비의 한쪽 날개는 수익, 취득비용, 서비스 비용, 순수익과 같은 전통적인 성과 KPI를 의미합니다. 그러나 이러한 것들만 최적화한다면 장기적으로는 이해관계자에게 해가 될 수 있습니다. 기업은 미묘한 개입을 통해 긍정적인 변화를 만들어 낼 수 있습니다. 이 문제를 고려해 KPI날개의 다른 한 쪽 날개는 사회 보호를 위한 좋은 일을 하는 조치를 통해 균형을 추구하도록 만들고, 직원은 KPI날개의 양 날개를 기반으로 보상을 받도록 합니다. 기업의 수익은 늘렸으나 사회 보호를 위한 책임을 다하는데 집중하지 못했다면 그 점은 상여금에 반영되어야 합니다.

 

3. 올바른 데이터 수집하기

 디지털 혁신으로 좋은 성과를 내려면 데이터가 필요합니다. 하지만 데이터의 양에만 집중해서는 안 됩니다. 디지털 혁신을 진행 중인 많은 조직이 가능한 모든 데이터를 수집하려는 사고의 함정에 빠져 있습니다. 이렇게 쌓아놓은 방대한 양의 데이터가 언젠가는 가치를 발할지 모르지만, 데이터의 품질이 낮고 파편화 되어 있어 제대로 활용하지 못하는 경우가 부지기수입니다. 더욱이 팀원들의 데이터 리터러시가 너무 부족해 데이터를 제대로 활용하지 못하는 경우도 많습니다. 조직은 데이터에 대한 비즈니스 사례를 규정하고 실제로 쓸 만한 정제된 데이터를 수집한 후 이를 활용할 수 있는 내부 역량을 함께 개발해야 합니다.

 좋은 일을 하기 위해 디지털 혁신을 진행하는 경우에는 중요한 단계가 하나 더 필요합니다. 데이터 수집을 신중하게 설계함으로써 해결하거나 방지할 수 있는 고객, 직원, 이해관계자 문제가 무엇인지 파악하는 것입니다. 또한 고객을 우선시하고 디지털 혁신을 수행할 책임이 있는 경영진은 데이터 활용을 위한 데이터 리터러시 함양에 앞장서야 할 것입니다.

 

4. 투명하고 책임감 있는 문화로 전환하기

 데이터와 도구에는 강력한 힘이 있지만 디지털 혁신에 성공하기 위해서는 문화적 변화도 필요합니다. 이런 도구를 옳은 일을 하는 데 사용하는 경우에는 더욱 그렇습니다. 이는 모두가 디지털 혁신에 참여하는 한편 모두가 책임을 공유하고 대내외적으로 투명해야 한다는 것을 의미합니다. 예를 들어, 조직 전체가 KPI나비를 정기적으로 내부 검토하고, 중역을 포함한 모든 구성원이 상여금과 성과 평가의 일환으로 KPI나비에 대한 기여도를 평가받는 것입니다. 또한 좋은 일을 하기 위한 주요 활동들을 중심으로 조직을 재구성하는 일도 필요합니다.

 이처럼 투명성과 일관성을 추구하는 과정에서 나타난 흥미로운 부수 효과 중 하나는 업계의 인재들을 붙잡아 두는데 도움이 되기도 한다는 점인데요. 이는 KPI나비가 더 많은 외부 이해관계자와 규제 기관에 대한 회사의 사회적 책임을 대외적으로 보여주는 역할을 할 수 있음을 보여줍니다.

 

5. 차별화된 ESG

 더 나은 데이터 기준을 규정한다면, 뜻밖의 이점을 발견할 수 있습니다. 첫째, 보다 윤리적인 접근 방식을 높이 사는 고객들은 이 회사가 다른 회사와 다르다고 인식하게 되어 ESG관련 문제에 민감한 고객들의 충성도를 높일 수 있습니다. 둘째, 더 나은 척도를 개발한다면 규제 당국보다 앞서 나갈 수 있습니다. 네덜란드 복권회사 네덜란즈 로테라이(Nederlands Loterij)는 규제 당국이 온라인 도박을 공식적으로 허용하도록 법이 바뀌었을 때, 규정을 완전히 준수한 최초의 회사 중 하나였습니다. 이 회사의 최고재무책임자(CFO) 아르잔 블록(Arjan Blok)은 이렇게 주장합니다. “윤리적으로 올바르기만 해서 많은 이점을 얻을 수 있는 것은 아닙니다. 지금의 세계에서 ESG를 통한 차별화는 우리에게 유리할 뿐만 아니라 우리가 마땅히 해야하는 일이기도 합니다.”

본문은 동아비즈니스리뷰 (2023.12.08), “수익창출과 대의 사이에서 균형을 맞추려면”에서 발췌하였음