교차 브랜드 적립 허용 패스오더 손익 분석 대시보드 (A/B 테스트 이후 추가 분석)
패스오더 교차 브랜드 적립 허용에 따른 A/B 테스트를 지난 번에 진행해 보았습니다. 이번에는 비즈니스 관점에서 교차 브랜드 적립 허용으로 인해 손해를 보는 가맹주에 비용을 지원하는 것과 리텐션 감소폭이 적어진 것에 대한 이익을 비교한 패스오더 손익 분석 대시보드를 구축해 보았습니다.
패스오더 교차 브랜드 적립 허용 A/B 테스트
패스오더 앱을 이용하는 고객들이 브랜드 마다 다르게 독립적으로 받던 포인트를 통합함으로써, 이것이 리텐션에 어떤 영향을 받는 지 알아보기 위해서 지난 번에 A/B 테스트를 진행하고 AI를 활용하여 위의 같은 대시보드를 구축했었다.
A군(기존 방식), B군(교차 브랜드 적립 허용)의 90일 코호트 리텐션 곡선을 보면, 확실히 B군의 리텐션 감소율이 A군에 비해 적다는 것을 알 수 있다.
그 말은 즉슨 B군으로 했을 때 고객 이탈율이 낮아진다는 것이다. 위의 대시보드는 이런 이탈율 비교, 퍼널 행동 분석 그리고 통합되었을 경우 적립되어 지는 총 포인트와 사용되어 지는 포인트에 대해 표현하였다.
확실히 고객 이탈율이 낮아서, 매출 상승에 도움이 되었다. 하지만, 본 사 입장에서는 통합 적립금 사용에 불만이 있을 수 있는 가맹주을 설득하기 위해 포인트 적립으로 사용되는 금액을 100% 지원하게 되면 그 만틈 지출이 늘어나는 것이다.
이에 나는 그 부분은 줄어든 감소폭 만큼의 이탈하지 않고 남아있는 고객들의 매출이 충분히 보완할 수 있다고 생각하였다.
그러나, 나의 가설 뿐만 아니라 실제 비즈니스에서 의사 결정자들을 설득하기 위해서는 그에 대한 정확한 데이터 분석이 필요했다. 이번 포스팅은 그에 대한 것이다.
AI 에이전트를 활용한 패스오더 손익 분석 대시보드 만들기
패스오더 손익 분석 대시보드를 만들기 전에 나는 회사에 총 지출 비용과 수익 비용이 무엇이 될 수 있을 지를 생각했었다.
그 과정에서 고객들이 이탈하지 않고 남아서 만든 매출이 나는 패스오더 기업의 매출일 것으로 생각했었다. 아니었다. 그 매출은 일단 가맹점의 것이다. 그리고 그 가맹점이 만든 매출의 수수료가 바로 패스오더의 수익이 된다는 것이다.
가뿐하게 비용보다 수익이 넘을 것이라고 생각했던 나에게 이게 첫번째 암울한 그림자의 시작이었다.
1) 패스오더 기업의 지출 비용
기 대시보드를 통해서 3개월 동안 적립된 총 포인트는 2,990,110이다. 그 중에 사용된 포인트는 2,487,000으로 이미 본사가 지불을 해야 하는 비용이다. 나머지 잔액 포인트는 503,110은 여전히 고객이 사용하지 않은 포인트로 남아있다.
나는 고객이 사용을 하든 하지 않든, 어차피 2,990,110이 본 사가 비용을 지원해야 하는 금액으로 잡았다. 일종의 잠정적 부채인 셈이다. 그래서 패스오더 손익 분석 대시보드에서 총 지출 비용은 2,990,110원이다.
회사 의사결정자들이 이 비즈니스 전략을 채택하도록 하기 위해서는 위의 총 지출 비용보다 높은 수익 금액이 나와야 한다.
2) 패스오더 총 수익 비용
우선 고객들이 이탈하지 않고 남아 있으면, 패스오더 기업에서 얻을 수 있는 수익이 무엇인지를 생각해 보았다.
A/B 테스트를 통해 A군과 B군의 매출액을 나는 알 수 있었다. 그 차이의 패스오더가
그 말은 매출이 엄청 많이 나와도, 최대 6.5%를 잡아도 회사가 받을 수 있는 월 수수료는 6만원이란 소리다. 그럼 매출이 많이 나와도 최대액은 정해져 있다는 것이다. 여기서 생각이 깊어 졌다.
월 수수료 6만원은 월 100만원 매출을 냈을 때, 수수료 6%(보수적)로 했을 때의 금액이다. 그런데 월 100만원 매출을 못 내는 매장이 있을까 하는 생각이 들었다.
대부분의 매장은 월 100만원 이상의 매출은 충분히 올린다. 데이터도 그렇게 보여줬다. 그렇기에 매장 당 받을 수 있는 월 수수료를 6만원으로 잡았다.
A/B 테스트 분석 대시보드에서는 총 2,500명(각 군 1,250명), 총 매장의 수는 13개인 데이터 파일을 이용하였다.
이렇게 생각해 보면 수수료로 얻게 되는 수익은 2,340,000원이었다.
- 13개 매장 수 * 3개월 * 60,000원 = 2,340,000원
내가 13개 매장을 계약 해지 없이 모두 월 수수료를 받을 수 있는 매장으로 잡은 것은 테스트 분석 결과 13개의 모든 매장이 교차 브랜드 적립 허용으로 인해 매출 상승의 모습을 보였기 때문이었다. 매출이 올랐는데, 패스오더와의 계약을 해지할 매장이 있을까 하는 생각이었다.
교차 브랜드 적립 허용을 한 B군은 A군에 비해 239명이나 이탈을 하지 않았다. 따라서 나는 만약에 기존 방식을 고수하여 239명을 잃었을 경우, 그를 만회하기 위한 신규 사용자 유입을 위한 마케팅 비용과 첫 구매 시 제공되어 지는 1,900원 비용을 수익으로 잡아야 한다고 생각했다.
하지만, 마케팅 비용은 현 데이터 파일에서는 알 수가 없으므로, 신규 사용자에게 제공하는 1,900원 비용만 감안하여 아래와 같이 수익을 만들어 보았다.
- 239명 * 1,900원 = 45만 4천원
따라서 내가 분석한 대시보드에서는 수수료로 얻게 되는 수익 2,340,000원과 고객들이 이탈한 만큼 신규 사용자 유입을 하기 위해 지출해야 하는 첫 구매 혜택(1,900원)을 수익으로 잡은 454,000원을 합쳐 총 2,794,100원을 총 수익으로 잡았다.
3) 내가 의사결정자에게 보여주고 싶은 것은?
비록 본 사에서 적립 포인트 금액을 가맹주에게 전액 지원 하더라도, 이탈하지 않는 고객과 매장으로 인한 수익이 그 비용보다 크다는 것을 보여주는 데이터를 대시보드에 담고 싶었다.
나의 예상과는 달리, 총 수익이 총 비용에 비해 약 20만원 정도 부족했다. 결국 적자인 것이다.
처음에는 어떻게 이럴 수가 있지 라는 생각이 들었다. 매장 매출이 저렇게 올랐는데, 수익이 비용보다 적다는 것이 믿을 수가 없었다. 사실 처음부터 내가 생각을 잘 못하고 있었다. 매출이 모두 패스오더 기업의 몫인지 알았던 것이다.
다른 수익처가 없는지 확인해 봤지만, 찾기가 쉽지 않았다. 신규 사용자 유입을 위해 사용할 마케팅 비용이 있었지만, 얼마 인지도 모르는 금액을 수익의 일원으로 하는 것은 타당하지 못하다 라고 생각했다. 결국 나는 패스오더 손익 분석 대시보드를 이대로 보여주기로 결정했다.
그리고, 마지막에 나의 생각을 전달하였고 결정은 의사결정자의 몫이었다.
내가 AI 에이전트를 활용한 방법
패스오더 손익 분석 대시보드는 앞의 패스오더 교차 브랜드 적립 허용 A/B 테스트 대시보드의 추가 분석 판이다.
기존에 만들어 놓은 폴더 구조를 그대로 복제를 해 온 다음, AI와 함께 분석을 위해 필요한 추가 데이터가 없는 지 확인하였다.
또한 의사결정자들을 위해 대시보드에 꼭 담아야 하는 핵심 지표나 차트에 대해서 의논한 내용을 안티그래비티에게 보여주고 패스오더 손익 분석 대시보드를 만들도록 하였다.
물론 기존에 만들어 놓은 standard 폴더의 data, docs, templates 등을 참고해서 만들도록 요청하였다.
그럼에도 불구하고, 처음에 나타난 대시보드는 너무 많은 정보를 담고 있었다. 차트도 많았고 문구도 너무 많았다.
나는 이 거듭되는 수정 과정에서 패스오더 비즈니스 모델을 더 이해할 수 있었고, 대시보드를 보는 사람들이 보기를 원하는 데이터와 차트에 대해서 알게 되는 시간을 가졌던 것 같다. 그들의 입장에서 보기 원하는 데이터 분석을 넣기 위해 노력했었다.
대시보드를 보면서 의사결정자에게 이 전략의 타당성을 입증할 만한 정보만 남기기로 했다.
- KPI : 본사 총 비용, 리텐션 비율 차이 및 방어한 인원, 이탈 방어 유저 혜택 절감액, 총 매장 수수료 수익, 총 수익 창출 가치
- 막대그래프 : 본사 총 비용 vs 총 수익 창출 가치
- 코호트 리텐션 그래프 곡선 (A군, B군 비교)
- 수익의 일 부분인 월 수수료를 6만원으로 설정한 것을 증명하는 파이 차트
- A군과 B군의 매장 매출표 (증가액)
AI가 생성한 대시보드 검증
AI가 구축한 패스오더 손익 분석 대시보드에 대해서 검증을 해 보았다. 사실 KPI 핵심 지표 자체가 상대적으로 직관적인 비용과 수익이라는 측면에서 A/B 테스트 대시보드에 비해 검증하기가 편했다.
- 본사 총 비용 : 2,990,110원 by 총 적립된 포인트 계산
- 리텐션 & 이탈 방어 인원 : +19.1% / 239명 by 코호트 그래프 및 표
- 이탈 방어 유지 혜택 절감액 : 239명 * 1900원 = 454,100원
- 총 매장 수수료 수익 : 13개 매장 * 6만원 * 3개월 = 2,340,000원
- 총 수익 창출 가치 : 2,794,100원
본사 총 비용 2,990,110원 > 본사 총 수익 2,794,100원 (-196,010원)
마무리
패스오더 앱에 관심이 생겨 시작한 데이터 분석과 AI를 활용하여 만든 대시보드 구축에 대해서 이야기해 보았다.
데이터 분석을 하면서, 느꼈던 점은 기업들이 현재 고민을 하고 있는 부분은 그들이 가진 비즈니스 모델을 이해하는 것 부터 시작하는 것이 좋다. 버즈 데이터에서 실제로 고객들의 이야기를 듣는 것도 한 방법이지만, 비즈니스 모델 이해는 더 근원적인 문제에 접근할 수 있겠다 라는 생각이 들었다.
또한 AI를 활용하여 대시보드를 만들 때에는 데이터 분석가가 생각하는 대시보드를 AI가 잘 만들어 낼 수 있게 하는 기획력(구조를 짜는 것)이 중요하다는 것도 알게 되었다.
마지막으로는 AI를 활용해서 만들면 예전의 방법에 비해 훨씬 빠르고 효율적이다. 그에 따라 AI에 만든 것이 정확한 지를 데이터 분석가는 반드시 검증해야 한다는 것을 알게 되었다.
위에서 말한 것들에 대해서 내가 부족한 점
1) 비즈니스 모델을 전부 이해했다는 착각
비즈니스 모델을 정확히 이해한다는 것은 쉬운 일이 아니다. 고객 이탈율을 낮췄을 때 생길 수 있는 매출이 전부 패스오더 회사의 것이라고 생각했다는 것이 나의 실수 였다.
하지만, AI와 함께 패스오더 손익 분석 대시보드 구축에 대해서 이야기를 하면서 그게 아니란 것을 깨닫게 되었다. 모델을 정확히 이해했다는 것은 자만이다.
지금 생각해 보면, 데이터 정제도 한번에 끝나는 일이 없다. 파이썬에서 다 정제했다고 생각했던 것도, Power BI에서 딱 로드하려고 보면 전처리 해야 할 것이 산더미 처럼 보인다. 대시보드를 만들 때에도 ‘아, 이렇게 데이터를 만들 걸’ 하는 생각이 들 때도 많았다.
마찬가지로 전체적인 비즈니스 모델 이해 아래 세부적인 부분도 이해를 해야 그만큼 정밀하고, 생각하지 못했던 것이 작동하는 있는 것도 발견할 수 있다고 생각한다.
2) 데이터만 바꿔서 넣으면 자동으로 생성되는 대시보드 구축이 어렵다.
내가 AI 에이전트 안티그래비티를 사용하면서, 폴더 구조를 만든 것은 데이터만 변경해서 빠르게 새로운 대시보드를 만들기 위함이었다.
A/B 테스트 대시보드와 패스오더 손익 분석 대시보드는 하나의 결로 이어지는 대시보드이기는 하지만, 성격 자체가 다른다.
A/B 테스트는 비교를 통해 더 나은 결과를 어떤 것인지를 알아보고, 손익 분석 대시보드는 의사결정자들의 지원을 돕기 위해 만들어진 것이다.
나는 안티그래비티 VS 편집기를 통해 폴더 구조를 기획하였다. 그리고 어떤 대시보드라도 생성할 수 있는 standard 폴더를 만들어서 대시보드의 기준을 마련했다. 그런데 대시보드 라는 것이 이를 보는 사람과 목적에 따라서 기준이 너무나 달라질 수 있다는 것을 느꼈다.
A/B 테스트에서는 가설을 세우고 이를 검증하는 것이다. 손익 분석에서는 가설 보다는 결과를 합리적으로 증명하는 것에 가깝다는 것이다. 이렇게 목적이 다르다 보니 하나의 표준으로 만들어 놓은 구조가 크게 힘을 발휘하지 못했다.
뼈대는 만들어지더라도, 또 다시 내가 확인하고 수정하는 작업을 여러 번 거쳐야 했다. 그 과정에서 대시보드의 생성 목적에 다 파악해서 그런 표준 구조를 여러 개 만들면 어떨까 하는 생각이 들었다.
아니면 모든 내용이 들어 있는 하나의 작업 지침서를 만들어 놓고, 어떤 목적과 방법을 알려주면 지침서 내에서 번호에 따라 가서 작업을 시작하는 것은 어떨까 하는 생각도 들었다. 어쨌든 자동화라고 생각했던 것이 다시 번번히 수정 작업을 거쳐야 한다는 것이 비효율적이라는 생각이 들었다.
3) 지침서도, 대시보드가 처음에 완벽하지 않아서 좋다.
저번의 A/B 테스트도 그렇지만, 이번의 대시보드를 지침서대로 AI 에이전트가 구축을 해 준다 하더라도 막상 보면 수정할 부분이 너무나 많다.
매상 기대에 찬 모습으로 처음에 대시보드를 바라보면, 웬 걸 이게 아닌데 하는 생각은 나만 하는 지 모르겠다. 다른 분들은 어떤 지 궁금하다.
그래도 좋은 점은 계속 지침서.md 파일과 대시보드를 수정하면서 더 깊게 생각할 수가 있게 된다는 점이다.
대시보드에서 이 부분은 조금 더 강조되었음 하는 부분에 대해서 지침서에서 수정을 하고 대시보드 수정 작업을 이룬다. 그리고 필요가 없는 부분은 가감하게 삭제를 요구한다.
대시보드 내에 KPI 핵심 지표를 원하는 대로 만들어 낼 수 있지만, 그 대시보드를 보는 사람이 누구인지에 따라 그들이 원하는 지표 위주로 만들 때에는 ‘만약 회사에 입사를 하게 되었을 때도 마찬가지 겠구나’ 하는 생각이 절로 들었다.
그래프, 표를 보면서 미쳐 내가 생각하지 못했던 부분도 눈에 들어온다. 이해하고 넘어갔다고 생각했던 것이 이런 비즈니스 의미가 있었구나 하는 부분도 있기 때문이다.
이렇게 수정 작업을 계속 하면서, 점차 깊이 있는 사고의 기회를 준다는 점이 좋았던 것 같다.
