가상자산 거래소의 아하 모먼트: PMF부터 검증까지

들어가며

거래소의 핵심 제품은 결국 ‘거래’입니다. 그래서 처음 던진 질문도 단순했습니다. 코빗의 제품은 유저에게 가치를 주고 있을까, 유저는 그 가치를 언제 처음 느낄까, 그 순간을 더 빨리, 더 자주 만들면 리텐션이 어디까지 올라갈까?

질문을 던질 때, 코빗의 리텐션 플래토는 약 10% 수준이었습니다. 이 숫자를 끌어올릴 행동 조건을 데이터에서 찾고, 제품에 심고, 효과를 검증한 흐름이 바로 이 글의 골자입니다.

저희는 2025년 상반기에 PMF 신호 확인과 아하 모먼트 찾기를 시작했고, 그 결과를 2025년 12월에 출시한 신규 가입자 대상 웰컴리워드 개편에 반영한 뒤, 2026년 1분기에 그 효과를 검증했습니다.

핵심 용어

• 아하 모먼트(Aha Moment): 유저가 제품 가치를 처음 체감하는 행동 조건.
• PMF(Product-Market Fit): 제품-시장 적합성. 이 글에서는 리텐션 플래토를 대리 지표로 사용.
• 리텐션 플래토(Retention Plateau): 리텐션 곡선이 평탄해지는 구간.
• 리테인 유저(Retained User): 첫 거래 후 30일 내 5일 이상 다시 거래한 유저.
• RPV(Retained Probability Value) = P(아하 | 리테인). 리테인 유저 중 아하 행동 경험 비율(리테인 커버리지).
• 교차(Intersection) = P(리테인 ∩ 아하) / P(리테인 ∪ 아하). Jaccard 유사도(겹침 정도).

1. 출발점: PMF 신호 확인

아하 모먼트 분석은 ‘제품에 가치가 있다’는 것이 전제되어야 의미가 있습니다. PMF를 직접 판정하기는 어려우니, 거래소라는 제품에 반복 사용성이 존재하는지를 보여주는 대리 신호로 리텐션 플래토를 잡았습니다.

업계 벤치마크

출처: Lenny’s Newsletter, Adjust. 30일 리텐션은 가입 30일 차에 활성 상태인 사용자 비율, 6개월 리텐션은 6개월 시점 이후에도 돌아오는 코호트 비율을 의미합니다. 측정 정의가 서로 달라 절댓값 비교보다는 카테고리 간 상대 위치를 가늠하는 용도로 활용했습니다.

코빗 거래 제품의 리텐션 플래토(30일 기준)는 약 10% 수준으로 반복 관측됐습니다. 해외 주요 거래소 평균(18%)에는 못 미치지만, 장세에 극도로 민감한 업권 특성을 감안하면 PMF 신호 자체를 의심할 정도는 아닙니다. 저는 이것을 더 끌어올릴 여지가 있는 베이스라인으로 해석했고, 아하 모먼트 탐색으로 분석을 이어갔습니다.

리텐션 정의에서 내린 선택

리텐션 곡선 하나에도 선택지가 많습니다. 거래 제품 자체의 가치만 보기 위해 다음 세 가지를 정했습니다.

• 출발점은 가입이 아닌 첫 거래부터 - 온보딩 퍼널 병목이나 계좌 연동 이슈 같은 외부 요인을 일단 제거하고 싶었습니다.
• 거래는 주문이 아닌 체결 - 주문만 내고 체결이 되지 않으면 허수 주문일 뿐입니다. 실제 제품 경험은 체결에서 나옵니다.
• 매수 첫 거래만 - 첫 거래가 매도인 유저는 30일 내 95%가 이탈합니다. 에어드롭 현금화 같은 목적의 체리피커일 가능성이 높습니다.

이렇게 정의한 곡선에서 첫 거래 후 약 5일째부터 플래토가 형성되기 시작했고, 그 수준이 약 10%로 관측됐습니다.

2. 아하 모먼트 탐색: “좋은 유저는 누구인가”

아하 모먼트를 찾으려면 먼저 ‘리테인 유저’부터 정의해야 합니다. 아하 모먼트를 찾는 일은 리테인 유저가 다른 유저와 무엇이 달랐는가를 보는 작업이기 때문입니다.

리테인 유저의 정의는 연역이 아니라 관찰로 했습니다. 5일이라는 숫자를 미리 정해 두고 본 게 아니라, 앞에서 본 플래토 형성 시점(첫 거래 후 약 5일째)의 유저 분포를 데이터로 본 뒤 그 시점을 기준으로 삼았습니다.

리테인 유저: 첫 거래 후 30일 내 5일 이상 재거래한 유저
(+ 노이즈 제거 필터: 첫 거래 직전 1일 내 입금 5천원 이상 + 매수 주문 1건 이상)

리테인 라벨은 ‘첫 거래 후 5일 이상 재거래’ 만으로 결정했습니다. 노이즈 제거 필터는 라벨링 용이 아니라, 분석 대상 모수를 ‘실제 거래 의도가 있는 신규 가입자’ 로 좁히기 위한 장치입니다. 그 모수 안에서 입금 금액·주문 빈도의 임계치를 별도로 탐색했습니다.

변수 탐색과 격자 탐색

처음에는 ML 모델로 SHAP(SHapley Additive exPlanations) Value를 뽑아 변수 중요도를 측정하는 방안도 검토했습니다. 다만, 이번 목표는 운영 가능한 단순한 지표를 만드는 것이었고, 복잡한 모델은 설명력이 좋아도 운영 팀 간의 공유 언어가 되기는 어렵습니다.

그래서 독립 변수 후보군을 입금과 주문 두 개로 좁혔습니다. 입금, 주문이 거래와의 상관관계가 가장 높다는 것은 사내 과거 분석에서 반복적으로 확인된 결과라, 도메인 지식 기반의 사전 후보로 출발한 셈입니다. 기간을 1·3·7·14·21·30일로 바꿔 보았더니 행위 대부분이 첫 거래 직전 1일 이내에 일어났고, 1일 윈도우로 고정해 두 변수의 모든 조합을 격자 탐색했습니다.

두 개의 렌즈, RPV와 교차

• RPV = P(아하 | 리테인) — 리테인 유저 중 아하 행동을 경험한 비율(리테인 커버리지). RPV ≥ 95%를 최소 허들로 잡았습니다.
• 교차 = P(리테인 ∩ 아하) / P(리테인 ∪ 아하) — 두 집합이 겹치는 정도(Jaccard). RPV 허들 안에서 최대가 되는 지점을 찾았습니다.

결과

아하 모먼트: 1만원 이상 입금 + 1일 내 1회 이상 매수 주문

여러 이터레이션 끝에 임계치 한 조합이 정해졌습니다. 다음은 이 조건을 제품에 심어 효과를 측정할 차례입니다.

3. 마케팅 비용 - Claude로 회수 모델 잡기

다음 질문은 “얼마를 들여서 리워드 프로그램을 만들 것인가?”였는데, 그 핵심은 언제 그 돈을 수수료 수익으로 회수할 수 있는가였습니다.

2024년 4월부터 2025년 2월까지의 코빗 거래 가능 유저 수(약 5만 명)를 보면, 리워드 수령자의 단기 거래량은 소액 구간에 두텁고 1인당 평균 수수료 기여도도 낮습니다. 즉 단기적으로 웰컴리워드는 거래량을 직접 끌어올리는 도구라기보다 유저 모집 비용입니다. 그래서 분석은 자연스럽게 “회수 시점”으로 옮겨갔습니다.

이 단계에서 Claude를 모델링 도구로 썼습니다. 시점별(30·90·180·365일) 누적 수수료 데이터를 입력하니 Claude가 후보 함수군을 빠르게 제안했고, 관측 구간에서는 제곱근 함수가 누적 수수료 추이를 가장 안정적으로 설명했습니다. 다만, 관측 시점이 제한적이라 R² 자체를 예측력의 근거로 보지는 않았고, 데이터 팀이 잔차와 민감도 분석으로 회수 시점을 다시 검증했습니다.

즉, 현행 1만원 리워드는 합리적인 회수 구간에 있고, 리워드 금액을 늘릴수록 회수 기간은 비선형적으로 길어집니다. 그래서 “총액 1만원은 유지하고, 단계 구조를 아하 모먼트와 맞춰 다시 설계”하는 것으로 뜻이 모였습니다. 같은 작업을 예전에 직접 했을 때와 비교하면 시뮬레이션 시간이 시간 단위에서 분 단위로 줄었고, 그만큼 가정을 바꿔가며 곡선이 흔들리는지를 점검하는 데 더 많은 시간을 쓸 수 있었습니다.

4. 가설을 제품에 심다 - 웰컴리워드 개편

분석을 제품에 반영하는 일은 데이터 팀 혼자 할 수 있는 일이 아닙니다. CTO·PM·디자인·플랫폼/클라이언트 개발·마케팅·비즈니스·법무와 컴플라이언스까지 여러 담당자들의 의사결정과 실제 구현, 운영 리소스가 함께 투입되어야 합니다.

이 협업 트랙을 거쳐 2025년 12월 18일 코빗의 웰컴리워드 스킴이 개편됐습니다. 신규 가입자가 1만원 이상 입금 + 24시간 내 매수 체결을 달성하면 보상을 지급하는 구조이고, 아하 모먼트 조건이 미션 조건에 그대로 연동되게 설계됐습니다.

분석 단계에서는 ‘1일 내 매수 주문’으로 임계치를 잡았지만, 미션은 행동의 완결성이 더 중요하다고 보고 ‘체결’ 기준으로 설계했습니다. 분석(주문)과 제품(체결)의 측정 시점이 다르다는 점은 그대로 두되, 두 신호가 같은 방향으로 움직이는지는 검증 단계에서 함께 봤습니다.

A/B 테스트(보너스 단계 설계): 이건 PM/디자인 팀에서 주도했습니다. 같은 금액 안에서 ‘초기 보상 일부 차감 + 마지막 히든 보너스(B안)’를 주는 방안이 ‘단계별 증액(A안)’을 하는 방안 대비 최종 완료율 +6.5%p, 1인당 획득 비용 약 47% 절감을 기록해 B안이 채택됐습니다.

5. 검증 - 자연실험으로 읽어낸 효과

웰컴리워드 개편은 통제군 없는 Before/After 기반 Quasi-Experiment로 보고, 개입 시점 전후 비교에 시장 상황을 일부 통제하는 Robustness Check를 더해 해석했습니다. 무작위 대조 실험은 아니지만 개입 시점이 명확해 관찰 데이터로도 방향성 추정은 가능합니다.

검증 단계에서는 신규 가입자만으로 모수를 좁히고, 아하 모먼트 측정 윈도우도 가입 후 7일 내로 변경했습니다. 웰컴리워드가 신규 가입자 전용 보상 프로그램이고, 미션 3 수령자의 90%가 미션을 7일 내에 달성했기 때문입니다.

시장 효과 통제

가상자산 분석에서 가장 빠지기 쉬운 함정은 장세 효과입니다. 요컨대 강세장엔 무엇을 해도 숫자가 오르는 것을 말합니다. 그래서 시장 자체가 주는 효과를 세 단계로 나누어 통제했습니다.

1. 전체 Before vs After - Baseline
2. 초강세장 월(2025년 10월) 제외 - 이상치 제거
3. BTC 가격 유사 약세장 매칭(3·4·12월 vs 1월) - 준매칭 비교

결과

웰컴리워드 개편 이후, 시장 효과를 일부 통제한 비교에서도 아하 모먼트 달성률 +10%p, 리테인 유저 비율 +2.4%p가 같은 방향으로 개선되는 패턴이 보였습니다. 달성률 상승의 절반 이상은 웰컴리워드 미션에서 왔고(미션 3 달성률 63%), 같은 기간 개편 전 동일 장세에서 86%까지 떨어지던 RPV가 개편 후 97~100%로 수렴해 리테인 유저가 거의 빠짐없이 아하 모먼트를 경험하는 구조가 안정화됐습니다.

전체 플래토 — 분석 기간 내에는 큰 변화 없음

신규 가입자 리텐션은 개선됐지만, 전체 유저(신규 + 휴면 복귀) 기준 리텐션 플래토는 분석 기간 내에서 눈에 띄는 변화가 관측되지 않았습니다. 이후 일부 시점에서는 완만한 상승 흐름도 나타나고 있어 추세를 더 두고 볼 필요가 있습니다. 본 검증 윈도우 내에서는 신규 쪽 효과가 휴면 복귀 정체에 의해 희석된 것으로 해석되며, 휴면 복귀 유저를 위한 별도 스킴이 다음 작업의 출발점이 되었습니다.

6. 다음 액션 - 첫 거래 이후의 락인 효과까지

이 작업은 필수적인 것은 아니었습니다. 웰컴리워드 개편 전에 사이드 트랙으로 미리 돌려뒀던 사전 분석이고, 첫 거래 이후 락인(Lock-in) 효과를 만들기 위해 다음으로 분석할 액션을 찾아본 것입니다.

핵심 제약은 추가 리워드 비용 없이 기존 서비스만으로 락인 효과를 만드는 것이었습니다. 첫 거래 이후 30일 리텐션과 타 서비스 교차 사용도의 추세선 기울기(p-value < 0.05 & R² ≥ 0.5)로 후보를 추려 가장 우선 검증할 다음 액션 후보는 예치금 이자 매일 받기로 잡았습니다.

리텐션이 1~7일을 넘어가는 지점에서 교차 사용률이 가파르게 올라갑니다. 결정적으로, 이 서비스가 런칭된 2025년 7월 코호트의 리텐션 플래토가 그해 가장 높았습니다. 추세선과 코호트 비교에서 같은 신호가 동시에 잡힌 셈입니다.

상관관계이지 인과관계는 아닙니다

이는 어디까지나 상관관계일 뿐 인과관계가 아닙니다. 유저의 내재 성향이 두 행동 모두의 공통 원인일 수 있습니다. 그래서 액션 아이템 가장 앞에 A/B 테스트로 인과 검증을 명시했습니다.

의사결정자의 언어로 - Claude BEP 백테스팅

분석을 의사결정 라인에 올리려면 결국 ‘돈의 언어’ 로 번역해야 합니다. 우선 Claude로 BEP 백테스팅을 빠르게 돌렸습니다. 입력값(전체 예치금 잔고·연이율·구간별 ARPU 증분·코호트 사이즈)을 정리해 Claude가 한 번 분석하게 한 다음, 수식과 결과를 데이터 팀이 다시 검증하는 작업이었습니다. 입력값 자체는 내부 데이터라 이 글에서는 공개하지 않고 가정과 결과만 정리합니다.

가정:

• 타겟: 거래 리텐션 0~6일 저관여 유저
• 비용: 30일 정기 지급 → 매일 수령으로 변경 시 일 복리 추가 이자 (전체 잔고 대비 +0.076% 로 미미)
• 수익: 리텐션 1~7일 구간에서 +1일당 ARPU 상승분으로 환산

BEP ≈ 0.47%
타겟 1,000명 중 5명만 다음 리텐션 단계로 이동해도 흑자

가정을 바꿔가며 BEP가 얼마나 흔들리는지를 분 단위로 점검할 수 있었고, 어느 가정 범위에서도 BEP가 충분히 낮다는 점을 빠르게 확인했습니다. 외부 벤치마크 리서치, 사례 비교, 아이디어 브레인스토밍, SQL 작성 보조, 그리고 데이터 해석에서 놓친 관점 점검과 초기 해석에도 AI를 함께 썼습니다.

휴면 복귀 유저를 위한 추가 아이데이션

전체 플래토를 움직이려면 휴면 복귀 유저 스킴이 필요합니다. 이는 예치금 이자 앱 푸시·적립식 구매 서비스 개선·거래 공백 넛지·거래 습관 시각화 등을 후보로 두고 다음 작업에서 별도의 분석·실험으로 검증할 예정입니다.

7. 회고와 한계

배운 것

시장 효과 통제는 시장 분석의 기본기. 장세가 모든 지표를 흔드는 가상자산 시장에서는, “오른 게 제품 때문인지 시장 때문인지”를 구분하지 않은 채 효과를 추정하면 틀리기 쉽습니다.

상관관계와 인과관계는 섞지 않기. 관찰 데이터에서 보이는 것은 거의 다 상관관계입니다. 인과관계를 주장하려면 A/B 테스트나 자연실험이 필요합니다. 6장의 락인 가설도 거기에 해당합니다.

분석은 의사결정 언어로 번역하기. RPV 97% 같은 말만 하면 의사결정이 어렵습니다. “BEP 0.47%”, “회수 6개월” 처럼 행동 가능한 숫자로 환산하는 단계가 분석과 의사결정 사이의 거리를 좁힙니다.

단순한 단일 지표가 운영을 움직임. 10개 변수의 SHAP를 잘 뽑아도 운영 팀이 공유 언어로 들고 다닐 수 없으면 제품에 반영되지 않습니다. “1만원 이상 입금 + 1일 내 매수 주문” 이 운영 팀의 공통 지표로 자리잡은 건 결국 단순했기 때문입니다.

AI는 사고의 속도를 올리는 도구. 모델링·BEP 산식·외부 리서치 같은 정형 작업은 AI가 1차로 풀고, 입력값과 결과 해석은 사람이 검증하는 분업이 가장 효과적이었습니다.

한계와 남은 숙제

RCT 부재. 이는 신규 가입자 전원에게 적용된 Quasi-experiment입니다. 시장 효과 통제로 장세 영향은 일부 보정했지만, 12월 이후 외부 환경 변화와 웰컴리워드 효과를 완전히 분리하기는 어렵습니다. 다음 개편에서는 Hold-out 설계를 검토할 만합니다.

유도 vs 자발적 아하 모먼트의 후속 비교 미실시. 미션 3 수령자(57~68%)와 자발적 달성자의 이후 리텐션을 분리해 보지 않았습니다. Self-selection Bias가 있어 Propensity Score Matching 같은 후속 분석이 필요합니다.

휴면 복귀 유저 스킴 부재 + 락인 인과관계 검증. 첫 거래 이후의 락인 가설은 상관관계로 발견한 신호이고, A/B 테스트로 인과관계를 확인하는 것이 다음 단계입니다.

나가며

코빗 데이터 팀은 데이터 인프라 운영부터 사내 분석 도구·지표 정의 프레임워크·RAG 기반 Text-To-SQL 챗봇까지 한 팀에서 같이 다룹니다. 이 글은 그 베이스라인 위에서 ‘제품 분석’, 그중에서도 ‘거래 리텐션’ 한 주제를 길게 따라가본 작업입니다.

격변하는 가상자산업의 특성상 분석 자원이 늘 보장되지는 않습니다. 그래서 한 흐름을 보고서로 끝내지 않고 제품 반영, 효과 검증, 다음 작업의 입력값까지 이어 붙이는 일에 의미를 두고 있습니다.

이 글이 비슷한 고민을 하는 분들에게, 그리고 다음 작업을 시작하려는 우리 팀에게도 작은 참고가 되면 좋겠습니다. 감사합니다.