의심 많은 데이터 분석가가 지표를 볼 때 하는 생각들
25 min read

의심 많은 데이터 분석가가 지표를 볼 때 하는 생각들

의심과 집요함으로 지표(metric) 뜯어보기
의심 많은 데이터 분석가가 지표를 볼 때 하는 생각들

의심과 집요함: 데이터를 다루는 사람의 기본 소양

데이터를 잘 보는 사람들의 공통점은 무엇일까요? 여러 가지가 있을 수 있지만, 저는 '의심'과 '집요함'이 특히 중요한 특성이라고 생각합니다. 숫자나 지표를 봤을 때 그냥 '아 그렇구나~' 하고 넘어가는 게 아니라, 정말 그게 맞을까 의심하고, 끝까지 파고 들어서 사실 관계를 밝히려는 태도를 가진 거죠. 저는 이런 태도가 통계학 지식과 분석 기술만큼 중요한 소양이라고 생각합니다.

뉴스레터 구독자 여러분도 데이터 역량을 갈고 닦는 데 관심이 많으실 겁니다. 강의를 듣고, 자료를 읽고, 스터디 모임에 참여하는 등 노력을 기울이는 분들이 많으신 것으로 알고 있습니다.

하지만 분석 기술을 익힐 수 있는 곳은 있어도 의심과 집요함 같은 태도를 배울 수 있는 곳은 많지 않습니다. 이런 태도를 익히는 가장 좋은 방법은 좋은 분석가와 함께 일하면서 피드백을 받고, 그들의 사고 과정을 살펴 보는 등 OJT(on-the-job training)를 받는 것이라고 생각합니다. 명문화하기 어렵기 때문에 도제식(apprenticeship)으로 일함으로써, 또는 좋은 동료들과의 상호작용을 통해서 자연스럽게 스며들듯이 학습이 이뤄지는 경우가 많은 것 같습니다.

하지만 누구나 그런 환경에서 일할 수 있는 행운을 가진 것은 아닙니다. 그래서 이 글에서는 (전직)데이터 분석가로서 제가 지표를 볼 때 어떤 생각을 펼치는지, 사고 과정을 최대한 있는 대로 풀어 보려고 합니다. 구독자 여러분이 '아, 분석가들은 그냥 허투루 넘어가는 법이 없구나. 이 정도로 집요하게 의심해서 밝혀내야 하는구나' 하는 생각을 하게 되실 수 있길 바랍니다.

(제가 기존에 썼던 글들과는 달리, 정리되지 않은 날것의 생각을 풀어 놓으려고 합니다. 머리에 쏙쏙 들어오는 글은 아닐 테고, 아마 여러분도 열심히 생각을 하시면서 읽어야 하실 겁니다. 이런 글쓰기 방식이 과연 독자 여러분께 효과적일지 어떨지 궁금하네요. 글 읽고 어떠셨는지 피드백 보내 주시면 감사하겠습니다. 🙇‍♂️)

1. 지표를 볼 때: "정확한 정의가 뭘까?"

지표의 정의, 왜 따져 봐야 하나?

저는 지표의 정의가 조금이라도 애매모호한 것을 견디지 못합니다. 항상 '이 지표의 정확한 정의가 뭔가요?' 하고 따져 보게 됩니다.

저는 왜 그러는 걸까요? 같은 지표를 말하는 것처럼 보이더라도, 어떻게 정의하는지에 따라 실제로 가리키는 것은 천차만별이기 때문입니다. 지표가 실제로 가리키는 것은 B인데, 듣는 사람은 A를 가리키고 있다고 오해할 수 있는 거죠. 지표를 명확하게 정의하고, 그 기준을 정확히 커뮤니케이션하지 않으면 잘못된 지표를 근거로 의사결정을 하게 될 위험이 커집니다. 그래서 우리는 집요하게 따져 봐야 합니다.

  • "리텐션율이 85%에 이른다."
  • "CAC가 5,000원이다. 마케팅을 효율적으로 하고 있다."

이런 말을 들을 때마다 제 머릿속에 어떤 연쇄반응이 일어나는지 보여 드리겠습니다.

(TL;DR 요약)

지표를 봤을 때 제가 하는 생각들을 요약하면 이렇습니다.

  • 지표의 정의가 뭔지 정확히 확인하자.
  • '분자'와 '분모'에 각각 무엇이 들어가는지 확인하자.
  • 계산식에 무엇을 포함시켰는지, 무엇을 제외했는지 확인하자.
  • 지표 측정 기간을 어떻게 설정했는지 확인하자.

하지만 이런 요약본 만으로는 뉘앙스를 충분히 이해하시기 어려울 겁니다. 아래 예시들을 읽으면서 사고 과정을 찬찬히 따라와 보시길 바랍니다.  

예시 1) "리텐션율이 85퍼센트에 이른다"라는 말을 들었을 때

  • 이 사람이 말하는 리텐션율이란 정확히 뭘 가리키는 걸까? 정확한 정의가 뭘까?
  • 첫 구매자 중 85퍼센트가 2회차 구매를 한다는 뜻일까?
    • 그렇다면 2회 구매한 사람들 중 몇 퍼센트가 3회차 구매로 이어지나?
    • 3회 구매한 사람들의 4회차 구매율은? 5회차, 6회차, 그 이후 재구매율은?
  • 어느 기간 동안의 재구매율일까?
    • 서비스가 존재했던 전체 기간 동안의 누적 재구매율인가? 그러면 첫 구매와 재구매 사이에 공백이 몇 년이 있든 상관 없이 모두 같은 '재구매'로 보는 걸까?
    • 아니면 1개월, 3개월 등 타임 윈도우(time window)를 설정해서 본 지표인가? (예: 첫 구매를 한 사람의 1개월 내 재구매율인가?)
  • 아니면 month-by-month 리텐션인가? 전월 사용자 중 85%가 다음 달에도 사용한다는 뜻인가?
    • 그렇다면 85%는 어느 기간의 평균 수치일까? 최근 6개월일까? 최근 12개월일까? 아니면 가장 month-by-month 리텐션이 좋았던 시기의 지표일까?
  • 아니면 시간 경과에 따른 리텐션 커브를 그려 보았을 때, 약 85% 수준에서 커브가 평평해진다는 뜻인가?
  • 어떤 액션을 기준으로 리텐션을 측정했을까?
    • 구매/결제 액션을 한 사람들만 retained user로 카운트한 것일까?
    • 아니면 서비스에 접속한 사람들을 모두 retained user로 카운트한 것일까? 그러면 실제로 서비스에서 의미 있는 액션을 하지 않고 접속만 한 사람들 때문에 리텐션 지표가 과장될 텐데?
  • 이런 생각을 하다 보면, 리텐션 지표를 제대로 정의하지 않고 쓰는 경우를 발견하게 됩니다. 혹은 리텐션 지표를 입맛대로, 좋아 보이게, 아전인수 격으로 정의한 경우를 발견하기도 합니다.
시간 경과에 따른 리텐션 커브 (retention curve) (이미지 출처: https://www.sequoiacap.com/article/retention

예시 2) "CAC가 5,000원이다. 마케팅을 효율적으로 하고 있다"라는 말을 들었을 때

  • 이 사람이 말하는 CAC(customer acquisition cost)이란 정확히 무엇일까?
  • 정확한 계산 산식은 무엇일까? 5,000원이라는 평균값은 어떻게 도출된 것인가?
  • CAC는 고객 획득에 지출한 비용(분자)을 획득한 고객 수(분모)로 나눈 값인데, 분모와 분자에 각각 무엇이 들어가나?
  • 분모: 획득한 customer를 카운트하는 기준은 뭘까?
    • Registered User인가? 회원 가입을 한 사람들을 customer로 카운트했나?
    • Paid User인가? 돈을 내고 뭔가 구매한 사람을 customer로 카운트했나?
    • Active User인가? 활성화된 사용자를 customer로 카운트했나? 그렇다면 '활성화'의 기준은 무엇일까?
  • 분자: 고객 획득에 지출한 비용을 카운트하는 기준은 뭘까?
    • 광고 매체비(페이스북, 구글, 네이버 등에 지출한 금액)만 포함시켰나?
    • 광고 소재 제작 비용도 비용에 포함시켰나?
    • 마케팅 업무를 하는 직원들의 급여도 비용에 포함시켰나?
  • 혹시 5,000원이라는 수치가 Blended CAC는 아닐까?
    • 즉, 10월 광고비 지출액 총액이 100만원이고, 10월 회원 가입자 수가 200명이라서 100만원/200명 = 5,000원/명으로 계산한 것은 아닐까?
    • 200명 중 100명이 광고를 보지 않고 organic하게 가입한 회원이라면? 그러면 광고로 인해 획득한 고객 수는 100명이니까, Paid CAC는 1만원/명이라고 해야 맞지 않나?
  • 채널별 CAC는 어떤가?
    • 채널마다 CAC가 다를 텐데, 채널별 CAC는 얼마일까?
    • 어떤 마케팅 채널이 비용 효율적이고, 어떤 마케팅 채널이 그렇지 못할까?
  • 이런 생각을 따라가다 보면, 팀이 CAC 지표를 명확히 정의하지 않고 그때그때 다른 기준을 적용하는 것을 알게 되기도 합니다. 혹은 실제로는 효율적이지 않은데 blended CAC만 보고 마음을 놓고 있는 경우를 발견하기도 합니다.

샅샅이 살펴 보는 겁니다. (이미지 출처: https://pixabay.com/nl/photos/uitvergroten-glas-detective-op-zoek-4340698/)

2. 좋아 보이는 지표를 볼 때: "이 지표가 숨기고 있는 것은 뭘까?"

의심 많은 전직 분석가는 좋아 보이는 지표가 있으면 일단 의심합니다. 그 지표만 놓고 보면 좋은 성과를 거두고 있는 것처럼 보이지만, 그 뒤에는 뭔가 다른 이야기가 숨겨져 있을 것이라고 생각하는 거죠.

좋아 보이는 지표, 왜 의심해야 하나?

저는 다음과 같은 상황에서 의심을 발동시킵니다.

  • 구직 활동을 할 때, '이 회사, 잘 되고 있는 회사일까?'
    • 누구든 잘 되는 회사, 앞으로 잘 될 만한 회사를 찾고 싶어 합니다.
    • 상장사라면 공시 자료를 보고 기업의 현황을 알 수 있지만, 대부분의 스타트업들은 공시 자료가 없기 때문에 언론 보도를 통해 성과를 짐작해야 합니다.
    • 하지만 언론에 보도된 지표들을 보면... 모든 회사가 전부 좋아 보입니다. 실제로는 그렇지 않은데도 말이죠!
  • 재직중일 때, '우리 회사, 계속 다녀도 괜찮은 곳일까?'
    • 지금 다니는 회사가 어떤 성과를 내고 있는지 아는 것도 중요합니다. 잘 되고 있다면 더 신나서 일하면 되지만, 잘 안 되고 있다면... 경각심을 가지고 해결책을 찾든 아니면 빨리 탈출하든지 해야죠.
    • 경영진이 구성원들에게 회사의 성과를 공유할 때, 제 경험상 두 가지 타입이 있습니다.
      • 타입 1) 솔직한 회사: 좋은 지표 나쁜 지표를 모두 구성원들에게 공유합니다. 심지어 통장에 돈이 얼마 남았는지까지 숨김 없이 알려주죠. 저는 이런 회사에 다니는 것을 좋아합니다.
      • 타입 2) 안 솔직한 회사: 투자자들에게 좋은 지표만 보여주듯이 내부 구성원들에게도 좋은 지표만 보여줍니다. 전사 미팅 자리에서 긍정적인 분위기를 형성하고, 더 힘내서 일하게 하고 싶은 마음은 이해하지만, 스스로 만든 지표에 스스로 속아 버린다는 문제가 있습니다.
  • 역시나 재직중일 때: 누가 회사를 Success Theater로 만들고 있을까?
    • 스타트업에는 'Celebrate wins'라는 풍습이 있습니다. 좋은 성과를 냈으면 자축하고, 서로 축하하는 스타트업만의 아름다운 미풍양속입니다.
    • 하지만 이게 과하면 자기 팀의 성과를 부풀리는 데 지표를 악용하게 됩니다. 지표를 교묘하게 취사선택해서 불리한 지표는 숨기고, 유리한 지표는 드러내는 거죠.
    • 이런 사람이 많아지면 회사가 Success Theater가 됩니다. 사업이 잘 되고 있지는 않은데, 다들 우리 팀은 좋은 성과를 내고 있다고 자랑하는 거죠.
    • 이런 분위기가 자리잡지 않도록, 건강한 의심(healthy skepticism)을 가지고 지표를 바라보는 태도가 필요합니다.
우리가 이렇게 성공적이라네~ (이미지 출처: https://www.visitmilwaukee.org/plan-a-visit/guides/performing-arts-theater/)

(TL;DR 요약)

'좋아 보이는 지표'를 봤을 때 제가 하는 생각들을 요약하면 다음과 같습니다.

  • 일단 좋아 보이는 지표는 의심하고 본다. 뒤에 뭔가 숨겨져 있을 것이다... 🤨
  • 지표의 정의를 확인한다. 자기 유리한 대로 정의했을 가능성이 높다.
  • '다른 이야기'를 드러낼 수 있는 지표(counter metric)들을 생각해 본다.
    • 볼륨(volume)을 강조하는 경우, 효율(efficiency)을 확인한다. 그 볼륨을 만들어내기 위해 투입한 비용이 합리적인지 따져 본다.
    • 사용자 수(획득 지표)를 강조하는 경우, 리텐션 지표를 확인한다.

아래 예시들을 읽으면서 사고 과정을 찬찬히 따라와 보시길 바랍니다.  

예시 1) "재구매율이 높다. 전체 매출의 70%가 재구매 고객으로부터 발생할 정도다"라는 말을 들었을 때

  • 전체 매출의 70%가 재구매 고객으로부터 발생했다는 얘기가 정말 '재구매율이 높다'라는 말과 동일한 뜻일까?
  • 재구매율이 높지 않아도, 전체 매출 중 재구매 고객 매출의 비율은 높을 수 있는데?
  • 코호트 리텐션(cohort retention)을 그려 보면 어떤 패턴을 볼 수 있을까?

직관적으로 와닿지 않을 수 있어서, 예시를 하나 들어 보겠습니다.

  • 2021년 1월에 시작한 서비스가 하나 있습니다.
  • 이 서비스 구매자들의 매출 리텐션(Net Dollar Retention)은 이런 모습입니다.
  • 편의상 '고객들은 한 달에 한 번만 결제(구매)를 한다'라고 가정해 보겠습니다. 월 단위로 요금을 내는 구독형 SaaS라고 생각하시면 됩니다.
  • (첫 번째 행을 왼쪽에서 오른쪽으로 읽으세요) 2021년 1월에 첫 결제를 한 고객들의, 2021년 1월 매출 총합은 100만원입니다. 이들의 매출은 2월 60만원, 3월 50만원, 4월 40만원... 이런 식으로 줄어들다가 결국 10만원에 수렴합니다.
  • (두 번째 행을 왼쪽에서 오른쪽으로 읽으세요) 2021년 2월에 첫 결제를 한 고객들의, 2021년 2월 매출 총합은 100만원입니다. 이들의 매출도 3월 60만원, 4월 50만원, 5월 40만원... 이런 식으로 줄어들다가 결국 10만원에 수렴합니다.
  • 다른 달에 첫 결제를 한 고객들의 매출 리텐션 패턴도 동일합니다. 매월 이탈을 거듭한 끝에 마지막에는 10%만 남게 됩니다.
  • 10%면 리텐션율이 높다고 보기엔 어렵습니다. (물론 이렇게 리텐션 커브가 평평해지는 지점이 있는 것만 해도 대단하다고 할 수는 있지만...)
  • 이런 리텐션 패턴을 보이는 서비스의 '전체 매출 중 재구매 매출의 비중'은 다음과 같습니다.
  • 2021년 1월에 시작한 서비스니까 1월에는 당연히 재구매 매출 비중이 0%인데, 2월에는 38%, 3월에는 52%,... 쭉쭉쭉 오르더니 9월에는 70%를 돌파합니다.
  • 분명 리텐션율이 좋다고는 할 수 없는데 (계속 이탈을 거듭하다가 10%만 남으니까), 시간이 지날수록 '전체 매출 중 재구매 매출의 비중'은 높아집니다.
  • 만약 '전체 매출 중 재구매자의 비중이 70%이다'라는 말을 느낌적으로만 들으면 '리텐션 지표가 훌륭하다'라는 잘못된 결론을 내리게 됩니다.
  • 의심 많은 분석가는 '다른 이야기'를 드러낼 수 있는 지표를 봅니다. 이 사례에서는 코호트 리텐션(cohort retention)을 뜯어 봄으로써 다른 이야기를 드러낼 수 있었습니다.

예시 2) "구매자 중 80%는 재구매를 한다"라는 말을 들었을 때

  • 구매자 중 80%가 재구매를 한다는 게 정확히 어떤 말이지?
  • month-by-month 재구매율을 말하는 건가? 1월에 구매한 사람이 2월에도 구매하는 비율 같은 거?
    • 만약 그렇다면, month-by-month retention rate이 80%이고 month-by-month churn rate이 20%라는 얘기인데...
    • 매월 20%씩 이탈하니까 거의 5개월마다 고객이 전부 바뀌는 turnover가 일어난다는 뜻인데? 이게 재구매율이 좋다는게 맞나?
  • 아니면 첫 구매자들 중 80%가 2회차 구매를 한다는 뜻일까?
    • 그러면 3회차 구매까지 가는 비율은 얼마나 될까? 4회차, 5회차 등등 그 이후 회차 구매자의 비율은 얼마나 될까?
    • 재구매율 분포 같은 건 멱법칙(power law)을 따르기 때문에 아마 3회차 재구매율은 80%보다 훨씬 적을 것 같다.
    • '재구매율'이라는 말로 뭉뚱그리지 말고, 분포가 어떻게 나타나는지 확인해야겠다.
  • 이런 생각을 하다 보면, 좋아 보이는 재구매 지표가 사실은 좋지 않다는 것을 알게 될 수 있습니다. 혹은 좋지 않은 상황을 그럴듯한 지표 뒤에 숨기고 있다는 것을 알게 되기도 합니다.

예시 3) "출시 n개월 만에 100만 다운로드를 돌파했다"라는 보도자료를 봤을 때

  • 100만 다운로드라니 대단한데? 그런데 비용 효율 측면에서 보면 어떨까?
    • 고객 획득 비용(customer acquisition cost, CAC)은 얼마를 투입했을까?
    • 그만한 비용을 들일 만큼 고객들의 lifetime value도 충분히 높을까?
  • 다운로드가 100만 건인데, 그중 실제로 앱을 사용하는 사람은 몇 명이나 될까?
    • 몇 명이 다운로드만 받고 끝났고, 몇 명이 회원 가입을 했고, 몇 명이 온보딩을 마쳤고, 그래서 지금은 매주 몇 명이 실제로 앱을 이용하고 있을까?
  • 리텐션 지표가 높았으면 그것도 자랑했을 텐데, 왜 리텐션 지표는 언급하지 않았을까?
    • D+1 리텐션율은 몇 퍼센트일까? (앱 설치 혹은 첫 실행 다음 날에도 앱을 이용하는 비율)
    • D+7 리텐션율은 몇 퍼센트일까?
    • 한 달 뒤에는 얼마나 남아있을까?
    • 리텐션 커브를 그려 보면 어떤 모양이 나올까?
  • 이런 생각을 하다 보면, 스타트업 보도자료들을 비판적인 시각으로 읽을 수 있게 됩니다. 면접을 보게 되더라도 회사의 상황을 더 잘 파악할 수 있는 지표들을 질문할 수 있게 됩니다.

예시 4) "우리 팀의 노력으로 이번 주 액티브 유저(weekly active users, WAU)가 40만 명을 돌파했다"라는 말을 들었을 때

  • 이 팀에서 얘기하는 액티브 유저(active user)의 기준은 정확히 무엇일까?
    • 성과를 좋게 보이기 위해 '서비스에 접속한 사용자'와 같은 조작하기 쉬운(easy to game) 기준을 적용하진 않았을까?
  • 이 액티브 유저 수를 만들기 위해 무엇을 했을까?
    • click-bait스러운 메시지를 보낸 것은 아닐까?
    • 너무 많은 사람들에게 메시지를 보내서 귀찮게 하지는 않았을까? 몇 명에게 메시지를 보냈고, 그중 몇 명이 수신 거부를 했을까?
  • 이렇게 들어온 사용자들은 얼마나 서비스에 오래 머물렀나? 서비스에서 어떤 행동을 했나? 들어왔다가 바로 이탈하지는 않았나?
  • 한 번 들어온 사용자들이 몇 번이나 다시 재방문했나? DAU/WAU 비율은 몇 퍼센트인가?
  • 이 시기에 이용한 유저들이 다음 주, 또 그 다음 주, 다음 달에 남는 리텐션율은 몇 퍼센트나 될까?
  • 이런 생각들을 하면, 누가 누가 Success Theater에서 열심히 연기를 하고 있는지 알 수 있게 됩니다. 개개인들은 자기가 좋은 성과를 내고 있다고 주장하는데 정작 회사 성과가 별로인 이유를 파악할 수 있습니다.
일단 의심부터 하고 보는 겁니다. (이미지 출처: https://www.piqsels.com/en/public-domain-photo-ztjhk)

3. 대시보드를 볼 때: "지표를 정말로 의사결정에 활용하고 있을까?"

의심 많은 분석가는 지표 대시보드(dashboard)를 보면서도 의심을 합니다. 특히 대시보드에 항목이 많을수록 의심은 커집니다.

  • 이 지표들이 정말 다 필요한 걸까? 아니면 그냥 관성적으로 보고 있는 지표일까?
    • 이 지표가 올라가면/내려가면 팀은 어떤 의사결정을 하고, 무엇을 실행하나?
    • 만약 지표가 오르락 내리락 하더라도 아무런 대응을 하지 않는다면, 혹은 '그냥 궁금해서/봐야 할 것 같아서' 보는 지표라면, 그런 지표는 안 보는 게 낫지 않을까?
  • 지표가 오르락 내리락 할 때 대응하는 체계를 갖췄을까?
    • 어떤 인풋(input)이 해당 지표에 영향을 끼치는지 이해하고 있을까? (참고자료: 인풋과 아웃풋 개념)
    • 그 인풋에 어느 팀이 어떻게 영향을 끼치는지 메커니즘을 이해하고 있나?
  • 지표를 모니터링하는 주기와 대응하는 주기가 일치하나?
    • 매일 매일 거의 실시간으로 보는 지표가 있으면, 그 지표의 변화에도 실시간으로 대응하나? 실시간으로 대응할 필요가 없는 지표를 실시간으로 모니터링하는 건 에너지 낭비일 뿐인데?
  • 의사결정권자들을 포함한 구성원들은 이 지표가 정확히 무엇을 가리키는지, 정의를 제대로 이해하고 있을까?
    • 그래서 이 지표의 함의를 이해하고, 의사결정에 제대로 활용하고 있을까? 아니면 그냥 대충 느낌적으로만 알고 있을까?
  • 대시보드에서 모니터링할 지표를 선택할 때, 사업 목표를 세우고, 목표를 달성하기 위한 전략을 수립한 뒤, 그 전략이 제대로 작동하는지 확인하기 위한 지표를 수립하는 과정을 거쳤을까?
    • 아니면 다른 회사들에서 다들 쓰는 지표들을 갖다가 썼을까?
    • 아니면 이 팀 저 팀에서 '이런 지표가 필요해요'라고 내는 의견들을 단순히 취합해서 대시보드를 만들었을까?
  • 이런 생각들을 하면, 대시보드에서 어떤 게 정말 필요한 지표인지 걸러낼 수 있게 됩니다. 그리고 지표와 실행을 어떻게 연결시킬 수 있을지 더 깊이 생각하게 됩니다.
대시보드가 화려할수록 의심은 커집니다. (이미지 출처: https://www.tableau.com/about/blog/2020/5/introducing-metrics-headlines-your-data)

요약: 의심합시다.

지표를 볼 때마다 제 머릿속에 떠오르는 생각들을 이렇게 정리해 보았습니다. 요약하면 이렇습니다.

  • 지표의 정의를 확인하자. '분자'와 '분모'에 각각 무엇이 들어가는지 확인하자. 계산식에 무엇을 포함시켰는지, 무엇을 제외했는지 확인하자. 지표 측정 기간을 어떻게 설정했는지 확인하자.
  • 좋아 보이는 지표는 일단 의심하자. 뒤에 뭔가 숨겨져 있을 것이다. 지표의 정의를 확인하자. 자기 유리한 대로 정의했을 가능성이 높다. '다른 이야기'를 드러낼 수 있는 지표(counter metric)들이 뭐가 있을지 생각해 보자.
  • 대시보드의 지표들은 의사결정과 실행에 활용하지 않으면 소용이 없다. 지표가 오르락 내리락 할 때 어떤 대응을 해야 할지 생각하자.

이런 원칙들을 제가 실제로 어떻게 적용해서 생각을 전개하는지 풀어 보려고 노력했는데, 의도했던 대로 여러분께 잘 전달이 되었을지 궁금합니다. 이 글로 인해 다만 몇 분이라도 예전보다 더 비판적인 관점으로 지표를 바라보실 수 있게 된다면 더할 나위 없이 좋을 것 같습니다. 😀