增長案例丨為KEEP設計一場增長實驗，活動是必考項 - 活動策劃 - 紅星成都活動公司

一、前言

增長是一個持續(xù)實驗的過程，就像做產(chǎn)品迭代，最科學的方法是向迭代要數(shù)據(jù)，依據(jù)數(shù)據(jù)做迭代；做增長亦是如此，即數(shù)據(jù)驅動增長。

策略、增長都有各自的方法論，抽象出來其實表達的是相似的意思。

通過數(shù)據(jù)發(fā)現(xiàn)問題→提出假設→設計方案→獲得更多數(shù)據(jù)→驗證假設→發(fā)現(xiàn)顆粒度更細的問題→提出更精準的假設。

是無數(shù)組閉環(huán)邏輯的循序漸進，根據(jù)實際達到的效果以及成本，來決定做到哪一步就可以滿足目標或者需要及時止損。

每套方法論都有自己的邏輯閉環(huán)和不同的適用場景，也存在在執(zhí)行時仍然存在的困惑，根據(jù)自己遇到的困惑，拆解輸出的方法論理解消化后輸出自己的方法論，才是最合適的做法。

增長實驗通常以A/B測試的方式進行，要清楚A/B測試只是手段不是目的，在日常生活中也可以加以利用

2、設計增長實驗前，如何發(fā)現(xiàn)問題 （1）有明確目標（根據(jù)目標找數(shù)據(jù)）

有明確目標的意思是，促使實驗發(fā)起的需求來源不是分析數(shù)據(jù)后發(fā)現(xiàn)的問題，而是通過其他需求來源提出的明確的可衡量的目標。

比如老板下達任務，這個季度的GMV要提升30%。

那么關鍵指標可定義為2020Q1GMV，相關指標可以在已經(jīng)搭建好的增長模型或者公式中獲得。

GMV等于流量*轉化率*客單價，流量包含自然流量和渠道流量等，自然流量包含產(chǎn)品本身的APP、小程序等，渠道流量包含各個外部渠道。

根據(jù)實際情況選擇對應的顆粒度分析。

（2）無明確目標（根據(jù)數(shù)據(jù)找目標）

無明確目標的意思是，促使實驗發(fā)起的需求來源，并不聚焦于某一個具體目標，我們想通過優(yōu)化某一個當前需要優(yōu)化的內容，從而達到提升整體效果的終極目標。

此時為了避免拍腦袋定方案，設計出低質量的實驗浪費資源，就要通過一些科學方法找到相對合理的目標。

a.收集用戶反饋

在產(chǎn)品的用戶反饋入口、應用商店評價、社交平臺等渠道收集用戶反饋。

通過對用戶反饋的過濾、整理、分析，發(fā)現(xiàn)與增長相關的問題，以解決此問題為目標設計增長實驗。

用戶的反饋比較隨機，難以判斷影響面，與產(chǎn)品全局沒有直接關系，因此可能需要其他手段進一步驗證，著重思考優(yōu)先級的排序。

b.系統(tǒng)監(jiān)控

在數(shù)據(jù)體系較為完善的系統(tǒng)中，可以通過監(jiān)控發(fā)現(xiàn)問題。

提前設置好監(jiān)控指標和報警規(guī)則，是在一段周期內一勞永逸的方式，提升發(fā)現(xiàn)問題的效率，降低需求分析的成本。

比如某成熟期的社區(qū)產(chǎn)品的日留存率平均在30%，如果每天的留存率在正常波動區(qū)間內，我們便可以將精力用在其他地方，如果留存率不在正常波動區(qū)間，即出現(xiàn)異常（一般指留存率偏低的情況）。

首先要根據(jù)業(yè)務實際情況確定是否真的是異常情況，如果確定是異常情況，可能會通過增長實驗，來將異常數(shù)據(jù)拉回正常區(qū)間；如果不是異常情況，可能需要調整報警規(guī)則。

比如K12類產(chǎn)品，在周末活躍度對比周一至周五下降，或者購票類產(chǎn)品在假期過后活躍度下降，通常屬于正常情況。

c.定期復盤

復盤的方式可以具象為效果回歸。效果回歸是驗證在之前的增長動作中，有沒有達到目標。如果達到，探索進一步優(yōu)化的空間；如果沒有達到，分析原因，嘗試通過接下來的增長動作達到目標。

3、增長實驗案例丨KEEP社區(qū) 1.實驗背景＆目的

（1）提升用戶對其他用戶關注率

已知當前動態(tài)詳情頁（動態(tài)、文章、視頻）的日均PV為10000

已知當前動態(tài)詳情頁（動態(tài)、文章、視頻）的關注率為5%，目標提升至6%

統(tǒng)計顯著性需要達到95%

統(tǒng)計顯著性在這里不深入展開，市面上有專門的統(tǒng)計工具，通過搜索引擎即可找到

（2）實驗前準備-定義指標

（年/月/日）關注率：用戶累計（年/月/日）關注數(shù)/用戶（年/月/日）累計瀏覽內容來源其他用戶數(shù)。（對一個用戶生產(chǎn)的多條內容做去重）

瀏覽：對應內容在一屏中露出60%。在頁面中停留時間≥5s

2.增長實驗

步驟1：提出實驗假設

假設1

【如果】在社區(qū)feed流中增加關注按鈕

【預計】月關注率可以提升20%

【因為】

社區(qū)feed流是第一層級頁面，跳出率最低，縮短了轉化路徑

feed流的核心目標就是吸引用戶更長時間的沉浸體驗。目前的關注需要在更深一層級的【添加好友】或【動態(tài)詳情】中操作，某種程度上打斷了用戶的心流。按鈕放在feed流上可以使體驗更流暢

用戶做更多操作去關注一個用戶，在潛意識上會把關注當成一個相對重的操作，將關注按鈕放到feed流中，使用戶不需要像在【添加好友】中篩選和在【動態(tài)詳情】中查看更多內容，僅通過feed流中的一條動態(tài)便確定關注意愿，細化了關注的場景，滿足了追求多樣性和把關注看的不那么重的用戶。也是產(chǎn)品需要潛移默化影響用戶心智的方向

最佳實踐

抖音feed流中可以直接關注發(fā)布者

定量分析

用戶在【feed流>動態(tài)詳情>feed流>動態(tài)詳情】（循環(huán)）路徑中點擊關注的數(shù)量

用戶在feed流中給非關注用戶動態(tài)點贊后，關注該用戶的數(shù)量

假設2

【如果】增加邏輯：點贊默認同時關注，個人中心可設置點贊是否同步關注

【預計】月關注率可以提升30%

【因為】

與上條一樣，產(chǎn)品需要引導用戶的是不把關注看做是一個很重的操作，從而使用戶更多的進行關注

點贊和關注，在不同的社區(qū)運營過程中，含義的演化各不相同；可設置的點贊是否同步關注邏輯，是將選擇權還給用戶，滿足對這兩者不同理解的多種用戶群體需求

對于在feed流中根據(jù)一條動態(tài)便確定關注意愿的用戶來說，當前需要操作三步（點贊、點擊動態(tài)、關注）才能完成點贊+關注。使用假設后只需要點贊一個動作，操作多個時，指數(shù)級的降本增效

最佳實踐

通常情況，縮短轉化路徑可以提升轉化率。

微博有類似的邏輯，通過內容吸引用戶關注發(fā)布者。

定量分析

用戶在【feed流>動態(tài)詳情>feed流>動態(tài)詳情】（循環(huán)）路徑中點擊關注的數(shù)量

用戶在feed流中給非關注用戶動態(tài)點贊后，關注該用戶的數(shù)量

假設3

【如果】為游客開放瀏覽社區(qū)和關注用戶＆話題權限。（登錄后選擇是否同步關注數(shù)據(jù)，根據(jù)終端同步）

【預計】月關注率可以提升5%

【因為】

用戶不需要登錄即可進行瀏覽，縮短了轉化路徑

但是對于一個產(chǎn)品來說，用戶的登錄代表了最基本的興趣和信任，一直處于游客狀態(tài)的用戶并不會很多也不會很活躍

最佳實踐

對于游客用戶也可以使其產(chǎn)生粘性和沉默成本，拿出誠意，先給用戶價值，尋求用戶未來的登錄。

好奇心日報，未登錄狀態(tài)下可以做瀏覽、收藏、參與研究等操作。

定量分析

下載量

登錄頁UV

登錄用戶數(shù)

假設4

【如果】類似微博，登錄成功后，引導填寫簡單用戶問卷（健身側重內容），根據(jù)用戶個人情況推薦關注表單。

【預計】月關注率可以提升25%

【因為】

微博、站酷、好好住等各領域社區(qū)APP已經(jīng)教育出用戶習慣，比較易于接受，用戶的問卷反饋可以應用于內容推薦和push等策略，帶來更精準的促活

但是根據(jù)keep的商業(yè)模式以及當前的一級頁面C位（運動）可以很清晰的看出，KEEP的核心還是工具屬性；

因此是否提升社區(qū)的權重，需要戰(zhàn)略層面的權衡

最佳實踐

微博的各種引導關注＆自動關注機制，需要權衡差異選擇性參考。

定量分析

用戶分層：瀏覽內容時間與使用運動功能時間占比大于2：1的用戶比例

步驟2：ICE模型打分，制定優(yōu)先級

優(yōu)先級：假設1>假設2>假設4>假設3

打分依據(jù)-預期影響

打分依據(jù)-成功概率

打分依據(jù)-容易程度

3、實驗設計

避免內容重復，這里再引入一個新的實驗假設講解后續(xù)內容

1.實驗假設

【如果】用戶在動態(tài)詳情中停留5s以上，關注按鈕變亮變大

【預計】月關注率可以提升20%（5%→6%）

【因為】停留可以反應出用戶對內容的興趣，從而說明對發(fā)布者的興趣；5s的時候用戶興趣比較濃厚又未完全沉浸在內容中，此時關注按鈕發(fā)生視覺變化既提醒用戶關注又不會過分干擾造成反感。

最佳實踐

（同假設2）微博有類似的邏輯，通過內容吸引用戶（強提醒）關注發(fā)布者

定量分析

用戶在文章詳情＆動態(tài)詳情中停留5s以上后，關注發(fā)布者的數(shù)量和比例

用戶關注發(fā)布者時在詳情中停留的平均時長

2.實驗指標：

【月關注率】定義：用戶當月累計關注數(shù)/用戶當月累計瀏覽內容來源其他用戶數(shù)。（對一個用戶生產(chǎn)的多條內容做去重）

【瀏覽】定義：對應內容在一屏中露出60%。在動態(tài)詳情頁中停留時間≥5s。

因為實驗的改動是在動態(tài)詳情中的3個頁面（動態(tài)、視頻、文章），因此實驗前后的數(shù)據(jù)對比僅統(tǒng)計此部分數(shù)據(jù)差異；確保不會被其他因素干擾。

核心指標：（上面3個頁面依次編號1、2、3）頁面1月關注率、頁面2月關注率、頁面3月關注率

反向指標：頁面1月取關率、頁面2月取關率、頁面3月取關率

【取關率】定義：用戶在對應頁面中關注后又取消的數(shù)量/用戶在對應頁面中關注數(shù)

輔助指標：（上面3個頁面對應依次1、2、3）頁面1關注平均停留時長、頁面2關注平均停留時長、頁面3關注平均停留時長

【停留時長關注比】用戶在對應頁面中關注，平均需要停留的時間。

與實驗的5s對比，衡量5s這個時間點發(fā)生的按鈕樣式變動，對用戶最終關注的影響程度。

3.實驗受眾

有關注習慣用戶

無特定習慣用戶

無關注習慣用戶

 

【有關注習慣用戶】定義：關注數(shù)/活躍（進入社區(qū)）天數(shù)≥1（每活躍1天，新增1個關注）

【無特定習慣用戶】定義：0.3＜關注數(shù)/活躍（進入社區(qū)）天數(shù)＜1

【無關注習慣用戶】定義：關注數(shù)/活躍（進入社區(qū)）天數(shù)≤0.3

4.實驗設計-A/B測試

（1）版本劃分及原因

3個版本

從策略層面細化，可以考慮27種組合（3組用戶3個頁面3種樣式），然后評估操作成本。在案例中，僅考慮文章詳情頁

變化幅度大的樣式對應強提醒，側重目標轉化。樣式例如：按鈕變大50%，顏色明顯變化+動效

變化幅度小的樣式對應弱提醒，側重體驗連貫。樣式例如：按鈕變大20%，顏色輕微變化

（該階段的思維發(fā)散僅做思路展示，后面兩個時間的計算不考慮中間涉及到的拆解用戶組）

（2）如果將文章詳情的【月關注率】提升到6%

已知當前關注率5%，目標提升至6%，統(tǒng)計顯著性需達到95%，文章詳情每日UV10000

【有關注習慣用戶】【無提醒】

【有關注習慣用戶】【弱提醒】

【有關注習慣用戶】【強提醒】

【無特定習慣用戶】【無提醒】

【無特定習慣用戶】【弱提醒】

【無特定習慣用戶】【強提醒】

【無關注習慣用戶】【無提醒】

【無關注習慣用戶】【弱提醒】

【無關注習慣用戶】【強提醒】

每組流量分配

10000/9≈1111

剩余名額全部劃分至【有關注習慣用戶】【無提醒】，實驗無結論前，減少對活躍用戶的影響

實驗時間

通過工具計算得出

6900/1111≈6.2天，取整數(shù)7天

5.分析實驗結果

實驗組：是接受實驗變量處理的對象組

對照組：對實驗假設而言，是不接受實驗變量處理的對象組

關注點

實驗組和對照組的流量是否平均，是否獲取到了足夠的樣本數(shù)

實驗周期是否足夠長，是否受到周末、節(jié)假日影響；是否受到用戶的新鮮感影響

每組中是否覆蓋了全部用戶類型（高、中、低頻）

實驗組的核心指標對比對照組是否提升、輔助指標是否提升或持平、反向指標是否提升造成負面影響

核心指標是否達到統(tǒng)計顯著性要求（搜索引擎中即可找到第三方統(tǒng)計工具）

6.實驗下一步

開啟新的循環(huán)

作者： 小紫原 來源：小紫原產(chǎn)品手帳（gh_a1871b0af6cb）

紅星成都活動公司（http://mthq.com.cn/）免費營銷互動活動制作工具，關注+引流+促銷，千款游戲活動模板，任意使用，0元體驗，無門檻，5分鐘創(chuàng)建微信活動，一鍵發(fā)布，裂變吸粉。大轉盤/抽獎/砍價/砸金蛋等微信小游戲免費制作。H5制作軟件，免費創(chuàng)建微信互動游戲、微信裂變活動分享海報頁面。