公司定義了幾個關鍵指標,然后重復和優化這些指標,將更有可能取得成功,至少這是傳統智慧的套路。許多著名的天使投資者倡導諸如迭代、招生、營收等測量標簽。 Andreessen Horowitz風險投資公司(Marc Andreessen和Ben Horowitz聯合創立的位于硅谷沙丘路的風險投資公司Andreessen Horowitz已成功躋身硅谷頂級VC公司之列,與Accel,Benchmark, Greylock, Kleiner以及紅杉資本旗鼓相當,甚至有人言,AH才是最頂尖的風投公司。校長邦小編注。)的合伙人Jeff Jordan對此總結道:
好指標是指運營公司的正確方式,其中創始人知道如何和為什么某些事情正在(或沒有)良性運轉......可以解決或做出相應調整。
但對于教育技術公司,傳統的衡量標準是不夠的。迭代、招生、營收等標準措施并不能直接衡量出學生的學習成果。許多教育企業家有自己的工具,但對工具究竟是如何影響其所服務的學生卻只有一個模糊的概念。做了一個關于教室的產品,卻不清楚這個產品是如何提高教育以及把更多的學習機會給到學生,這是為什么?
教育公司CEO需要持續的標準化的教學成果測量方法,來做出信息決策,優化教學成果;并需要像其他核心結果(諸如收入與招生)一樣頻繁而強烈地報道和反映它們。教育公司應該回答以下兩個問題:
當學生使用你的產品時,是否可以很好地量化他們的學習進展?
學習進展中的多少可以歸功于你的產品?
這些都是難以回答的問題。近年來隨著學校收集的數據越來越多,問題的解決相對容易了些。標準化測試并不總是能完整或準確地測量學習效果,但加以細心使用,同樣可以作為測量學習產品對學習效果產生影響的有用而可靠的指標。我建議大多數學習產品可以跟蹤和報告這兩個關鍵指標:
讓我們先從第一個問題開始 - 使用程序的同學學習變的更好了嗎?
1、追蹤平均業績值的轉移
學生業績百分比是測量學習進展程度的通行方法。學生的業績百分比是相較于其同齡人而得出的。例如,一個學生的數學業績百分比是45,則他的數學得分高于全國范圍內45%的學生。根據定義,中等學生,他的業績百分比值為50。
中值業績百分比的增長是衡量一組學生整體學習進步的具體、廣泛、有用的指標。如果中值百分比在A區一年年地增長,那么就意味著學生在A區比在其他區的同齡人學到的更多。如果漲幅很大且持續,那么這是一個很好的指標,說明這些學生接受教育正在提高(盡管百分比本身無法告訴你為什么這個區存在著教育增長)。
越來越多的區和區域供應商采用中值業績百分比的增長,來了解到底是什么在他們的區起作用。區要求學生采取標準化考試,如廣泛使用的NWEA地圖,和新的評估方法像PARCC與SBAC,并通過這些考試所獲得數據來了解學生使用產品對其學習產生的影響。創造這些產品的公司可以利用這些數據來了解其產品是否具有積極的影響。
2.讓學生以自身為對照組
學生成績的提高有許多原因,比如更好的老師,新的設施,或創新的技術方案。作為教育公司CEO,如何知道改變學生的學習可以歸因于一個特定的產品呢,而不是其他因素?
可控的實驗研究是一種提煉因果關系的有效方法,雖然有點不切實際。在這樣的實驗中,學生被隨機分成兩組:一組有學習產品使用,另一組沒有;并對他們的結果進行了比較。然而,這些研究在許多情況下是不切實際的。例如,如果一所學校的每個學生采用一個產品,然后學生在對照組不得不錯過了。盡管對照研究是理想的和必須的,但其結果并沒有一致而規律到需要在產品開發時考慮進去。
如果公司產品涉及課程的一個子集也許能夠衡量學生學習的影響而不依賴于對照組。在eSpark Learning,我們分析學生在一個或兩個共同核心科目的表現,而其他科目則被覆蓋進課程里。然后,我們可以測量這些重點課目相對于其他課程的百分比增益。
例如,一個三年級的數學的學生可能只學習分數,測量和數據,但不與其他知識領域一起學習(例如,幾何,運算與代數,以及十進制的數學運算)。在這種情況下,我們會看看分數,測量和數據(核心科目)與幾何,運算與代數,以及十進制的數學運算(普通科目)之間的性能相對差。如果學生核心科目得分比普通科目高,這表明,一個特定的工具或新的教學方法可能有積極的影響。
3、測量,刷新,重復
作為一個行業,我們需要更好地跟蹤和對我們產品的教育成果做嚴格報告。我們要把這些給我們的員工,投資者和客戶報告,并時刻意識到對學生產生積極影響的最終目的,我們可以優化正確的事情,并確保教育技術實現其改善學生學習機會的承諾。只有這樣,我們才能建立產品,真正地改變世界。