很高興看到黃河寧老師把關於統計顯著性問題的最新動態報告給中文網頁的學者/同仁 （科學網—關於統計顯著性和p值的大辯論：保守派最新的反擊與改革派的回應 - 黃河寧的博文 (sciencenet.cn)及科學網—統計學改革：挑戰與機遇 - 黃河寧的博文 (sciencenet.cn)。我的理解是統計顯著性問題是一個關乎統計推斷在推動科學新發現的過程中所能起到的作用或扮演的角色的十分重要的問題，通常大家更為關注的p-值問題只是其中的一個表層問題而已。
首先，我想先把我最近翻譯的一段網上2019年發表的文章放在這裏供大家瞭解一下統計顯著性問題的歷史由來。然後我們可能會更容易從一個比較全面深入的角度來討論這個問題。
（譯文部分開始：）我們是如何陷入這樣的麻煩的境地的呢？
如果說依賴於過分簡單化了的“顯著性”檢驗是一個問題，我們是如何落到這個地步的呢？無法相信的是，這是一個關於兩個統計學家的故事，他們彼此討厭對方但他們的統計分析理念卻被強行捆綁在一起，而這樣的做法並未得到其中如何一方的認可。而這一切都是從1920年代在英格蘭發生的一件一杯下午茶的事件開始的。幾名學者在一起喝下午茶。其中一個是布蘭卡.布裏斯托(Blanche Bristol)博士，一位同事遞上一杯泡好的奶茶給她，但她不要，原因是這位先生先把茶水倒到杯子裏然後再加的牛奶。布裏斯托博士喜歡先將牛奶倒進杯子裏再摻茶水，所以她拒絕了。這位先倒茶再加牛奶的先生認為她肯定無法分辨出兩者之間的差別。她堅持她能。這位先生，羅納德.艾謨.費雪博士於是提議做一個檢驗，這整件事因他把它寫進了他的“實驗設計”這本著作中而名揚天下。他會準備八個茶杯；其中四個先倒茶再加牛奶而另四個則先倒牛奶後倒茶。她必須根據自己的判斷給出結論哪個杯子的奶茶是用哪種方法沖泡的。他提出了一個無效假設來假定她無法作出正確的判斷。費雪算出來，在假定上述無效假設成立的前提下，她能正確地猜中所有八杯奶茶的沖泡方式的概率為1/70。他願意僅就這個試驗而言有條件地承認她正確判斷的能力（即拒絕無效假設）。 據稱她的判斷結果無一錯誤，無效假設被拒絕了。這就是顯著性檢驗的開始。
在同一個時期，兩位統計學家，傑茨.耐曼(Jerzy Neyman) 和愛根.皮爾遜(Ergon Pearson)則在研究假設檢驗 – 即在彼此競爭的假設結論中單單以實驗設計條件作為依據來做出選擇決定。耐曼認為假設檢驗是對顯著性檢驗的一個改進。費雪不接受耐曼的觀點。由於耐曼與皮爾遜的父親共事的緣故費雪原本就不喜歡耐曼，因為費雪與老皮爾遜過往長期意見不合。耐曼與費雪為誰的檢驗方法更好而爭持不休直至費雪去世。
而在此期間，某些可笑的事情發生了。古德.吉仁澤(Gerd Gigerenzer)在他的（嘲諷尖刻的）文章中（宗教儀式般的統計分析方法：可重複性的錯覺以及我們如何落到這個地步，2018, Statistical Rituals: The Replication Delusion and How We Got There, https://doi.org/10.1177/2515245918771329 ）將所發生的這些事很好地總結為：“早期統計教科書的作者們竭力想弄出一個看上去客觀的統計推斷分析方法，用這個方法就能機械式地把真正原因與隨機變化的現象區分開來，無需使用者另加思考判斷。其結果就是，費雪的方法與他的智力對手們（波蘭統計學家傑茨.耐曼（1894-1981）和英國統計學家愛根.皮爾遜（1895-1980）的方法被強行地捏合到了一起（如同在散彈槍槍口威逼下成就的一場婚姻）。這個雜交的理論的核心就是無效宗教儀式。”  對他所稱之為“無效宗教儀式”的理論他是這樣描述的：
“1. 設定一個無效假設，例如‘平均值無差別’或‘零相關’。不要規定你自己的研究假設的預測結果。
  2. 以5%作為一個慣例標準來拒絕無效假設。如果檢驗結果是顯著的，接受你的研究假設。以p<0.05，p<0.01 或 p<0.001的形式表述檢驗結果，不論p-值達到了哪一級的顯著性的指標值都可以。
  3. 每次都按這個步驟及過程得出分析結果/結論。”
“正確的統計學理論裏沒有無效宗教儀式的一席之地”，吉仁澤繼續寫道。“這一點並不是總能被理解；甚至對它（無效宗教儀式）批評的意見中有些時候也把它與費雪的無效假設檢驗理論混為一談並稱之為‘無效假設顯著性檢驗’。實際上，這個（統計分析的）宗教儀式是對費雪的方法和耐曼及皮爾遜的方法的一個不和諧的組合/混合，並凸顯了一個新的特殊之點：去除了研究人員的專業判斷的因素。”
（譯文部分結束；文章出處鏈接https://www.marugroup.net/insights/blog/danger-of-relying-on-statistical-significance，作者： Andrew Grenville, Chief Research Officer | June 3, 2019。）
請各位同仁注意，費雪(R. A. Fisher)提出的是‘顯著性檢驗’ (Significance Testing),它是與傑茨.耐曼(Jerzy Neyman) 和愛根.皮爾遜(Ergon Pearson)後來提出的‘假設檢驗’(testing of hypothesis)是有著實質性差異的不同的東西。在費雪(R. A. Fisher)的‘顯著性檢驗’裏是不需要一個所謂的”備擇假設“的；至於”統計功效“(statistical power)，置信區間(confidence interval)，一類錯誤/二類錯誤(type I error/type II error)也只屬於耐曼和皮爾遜的”假設檢驗“的一部分。因為“顯著性檢驗”與“假設檢驗”所依據的統計推斷的哲學基礎是完全不同的。費雪(R. A. Fisher)的”顯著性檢驗“依據的是歸納法（從特例到一般）推斷出最可能的結論，而耐曼和皮爾遜的‘假設檢驗’依據的是演繹法（數理邏輯推演）得出結論。費雪(R. A. Fisher)的‘顯著性檢驗’強調根據一組樣本數據得出階段性的結論，耐曼和皮爾遜的‘假設檢驗’強調控制一個抽樣過程（相同的抽樣事件重複多次）的最終一類錯誤與二類錯誤的上限。耐曼指出，在統計功效水準比所確定的顯著性水準還低的情況下（比如，alpha=0.05,beta > 0.95)，費雪(R. A. Fisher)的‘顯著性檢驗’的結果從數學的角度是完全誤導人的(耐曼的原文為worse than useless)。比如，如果在布裏斯托博士品茶的例子中允許我們設定，Ho:她能做出正確判斷的概率=0.5; Ha: 她能做出正確判斷的概率=0.501,就很可能造成統計功效低於顯著性水準的情況。而費雪則指責“假設檢驗”根本就不是一個真正意義上的統計檢驗方法（只是一個決策法則）。有興趣的同仁可通過閱讀中國統計出版社翻譯的“女士品茶”一書第1，10，11章瞭解更多的有關內容（英文原著為David Salsburg寫的“The Lady Tasting Tea：how statistics revolutionized science in the twentieth century”，2001年出版）。
費雪與耐曼和皮爾遜的在統計檢驗理論與方法的學術爭論其實是一個更深層次問題的反映：邏輯推理與概率型證明推理是不相容的（logic and probabilistic arguments are incompatible）。換句話說，從數學的角度看，費雪的‘顯著性檢驗’是在邏輯上不嚴謹的（但費雪把對某組樣本數據的分析結果看成是/用作判斷有關的假設真偽的證據）；可是耐曼和皮爾遜的‘假設檢驗’雖然在邏輯上嚴謹了卻失去了其統計檢驗的原本含義-它對任何一組樣本數據的分析結果都不可當作判斷有關的假設真偽的證據，研究人員只可根據結果決定接受原假設還是備擇假設。因此，僅僅就對任何一組樣本數據的分析結果而言，不論是費雪的‘顯著性檢驗’還是耐曼和皮爾遜的“假設檢驗”在理論上都無法使我們確認/驗證其相關的科學假設的真偽。於是在上個世紀四十年代開始，統計教科書的作者們（最典型的是George W. Snedecor 著的 “Statistical Methods”到1989年止共出了八版）竭力想弄出一個看上去客觀的統計推斷分析方法，一廂情願地把費雪的‘顯著性檢驗’和耐曼和皮爾遜的‘假設檢驗’捏合成為‘無效假設顯著性檢驗’(Null Hypothesis Significance Test, 簡稱NHST)。目前幾乎所有我們使用的標準統計教科書統計檢驗部分都是這麼一種從未在理論上被證明為正確的混合物。有的教科書定義的NHST範式取自更多的費雪的“顯著性檢驗，有的取自更多的耐曼和皮爾遜的“假設檢驗。但這些NHST統計檢驗範式有一個共同特點，都強調只要按幾個菜譜式的機械步驟即可得出對某組樣本數據的分析結果（比如p-值或95%的置信區間）然後把它們看成是/用作判斷有關的假設真偽的證據。
此外，統計假設檢驗理論依據的是‘統計抽樣分佈理論’，它的根本假設條件是‘隨機樣本’；要想實現隨機抽樣就要先定義‘抽樣總體’。而現實生活是‘抽樣總體’往往是無法定義的（比如幾乎所有醫學統計分析研究，我們既無法定義抽樣總體，也無法進行隨機抽樣；在動物研究專案中，同樣也無法定義抽樣總體，進行隨機抽樣），當然‘隨機抽樣’也就成了一紙空談而已。為了儘量降低混雜因素的影響，需要有試驗設計（experimental design，比如人為地對試驗對象與處理水準進行隨機配對），否則的話，你的研究專案只是一個觀察性研究(observational study)而不是試驗性研究（experimental study）。現實是絕大部分研究專案都是觀察性研究 – NHST所要求的基本假設條件是無法滿足的。我們使用的標準統計教科書雖然在講統計理論的數學定理時都提到這些統計假設檢驗範式所要求的基本假設條件，但到了分析實際數據的時候幾乎沒有例外對以上提到的假設條件統統提都不提或假定這些條件已得到滿足，只要有一組數據就上NHST。這就是為什麼古德.吉仁澤(Gerd Gigerenzer)說NHST“這個雜交的理論的核心就是無效宗教儀式（The essence of this hybrid theory is the null ritual）。”不幸的是NHST這種機械式，宗教儀式般的假設檢驗範式非常符合人們‘非白即黑’的思維模式，也符合統計學教科書作者們一廂情願的‘用統計檢驗代替科學實驗’的願望。尤其在今天學術界‘不發表文章就出局（publish or perish）’的遊戲規則下，NHST大行其道，不論多少的統計學家指出其根本的問題所在，統統被學術界主流組織機構或出版物所忽視，自上世紀五六十年代以來曆久不衰。
現在讓我們用一個具體的例子來說明NHST的不合理性。假定一個最經典的單因素方差分析例子：給某種作物施了三種不同的化肥（三種處理A， B， C；樣本容量30，即每種化肥的產出有10個數據），觀察其產出結果，試驗完全按照隨機化處理的要求完成。數據分析結果（95%置信區間）為：處理A（7.8，12.0），處理B（9.4，13.6），處理C（12.2，16.4）。按照NHST的標準結論我們會說處理C比處理A的平均產出高（因為置信區間未重疊）而無法判斷處理B是否比處理A的平均產出高（因為置信區間重疊）。簡單起見，我們不討論多重比較的問題，所以我們只把處理A看作參考水準，不討論處理C與處理B之間的比較。假如這些數據是根據樣本容量為15得出的（即每種化肥的產出有5個數據），數據分析結果（95%置信區間）則變成了：處理A（6.6，13.2），處理B（8.2，14.8），處理C（11.0，17.6），這下子僅僅因為樣本容量變小了，所有的比較都成了統計上不顯著的了，所以，不論是處理C比較處理A還是處理B比較處理A我們都不能得出一個確定的結果 （一個常常犯的錯誤是把‘統計非顯著的’結果解釋成‘沒有真正的差別’）。同樣的，假如這些數據是根據樣本容量為300得出的（即每種化肥的產出有100個數據），數據分析結果（95%置信區間）又變成了：處理A（9.2，10.6），處理B（10.8，12.2），處理C（13.6，15.0），這時不論是處理C比較處理A還是處理B比較處理A我們都有了統計顯著性的差異結果。結論就是，即使在最理想的試驗設計及正確運用的條件下，NHST的結果直接取決於樣本容量。第二個問題就是，即使採取了最合適的試驗設計方案採集數據，還是有未能排除的混雜因素。比如，同樣的農業試驗搬到另一個地區/國家，或在不同的年份進行，結果肯定有變化，統計顯著性的結論可能也跟著改變（更多的細節，請參看科學網—沒有了“統計顯著性”，p-值能幹什麼呢？ - 謝鋼的博文 (sciencenet.cn)）。
更根本的問題在於，這樣的試驗結果能夠一般性地推廣到適用於過去，現在，及未來所有的同類狀況嗎？事實是我們無法針對過去與未來確定一個抽樣總體，因此絕大部分現實生活中我們能得到的樣本數據都無法滿足統計抽樣分佈理論要求的基本條件，因此，其結論當然不能從統計推斷的角度作一般化推廣(generalization of statistical anaysis outcomes is not valid based on sampling distribution ground due to the violation of those fundamental assumption conditions)。但是，我們卻可能從具體學科機理的角度，以描述性統計分析結果為基礎作一般性推廣的結論(我們的科學實驗方案決定了用三種不同的化肥，在盡可能的試驗設計的條件下，樣本描述性統計分析結果(descriptive anaysis outcomes based on sample data)就是可獲得的對統計總體的最佳估計量；並且，只有進行多次重複同樣的試驗，我們才能最終逐漸確立三種化肥的真實效果，沒有捷徑可走。基於任何一組樣本數據進行統計假設檢驗根本不是獲取科學發現普遍性規律的答案）。從這個經典的統計分析的例子我們可以清楚地看出NHST的不合理性。關於統計推斷所依賴的抽樣總體的根本局限性問題幾十年前全面品質管理鼻祖（也是資深統計學家）愛德伍茲.戴明（Edwards Deming）早就指出了，有興趣的同仁可參考“女士品茶”第24章，或這篇文章  “Assumptions for Statistical Inference” （1993）， Gerald J. Hahn and William Q. Meeker， The American Statistician , Vol. 47, No. 1， pp. 1-11，http://www.jstor.com/stable/2684774。其實，從邏輯上講，不論是p-值，還是置信區間，都是連續型變數，把它們二分化分為“統計上顯著的”或“統計上不顯著的”就會產生無法自圓其說的矛盾。可歎的是，這麼多年，連這個誰都否認不了的基本事實卻在統計分析的實踐中被幾乎完全忽視，NHST依然大行其道。
更令人遺憾的是，有關的統計專業組織機構（例如各國的統計專業學會/協會）都不願針對NHST這個頑疾作正式的論證或表態。直到2015年情況才出現了轉機：2015年美國統計學會（ASA=American Statistical Association）關於p-值及統計顯著性問題的專題小組會議最終形成了2016年ASA的就此問題發表的正式官方聲明（對p-值的理解與應用的六項原則）。“六項原則聲明” 的一個特點是讀者被告知了很多‘不應該做什麼’（Don’ts）的原則卻沒有提出更多的‘應該做什麼’（Do’s）的原則建議。原因在於參與討論形成該“六項原則聲明”的專家組成員無法在‘應該做什麼’的的原則建議方面達成更多的共識，但在‘不應該做什麼’的共識是比較一致的。破舊的同時也必須立新，否則舊永遠無法被破除。從這個著眼點出發，2017年10月ASA組織了一個歷時兩天的關於統計推斷的專題研討會，其結果就構成了2019年3月“美國統計學家  (TAS)”期刊卷73的專題特輯所發表的43文章的來由與基礎。ASA 2016年的六項原則聲明更多的是針對p-值的誤解與誤用的問題，其根本原因則在於‘統計顯著性’這個支撐被廣泛使用（濫用？）的統計假設檢驗的範式（Null Hypothesis Significance Test (NHST) paradigm）的核心概念。可以說，這次專題特輯所發表的43文章的主題就是“統計顯著性”了。“美國統計學家  (TAS)”期刊卷73的專題特輯由一篇“編者的話”（Editorial：Moving to a World Beyond “p < 0.05”）起頭對這次專題特輯所發表的43文章的觀點提議作了概況總結。這篇“編者的話”的作者是：Ronald L. Wasserstein，Allen L. Schirm ，和 Nicole A. Liazar 。三人均為美國統計學會的當選院士會員(elected ASA fellow).其中Ronald L. Wasserstein從2007年起就一直擔任ASA學會秘書長（Executive Director）的職務。他們認為可以得出這樣的結論：“…，任何p-值都無法揭示/代表某個效應值的可能性、存在性、真實性，或重要性。所以，賦予或具有了一個統計顯著性的標籤並不意味著有關的關聯值或效應值就是高度可能、真實、確實，或重要。同樣的，一個非統計顯著性的標籤也並不意味著有關的關聯值或效應值就是不可能、不存在、不真實，或不重要。然而，正是這種劃分為‘顯著’的與‘非顯著’的二分做法被當作了能夠確認/決定這些（是否可能、真實、確實，或重要）特性的權威認證。”“明確地說，這個問題不僅僅是關乎兩個標籤的問題。其（連續型統計量的）結果也不應該被三分化，或根本地說，不應該按照人為確定的p-值閥限值來劃分為任何數量的組分/分類。類似地，我們也必須停止把置信區間作為另一個被二分處理的統計量的做法（根據無偏假設值是否落在置信區間內來判斷）。並且，為防止同樣的問題以其他的形式/面目再現，我們必須不去試圖人為地按組分/分類來劃分其他（連續型）統計量（比如貝葉斯因素）。”結論：應該徹底拋棄“統計顯著性”(statistical significance)這個NHST的基石的概念。
可是少數這個專題特輯的作者對這樣的總結結論十分不滿。由2019年ASA當時的主席(Karen Kafadar)組織了一個專題/專責小組(task force group)試圖再發表一個聲明來“更正”在Moving to a World Beyond “p < 0.05”這篇“編者的話“中所總結概括的觀點。2021年7月這個“更正”聲明（The ASA President’s Task Force Statement on Statistical Significance and Replicability）終於發表了。奇怪的是，如同在黃河寧老師的有關博文中所指出的，這個“更正”聲明並沒有發表在ASA的自己的刊物“美國統計學家”上，而是發表在了Karen Kafadar做總編輯的The Annals of Applied Statistics（應用統計年鑒）上。這個“更正”聲明共有十五位作者，其中不乏著名的統計學家，還有兩個中國人的名字在其中。因此這個很短的聲明也有中文版本（“ASA 主席關於統計顯著性和可重複性的專責小組聲明”被全文轉載在科學網—“統計上是顯著的” – 在做統計數據分析時請不要再這樣說，也不要這樣用了！ - 謝鋼的博文 (sciencenet.cn)）。
如同在黃河寧老師的有關博文中所指出，已有同樣權威的統計學家對此“更正”聲明作了較全面的評論/反駁（詳見：Megan Higgs 2021 Thoughts on the Task Force Statement https://critical-inference.com/thoughts-on-the-task-force-statement/）。我個人也對這樣一個聲明是十分不以為然的，我認為這完全是在NHST問題上統計學界的一個大倒退，只能給廣大使用統計分析方法的科技工作者們帶來更多的困惑。我的觀察是：（1）這個“更正”聲明的核心是強調“美國統計學家  (TAS)”期刊卷73的專題特輯的開篇文章“編者的話”（Editorial：Moving to a World Beyond “p < 0.05”）不能代表ASA的官方政策（英文原文a 2019 editorial in The American Statistician (an ASA journal) might be mistakenly interpreted as official ASA policy)。嚴格說這個說法沒有錯，但用同樣的標準我們也可以說這份更正“聲明”同樣也不能被當作ASA的官方政策；（2）“聲明”的這種說法讓人聽起來似乎“編者的話”這篇文章不過是代表了三位作者個人的觀點/意見，這樣的暗示有失公允。因“編者的話”這篇文章實際上是對“美國統計學家”期刊卷73特輯的所有43篇文章的一個總結/綜述，三位作者不是吃飽飯沒事自己找事攬了這個差事來做，完全是受ASA的正式委託完成了一件費時費力還可能不討好的重大任務。這43篇文章是2017年ASA組織了一個歷時兩天的關於統計推斷的專題研討會的結果；而這個2017年的專題研討會又是2016年ASA關於p-值與統計顯著性問題的官方聲明的後續產物。這些都不是“編者的話”的三位作者個人的決定或行為。另外，p-值的問題在2016年的聲明中已有了共識與結論，43篇特刊文章與“編者的話”的關注點是統計顯著性。而“聲明”卻硬是把‘p-值與統計顯著性’扯在一起來談，把它強加到“編者的話”這篇文章的頭上。最後我還想就此“更正”聲明中的一句話作個評論。該聲明說“當需要做決策時,閾值是有幫助的。儘管p-值本身提供了有價值的資訊,但將p-值與顯著性水準進行匹配可能很有用。” 如果該聲明的作者們還承認2016年ASA的正式官方聲明（對p-值的理解與應用的六項原則）的話，“（當需要做決策時）p-值本身提供了有價值的資訊，”這個說法顯然言過其實；已有很多的理論證明及無數的經驗證據都指向一個事實：將p-值與顯著性水準進行匹配得出的統計推斷結果可能有用，也可能無用，更多的時候是誤導科學結論的推導。有興趣的同仁可把以下這兩篇文章讀一讀（均取自“美國統計學家  (TAS)”期刊卷73的專題特輯）就會發現我的這句話是有根據的：（1）Raymond Hubbard, Brian D. Haig, and Rahul A. Parsa (2019), The Limited Role of Formal Statistical Inference in Scientific Inference, The American Statistician, Vol. 73, No. S1, 91-98； （2）Christopher Tong (2019), Statistical Inference Enables Bad Science; Statistical Thinking Enables Good Science, The American Statistician, Vol. 73, No. S1, 246-261.
根據中文網上資料，中國統計學會現有個人會員約5000人。全球歷史最悠久的統計學會/協會組織應該是英國的皇家統計學會Royal Statistical Society (RSS)，按維基百科的資訊顯示，RSS成立於1834年，現有約10000名會員，其中1500為經專業資格認證的Chartered Statistician(CStat)。美國統計學會/協會American Statistical Association (ASA)成立於1839年（只比RSS晚了幾年而已），現有會員約18000人，其中每年會選出最多不超過千分之3.3 的所謂的Fellow member（我譯作了‘當選院士會員’）。ASA2019年的特刊“編者的話”的三名作者均為ASA的Fellow member。我們可以發現這樣一個事實：美國統計學會在2016年、2019年、及2021年先後三次就p-值與統計顯著性這個關乎統計學理論與實踐的重大問題做出了正式的聲明/表態/回應。相比之下，英國皇家統計學會至今未對這個可以說是對科學事業有著重大且急迫威脅的問題做出任何實質性的聲明。