博文《兩類基本效度：內部效度與結構效度》提到，Cook和Campell（1979）把研究效度分為四類，並介紹了內部效度和結構效度，博文《外部效度：其他群體、其他情境、其他時間》介紹了外部效度，本文介紹剩下的統計效度。這是一類容易被忽視或者雖然重視，卻往往不從效度視角來考慮的效度。
一、統計效度的概念
統計效度，又稱統計結論效度，是指統計結果的真實程度，它涉及的是研究中統計分析的適當性、準確性問題。數據分析，往往有特定的統計前提（statistical assumption），違背這些前提，所做的統計分析就可能是不適當的。因此，統計效度更多地與統計分析適當性有關。同時，統計效度還包括統計分析的準確性，例如，經常看到一些期刊論文刊登勘誤，更正的錯誤主要是統計結果方面的。學位論文中也往往會有一些明顯的統計錯誤，比如，t值的絕對值、F值小於1，對應檢驗的p值卻小於.05（可能是作者轉抄數據時出錯了，也可能是其他莫名其妙的錯誤所致）。這樣的結果，讓人質疑其統計效度。
除了與統計前提相關聯的具體問題，任何研究都需要考慮與統計效度有關的一般問題——它們涉及影響統計效度的一般因素。
二、影響統計效度的因素
1、測量指標的信度和效度
心理學研究要對數據進行統計分析，而數據來自具體的測量指標。統計分析有效的根本條件是，這些測量指標得具有符合心理測量學要求的信度和效度。如果分析的數據不可靠、不可信，那麼，相應研究的統計效度就是根本無法得到保障的。
2、第一類錯誤與統計顯著性
研究者認為存在一種效應而實際上不存在時，就產生了第一類錯誤（即“假陽性”）。這是研究者有內在動機會犯的一類錯誤。如果研究者由於p < .05拒絕零假設，得到存在一種效應的結論，那麼需要考慮如下幾個問題：
（1）數據來源
心理學研究的數據，應當是來自樣本的，但是，有時研究者會由於各種原因而積累一些數據，例如，留意並記錄媒體報導的自殺事件，經過一定的量化處理，可以進行統計分析。但是，這樣的數據是來自枚舉，而非樣本，從而就不適於進行顯著性檢測。當然，此類數據可以進行基本情況描述。
（2）樣本性質
如果數據是來自樣本的，那麼，是來自隨機樣本還是非隨機樣本？如果來自非隨機樣本，顯著結果的誤差則是不能確定的。雖然現在可以用bootstrap進行顯著性檢驗，但是，這種顯著性的解釋與從總體中隨機取樣是不同的——它是從已有的數據中不斷抽取樣本，再怎麼抽樣，也不會出現不在已有樣本中的個體。
（3）隨機性質
心理學研究中有兩種性質（或者說兩種情形）的隨機，一種是隨機取樣，一種是隨機分配。通常，研究者很難進行隨機取樣，卻可以做到隨機分配被試，即做隨機實驗。這樣可以近似控制額外變數，但是不能控制取樣偏差。例如，如果被試全是男性，那麼，對女性來說就可能是無效的——即使這樣的統計分析是顯著的。
（4）研究性質
心理學研究可以分為驗證性研究和探索性研究。從而，即使數據來自隨機樣本，也要視研究性質而確定統計檢驗的顯著性水準。在社會科學中，驗證性分析的顯著性水準通常是.05，而探索性分析的顯著性水準通常是.10（Garson, 2013），心理學研究也可以採用這個標準。
 
（5）檢驗性質
心理學研究者在做統計顯著性檢驗時，具體情況存在差異，有些是基於事前假設進行的，有些則是數據釣魚，即對於可能存在效應的情況都進行檢驗，根據檢驗結果，描述顯著的內容。如果是數據釣魚，採用.05的顯著性水準，就是單憑幾率，20種效應中就可能有一種是顯著的。對於心理學研究中更常見的事後多重比較，是需要調整顯著性水準的，通常進行Bonferroni校正，即把原來確定的顯著性水準除以進行比較的個數，例如，顯著性水準是.05，進行3個兩兩比較，那麼，顯著性要調整為.05/3 = .017。
3、第二類錯誤與統計效力
如果研究者認為沒有效應而其實存在這種效應時，就發生了第二類錯誤（“假陰性”）。除非有其他目的，否則，這是研究者不太願意犯的一類錯誤。如果研究者是由於p > .05而得出沒有效應的結論，那麼只要問一個問題就行了——研究具有足夠的統計效力嗎？如果效力大於等於.80，那麼，不存在這種效應的結論，有令人滿意的統計效度。一般而言，研究的統計效力與樣本量有關，因此，研究者能夠通過增大樣本量而提高統計效力。這裏的核心問題是，研究者如果得到一個不顯著的統計檢驗結果，那麼就需要核查效應量與統計效力，如果效應量是中等及以上，顯然，此時的統計效力過低，統計效度是有問題的。
4、交互作用與非線性
心理學研究中的許多變數之間均可能存在複雜的關係，最常見的是交互作用。在研究時，有無考察某個或某些變數，決定著能否檢驗相應的效應，特別是交互作用。同樣地，一個變數的效應檢驗，與研究時這個變數的取值及水準數量有關，如果取值範圍有限、如果只取兩個水準，那麼，也難以考察出它的非線性效應。雖然，往往從研究設計的角度分析這類問題，但是，它們涉及的內容包括了統計效度，即，相應效應的檢驗，是通過統計分析而進行的。
5、因果關係模棱兩可
總體而言，心理學研究是考察變數之間的因果關係的，然而，有些變數之間的關係非常微妙，特別是在相關研究而非實驗研究中，研究者在看待與解釋因果關係時可能會出現方向性困惑，論及的因果關係顯得模棱兩可。例如，學生的幸福感與學習行為——這兩個變數之間的因果關係如何確定呢？提高學生的幸福感，是為了讓學生有更好的學習行為？培養學生更好的學習行為，是為了提高學生的幸福感？統計分析可以為相應的問題提供數據支持，但是，如果理論建構存在問題，這樣的統計分析也無法顯示應有的作用。
三、統計效度與內部效度的比較
顯然，在心理學研究中，統計效度和內部效度比較類似，都涉及引數與因變數之間的因果關係。但是，統計效度和內部效度強調的是不同角度的問題。內部效度要保證的是，引數和因變數之間的因果關係是真實的、而非虛假的；統計效度要保證的是統計數據的結果是真實的、而非偶然的。內部效度需要統計效度提供支持，統計效度是為內部效度服務的。失去統計效度的基礎，內部效度也難以存在。
由於內部效度廣為人知，無須多說，這裏再總括性地提示一個問題，即，研究者應當形成一種意識，不能以為研究結果是以統計分析為基礎的，就是可靠的、有效的。特別地，在數據分析時需要考慮一些基本層面，例如，數據本身的品質，包括測量水準、研究設計、研究程式、作答情況；統計分析的條件，亦即參數檢驗的數據甄別，比如，正態分佈檢驗、方差齊性檢驗、多元共線檢驗、回歸齊性檢驗；統計方法的選擇，涉及需要做多元方差分析時，不能做多個一元方差分析，需要做因素方差分析時，不能做多個單因素方差分析，需要做事前比較的，不能做事後比較，需要做單尾檢驗的，不能做雙尾檢驗——常用的統計軟體包SPSS只呈現雙尾檢驗的結果，研究者需要根據情況，自行調整成單尾檢驗；統計結果的解讀，涉及對統計方法的解讀、對測量工具的解讀——例如，許多測量工具是通過因素分析技術編制的，但是，確定的因素能夠解釋的方差往往相當有限，例如，達不到總方差的60%。
總之，心理學研究者有了研究效度的觀念，對心理學研究也就有了洞若觀火的視野，從而，心理學研究素養也就有了突飛猛進的提升。