阿摩線上測驗
登入
阿摩線上測驗
登入
學習重點 看測驗分數與外在效標是否一致：將自編測驗分數與其他適當測驗或實際表現比較，是在蒐集效標關聯效度的證據。 看效標取得的時間：與當前表現比較，著重同時效度；用測驗預測未來學習成就，著重預測效度。兩者都屬於效標關聯效度。 分清效度與其他測驗品質：預測未來成就的能力涉及效度；分數是否穩定涉及信度；能否區分學生程度涉及鑑別度。 效標品質與施測情境都會影響結果：外在效標須有效、可靠，施測時間與情境也須符合評量目的，否則效度係數可能偏低。 同質性提高，相關通常降低：只以經過篩選的資優學生為對象，分數範圍容易受限，使效標關聯效度係數降低。 核心觀念 一、效標關聯效度：以外在表現檢驗測驗分數的意義 效標關聯效度是利用測驗分數與外在效標之間的關係，判斷測驗分數能否適當反映或預測目標表現。外在效標可以是其他適當的標準化測驗分數、學業成績，或與測量目的有關的實際表現。 例如，教師自編數學成就測驗，再比較學生在縣市數學學習能力檢測中的表現。若兩者得分高低或班級排名大致一致，就為效標關聯效度提供了支持證據。重點在於兩組表現的高低變動一致，不要求原始分數完全相同，也不要求兩份測驗採用相同量尺。 同理，教師依課綱編製國語文素養導向測驗後，再檢驗該測驗與國際閱讀素養評量（如 PIRLS）的一致程度，也是以外部測驗作為效標，屬於效標關聯效度的檢驗程序。 效標關聯效度常以相關係數（效度係數）表示。若兩項測量的計分方向相同，理論上也應呈正向關係，則正相關越高，通常表示支持證據越強。不過，解釋係數時仍須考量效標是否適當、受測群體及測量情境，不能只看數字大小。 二、同時效度與預測效度：依效標取得時間區分 比較面向同時效度預測效度 效標時間測驗與效標在相近時間取得先施測，之後再取得效標 主要用途判斷測驗能否反映當前表現判斷測驗能否預測未來表現 例子自編測驗與目前標準化測驗表現的一致程度性向測驗分數與日後學習成就的關係 共同歸屬效標關聯效度效標關聯效度 只要題幹強調測驗能有效預測未來學習成就，就應聯想到預測效度。若選項只列信度、效度、鑑別度與難度，應選「效度高」。這表示測驗對該項預測用途具有支持證據，但不能進一步推論它適合所有評量目的。 三、與內容效度、構念效度等概念的區別 概念判斷重點常見線索 效標關聯效度測驗分數與適當外在效標的關係對照標準化測驗、比較實際成績或排名、預測未來表現 內容效度試題是否適當涵蓋欲測的內容範圍課綱、教材範圍、雙向細目表、內容代表性 構念效度分數是否符合欲測心理構念的理論與證據理論結構、因素分析、聚斂與區辨證據 表面效度從外觀判斷試題是否像在測量目標內容看起來合理、受測者的主觀感受 同一份測驗可以蒐集不同類型的效度證據，作答時必須看題目正在描述哪一種檢驗程序。例如，依課綱編題涉及內容規劃；但若題目問的是「檢驗測驗與 PIRLS 的一致程度」，這個比較程序呈現的是效標關聯效度。 聚斂效度的重點在於，測量相同或相近構念的不同方法，其結果是否如理論預期彼此相關，屬於構念效度的證據。若情境明確以外部學力檢測作為比較標準，重點是自編測驗與外在效標的對應關係，應判為效標關聯效度。「專家效度」則多指由專家審查試題所提供的內容效度證據，不能因測驗依課綱編製，就認定後續所有檢驗都是專家審查。 四、效標關聯效度係數不佳的可能原因 效標不適當：效標必須對應欲測能力。若測量人際溝通，卻選用與溝通能力無關的表現作標準，相關就難以支持測驗用途。 測量不可靠：測驗或效標若含有較多測量誤差，觀察到的相關通常會被削弱。因此，外在效標有效又可靠是有利條件，不是效度偏低的原因。 時間或情境不符合目的：若要了解平常的人際溝通與公眾活動參與情況，卻在疫情盛行、社交與活動機會受限時施測，所得結果可能無法反映平常表現，使效標關聯效度係數偏低。 受測群體範圍受限：群體過於同質時，分數變異小，相關係數也容易偏低（見下一段）。 情境異常是可能原因，並非任何疫情期間的測驗都必然無效。判斷關鍵在於該情境是否妨礙測量目的。若目的本來就是評估特殊情境下的表現，便須依該目的選擇效標並解釋結果。 五、範圍限制效應：只看資優學生，相關可能變小 範圍限制是指受測群體經過篩選後，能力或分數的分布範圍縮小。全校學生程度差異較大；若只選音樂資優班，學生的音樂能力通常較接近，群體同質性提高，分數變異減少，測驗與音樂成績之間的相關係數通常會降低。 因此，全校施測所得效標關聯效度係數若為 .40，改以音樂資優班為對象時，最可能得到小於 .40 的係數。這是群體分布改變造成的結果，不能直接解讀為測驗本身變差。 受測群體分數變異效度係數趨勢 異質（如全校學生）大較高 同質（如資優班、經篩選的群體）小通常降低 常考陷阱 「依課綱編製，所以一定選內容效度」：先確認題目問的是編題依據，還是後續的驗證程序；與外部測驗（如 PIRLS）比較一致程度，應選效標關聯效度。 「與 PIRLS 比較，是專家效度或構念效度」：專家效度看專家審題；構念效度看理論構念的證據。以外部測驗表現作比較標準，是效標關聯效度。 「兩份測驗排名一致，就是表面效度」：排名一致代表已有實際表現的比較證據；表面效度只涉及外觀看起來是否適當。 「與另一份測驗相關，就是聚斂效度」：題目若明確把外部學力檢測當作比較標準，考的是效標關聯效度；聚斂效度是構念效度下的概念。 「能預測未來，表示信度高」：預測準確涉及效度；信度關注穩定與一致，兩者不可互換。 「預測力高，就是鑑別度佳或難度低」：鑑別度關注區分程度，難度關注作答難易，都不是預測效度的定義。 「效標有效可靠、試題難度適中，會造成效度低」：這兩項都是有利或中性的條件；應選擇施測情境異常、效標不適當等真正會干擾測量的原因。 「受試者母群體與外在效標相同，所以相關偏低」：母群體一致本身不是問題；關鍵在於是否經過篩選而使分數範圍縮小，或情境是否干擾測量。 「資優生能力較高，所以相關必定較高」：平均程度高低不等於相關強弱；資優群體較同質，反而容易出現範圍限制。 「換了群體，係數不變或無從判斷」：題目明示由全校改為資優班，就是典型的範圍限制情境，應判斷係數變小。 記憶口訣 「外標看關聯，未來看預測；課綱看內容，穩定看信度。」 「範圍縮、變異少，相關通常往下掉。」 「效標要可靠，情境要對焦。」