信頼性と妥当性の一問一答(10問)
心理学検定「B2 統計・測定・評価」の「信頼性と妥当性」の問題を、答えと解説つきで並べています。まず自分で答えを考えてから「答えと解説を見る」を開いてください。
-
問1B2-071
古典的テスト理論では、観測得点は「真の得点」と「誤差」の和であると考える。この理論における信頼性係数の定義として、最も適切なものを1つ選べ。
- ① 観測得点と外的基準との相関係数
- ② 観測得点の分散に対する、真の得点の分散の比
- ③ 真の得点の分散に対する、誤差の分散の比
- ④ 誤差の分散に対する、観測得点の分散の比
答えと解説を見る
正解:② 観測得点の分散に対する、真の得点の分散の比
古典的テスト理論では、観測得点の分散は真の得点の分散と誤差分散の和になる。信頼性係数は、観測得点の分散のうち真の得点の分散が占める割合である。0〜1の値をとり、誤差が小さいほど1に近づく。
- ① 誤り。観測得点と外的基準の相関は基準関連妥当性の指標であり、信頼性ではない。
- ② 正しい。信頼性=真の得点の分散/観測得点の分散。誤差が小さいほど1に近づく。
- ③ 誤り。誤差分散と真の得点分散の比は信頼性ではなく、むしろ信頼性が低いほど大きくなる。
- ④ 誤り。誤差分散に対する観測得点分散の比という量は信頼性の定義に使われない。分母と分子の関係も誤っている。
-
問2B2-072
心理検査における「標準化」の説明として、最も適切なものを1つ選べ。
- ① 複数の採点者が同じ答案に同じ得点を与えるよう訓練すること
- ② 全受検者の得点を正規分布に従うよう変換し、偏差値で表すこと
- ③ 各項目の通過率が .50 前後になるよう項目を調整すること
- ④ 実施・採点の手続きを統一し、標準化集団のデータに基づいて結果を解釈する基準を整えること
答えと解説を見る
正解:④ 実施・採点の手続きを統一し、標準化集団のデータに基づいて結果を解釈する基準を整えること
テストの標準化とは、実施方法・採点方法・結果の解釈基準を統一して整えることである。具体的には、標準化集団でのデータから規準(ノーム)を作り、個人の得点を相対的に位置づけられるようにする。偏差値への変換は規準利用の一手法にすぎない。
- ① 誤り。採点者間の一致は評定者間信頼性の問題である。標準化は手続きと解釈基準の統一を指す。
- ② 誤り。偏差値への変換は得点の表示方法であり、テストの標準化そのものの定義ではない。
- ③ 誤り。通過率の調整は項目分析にもとづく項目選択の話で、標準化とは別の概念である。
- ④ 正しい。実施・採点手続きの統一と、標準化集団にもとづく解釈基準(規準)の整備が標準化の中心である。
-
問3B2-073
同じ検査を同じ集団に一定の間隔をあけて2回実施し、得点間の相関を求める再検査法(再テスト法)で推定される信頼性が、主に表すものとして最も適切なものを1つ選べ。
- ① 時間をおいても検査得点が安定していること
- ② 複数の評定者の判断が一致していること
- ③ 検査を構成する項目どうしの等質性
- ④ 検査得点が外的基準とよく対応していること
答えと解説を見る
正解:① 時間をおいても検査得点が安定していること
再検査法で得られる信頼性係数は、時間経過に対する得点の安定性を表す。実施間隔が短いと記憶や練習の影響が入りやすく、長いと特性自体が変化しうる点に注意する。項目間の等質性は内的整合性、評定者の一致は級内相関係数などで検討される。
- ① 正しい。同じ検査の2回の得点の相関は、時間的な安定性(再検査信頼性)を表す。
- ② 誤り。評定者間の一致度は評定者間信頼性で、級内相関係数などが用いられる。再検査法とは別。
- ③ 誤り。項目間の等質性は内的整合性であり、α係数や折半法で検討する。
- ④ 誤り。外的基準との対応は基準関連妥当性の問題であり、信頼性ではない。
-
問4B2-074
クロンバック(Cronbach, L. J., 1951)が定式化したα係数に関する記述として、適切でないものを1つ選べ。
- ① 項目数が同じであれば、項目間の平均的な相関が高いほど値は大きくなりやすい
- ② 1回の検査実施のデータから算出でき、内的整合性の指標とされる
- ③ 値が高ければ、その尺度が一次元であることが保証される
- ④ 項目間の平均相関が同程度であれば、項目数が多いほど値は大きくなりやすい
答えと解説を見る
正解:③ 値が高ければ、その尺度が一次元であることが保証される
α係数は内的整合性の指標で、項目間の平均相関が同程度なら項目数が多いほど、項目数が同じなら項目間の平均相関が高いほど大きくなる。ただし値が高くても尺度が一次元とは限らず、複数の因子が含まれていても高い値になりうる。一次元性は因子分析などで別に確認する。
- ① 正しい記述。項目数が同じなら、項目間の平均相関が高いほどα係数は大きくなる。
- ② 正しい記述。再検査法のように2回の実施をせず、1回のデータで推定できる内的整合性の指標である。
- ③ 誤り(正解)。高いα係数は一次元性の証明にならない。複数因子があっても高くなりうる。
- ④ 正しい記述。項目間の平均相関が同程度であれば、項目数が増えるほどα係数は大きくなる。
-
問5B2-075
相関係数の「希薄化」に関する説明として、最も適切なものを1つ選べ。
- ① 測定の信頼性が低いほど、観測された相関係数は真の得点間の相関より小さくなりやすい
- ② 外れ値の影響で、相関係数が真の値より大きく見積もられる
- ③ 標本の選抜によって得点の範囲が狭まり、相関係数が小さくなる
- ④ 測定の信頼性が低いほど、観測された相関係数は真の得点間の相関より大きくなりやすい
答えと解説を見る
正解:① 測定の信頼性が低いほど、観測された相関係数は真の得点間の相関より小さくなりやすい
測定に誤差が含まれると、観測された2変数の相関は真の得点間の相関より小さくなる。これが希薄化である。両変数の信頼性係数を用いた希薄化修正で、真の相関を推定できる。範囲の制限は別の現象である。
- ① 正しい。測定誤差のために観測相関が低く見積もられることが希薄化で、信頼性が低いほど顕著になる。
- ② 誤り。外れ値の影響は希薄化とは関係がない。希薄化は誤差による相関の低下を指す。
- ③ 誤り。得点範囲の制限による相関の低下は「範囲の制限(選抜効果)」で、希薄化とは別の現象である。
- ④ 誤り。関係が逆である。信頼性が低いと、観測相関は小さく見積もられる。
-
問6B2-076
ある企業が新しい適性検査を入社時に実施し、1年後の職務成績との相関を調べて、この検査が将来の成績をどの程度予測できるかを検討した。ここで確認しようとしている妥当性として、最も適切なものを1つ選べ。
- ① 構成概念妥当性における弁別的妥当性
- ② 内容的妥当性
- ③ 予測的妥当性
- ④ 併存的妥当性
答えと解説を見る
正解:③ 予測的妥当性
基準関連妥当性は、検査得点と外的基準の関係で検討する。基準を同時期に測るものが併存的妥当性、将来の基準を予測できるかを見るものが予測的妥当性である。本問は1年後の職務成績が基準なので予測的妥当性にあたる。
- ① 誤り。弁別的妥当性は、理論上無関係な構成概念との相関が低いことを確認するもので、本問の手続きとは異なる。
- ② 誤り。内容的妥当性は項目が対象領域を代表しているかを検討するもので、外的基準との相関は用いない。
- ③ 正しい。将来に得られる外的基準(職務成績)との関係を調べているので、予測的妥当性である。
- ④ 誤り。併存的妥当性は、同じ時期に得た外的基準との対応を見る。本問は1年後の基準なので該当しない。
-
問7B2-077
信頼性と妥当性に関する記述のうち、適切でないものを1つ選べ。
- ① 基準関連妥当性は、検査得点と外的基準との相関などによって検討される
- ② 信頼性が高い検査であれば、その検査の妥当性も必ず高いといえる
- ③ 内容的妥当性は、項目が測定しようとする内容領域を適切に代表しているかを、専門家の判断などにもとづいて検討する
- ④ 構成概念妥当性の検討では、同じ構成概念を測る他の尺度との高い相関と、異なる構成概念を測る尺度との低い相関の両方が証拠となる
答えと解説を見る
正解:② 信頼性が高い検査であれば、その検査の妥当性も必ず高いといえる
信頼性は妥当性の必要条件であるが、十分条件ではない。測定が安定していて誤差が小さくても、測りたい対象とは別のものを一貫して測っている可能性があるため、信頼性が高いことは妥当性が高いことを保証しない。たとえば、体重計は正確で安定していても、知能を測る道具としては妥当でない。一方、信頼性が低い検査では、測定誤差が大きいため、検査得点と外的基準との相関(妥当性係数)も高くなりにくい。妥当性係数は検査の信頼性係数の平方根を超えられない(正確には、検査の信頼性係数と基準の信頼性係数の積の平方根以下)ので、信頼性が低いほど妥当性係数の上限も低くなる。
- ① 正しい記述。基準関連妥当性は、検査得点と外的基準との関係(相関)によって検討する。
- ② 誤り(正解)。信頼性が高くても妥当性が高いとは限らない。信頼性は妥当性の必要条件であるが十分条件ではない。
- ③ 正しい記述。内容的妥当性は、項目内容が対象領域を代表しているかを、主に専門家の判断によって検討する。
- ④ 正しい記述。同じ概念を測る尺度との高い相関(収束的証拠)と、異なる概念を測る尺度との低い相関(弁別的証拠)の両方が構成概念妥当性の証拠となる。
-
問8B2-078
キャンベル(Campbell, D. T.)とフィスク(Fiske, D. W.)は、複数の特性を複数の方法で測定した相関を並べた「多特性多方法行列」を用いて、構成概念妥当性を検討する方法を提案した。この行列において、構成概念妥当性を支持するパターンとして最も適切なものを1つ選べ。
- ① 特性や方法にかかわらず、すべての相関が一様に高い
- ② 異なる特性を同じ方法で測定した相関が高く、同じ特性を異なる方法で測定した相関はそれより低い
- ③ 同じ特性を異なる方法で測定した相関が高く、異なる特性を同じ方法で測定した相関はそれより低い
- ④ 同じ特性を異なる方法で測定した相関と、異なる特性を異なる方法で測定した相関が同程度である
答えと解説を見る
正解:③ 同じ特性を異なる方法で測定した相関が高く、異なる特性を同じ方法で測定した相関はそれより低い
多特性多方法行列では、収束的妥当性と弁別的妥当性の二つを分けて判断する。収束的妥当性は、同じ特性を異なる方法で測った相関(妥当性対角)が十分に高いことで示される。弁別的妥当性は、その妥当性対角の相関が、異なる特性を測った相関(同じ方法のものも異なる方法のものも)より大きいという大小関係で判断される。したがって、同じ特性を異なる方法で測った相関が高く、異なる特性を同じ方法で測った相関がそれより低いパターンが支持の証拠となる。なお、異なる特性でも同じ方法で高い相関が出る場合は、方法の影響(方法分散)が示唆される。
- ① 誤り。すべての相関が一様に高いと、同一特性の相関が他の相関を上回らず、弁別的妥当性の証拠が得られない。特性を区別できていないことになる。
- ② 誤り。逆のパターンで、特性ではなく測定方法の共通性が相関を作っている(方法の影響)ことを示す。
- ③ 正しい。同一特性・異方法の相関が高く(収束的妥当性)、異特性・同方法の相関がそれより低い(弁別的妥当性)ことが支持の条件である。
- ④ 誤り。同一特性・異方法の相関が異特性・異方法の相関を上回らないので、弁別的妥当性の証拠が得られない。
-
問9B2-079
項目分析の手法である G-P 分析の説明として、最も適切なものを1つ選べ。
- ① 項目を奇数番と偶数番に分け、2つの得点の相関から信頼性を推定する方法
- ② 各項目の得点と外的基準との相関を求め、項目ごとの予測的妥当性を調べる方法
- ③ 受検者の特性値θを仮定し、項目特性曲線から項目の困難度を推定する方法
- ④ 総得点によって受検者を上位群と下位群に分け、項目ごとに両群の通過率(または平均値)を比較して、項目の識別力を調べる方法
答えと解説を見る
正解:④ 総得点によって受検者を上位群と下位群に分け、項目ごとに両群の通過率(または平均値)を比較して、項目の識別力を調べる方法
G-P分析(Good-Poor分析)は、総得点の上位群(G:上位25〜27%程度など)と下位群(P:下位25〜27%程度など)で各項目の通過率(段階評定の項目では平均値)を比較し、項目が得点の高低を弁別できているかを見る項目分析の手法である。上位群の値が下位群より明確に高い項目は識別力が高く、差が小さい項目や逆転している項目は、内容や表現の見直しが必要と判断される。
- ① 誤り。奇数・偶数に分ける方法は折半法(奇偶法)で、2つの得点の相関をスピアマン・ブラウンの公式で補正して信頼性を推定する。内的整合性に基づく推定法の一つである。G-P分析ではない。
- ② 誤り。外的基準との相関は基準関連妥当性の検討であり、G-P分析ではない。
- ③ 誤り。特性値θと項目特性曲線を使うのは項目反応理論の方法である。
- ④ 正しい。上位群と下位群の通過率(または平均値)を比べ、項目の識別力を調べるのがG-P分析である。
-
問10B2-080
項目反応理論(IRT)の特徴として、最も適切なものを1つ選べ。
- ① モデルが適合していれば、項目母数は尺度の線形変換(原点と単位の違い)を除いて受検者集団に依存せず(母数の不変性)、等化によって共通の尺度上で比較できる。
- ② 受検者の能力の推定値として、正答した項目数にあたる総得点(素点)をそのまま用いる。
- ③ 測定の精度は特性値θにかかわらず一定であり、全受検者に1つの信頼性係数が与えられる。
- ④ 観測得点を真の得点と誤差得点に分解することを、理論の出発点とする。
答えと解説を見る
正解:① モデルが適合していれば、項目母数は尺度の線形変換(原点と単位の違い)を除いて受検者集団に依存せず(母数の不変性)、等化によって共通の尺度上で比較できる。
項目反応理論では、項目特性曲線にもとづき、項目反応のパターンと項目母数(困難度・識別力など)から、最尤推定などで受検者の特性値θを推定する。モデルが適合していれば、項目母数は尺度の原点と単位の違い(線形変換)を除いて受検者集団に依存しない。ただし、集団ごとに推定した値がそのまま一致するわけではない。共通項目などを用いた等化(リンキング)で尺度をそろえることで、異なる項目セットの結果も同じ尺度上で比べられる。IRTではテスト情報量と標準誤差がθごとに求まり、測定精度はθによって変わる。これは、全受検者に1つの信頼性係数を与える古典的テスト理論とは考え方が異なる。古典的テスト理論では、総得点を能力の推定値とし、通過率を困難度の指標、項目と総得点の相関(I-T相関・点双列相関)を識別力の指標として使う。これらの値は、検査を受けた集団に依存しやすい。
- ① 正しい。母数の不変性は、モデルが適合している場合に、尺度の線形変換を除いて成り立つIRTの重要な特徴である。集団ごとの推定値を比べるには、等化(リンキング)で尺度をそろえる必要がある。
- ② 誤り。総得点を能力の推定値とするのは古典的テスト理論の考え方である。IRTでは、項目反応のパターンと項目母数から最尤推定などでθを推定する。なお、古典的テスト理論でも、通過率は困難度、項目と総得点の相関は識別力の指標であり、能力の推定には使わない。
- ③ 誤り。IRTではテスト情報関数によって、θごとに測定精度(標準誤差)が求まり、精度はθによって変わる。全受検者に1つの信頼性係数を与えるのは古典的テスト理論の考え方である。
- ④ 誤り。観測得点を真の得点と誤差得点の和とみなすのは、古典的テスト理論の前提である。IRTの出発点は、項目特性曲線による項目反応のモデル化である。
B2 統計・測定・評価のほかの論点
問題はすべてこのサイトのオリジナルで、本物の過去問ではありません。AI で作り、別の AI が答えと根拠を確かめた物だけを載せていますが、まちがいが残っているかもしれません。