仮説検定ではサンプル数を決めてからやらないとダメですよ!!!!!
大学の授業で気づいたことがあった。ある授業でクラウド会計の認知度が増加していると言っていたグループがあった。 引用先のデータはこのサイトのページ中段の認知度の表である。 www.m2ri.jp
この数値(認知度のパーセンテージ)をみて増加している => クラウド会計の認知度は増加していると判断している。 たしかに認知度のパーセンテージだけ見れば認知度は増加している。
が、あまり認知度は増加していないかなと思う。
簡単に表すとこのようになる。
年 | 知っている | 知らない | 計 | 知っている人の割合 |
---|---|---|---|---|
2015 | 12,705 | 9,420 | 22,125 | 57.4% |
2016 | 12,328 | 7,785 | 20,113 | 61.3% |
一応カイ二乗で見てみると
> prop.test(c(12705,12328),c(22125,20113)) 2-sample test for equality of proportions with continuity correction data: c(12705, 12328) out of c(22125, 20113) X-squared = 65.199, df = 1, p-value = 6.769e-16 alternative hypothesis: two.sided 95 percent confidence interval: -0.04811520 -0.02928403 sample estimates: prop 1 prop 2 0.5742373 0.6129369
この時の帰無仮説は認知度は変わらない、対立仮説は認知度が変わった(増加した)となる。
p値は限りなく0に近いし、パッと見、有意差があるように見える。 しかし、サンプル数が多すぎていわゆる「第一種の過誤」を起こしている。
過誤をせずに仮説検定をするには必要なサンプル数を見積もってから行う必要がある。 今回の例ではどのくらい割合が増加すれば認知度が増加したと判断できるかが難しいが、 (かなり少なめに見積もって)5%くらい上がれば少し認知度が上がったと判断できる(と思う)。
> power.prop.test(p1 = 0.57,p2 = 0.62,sig.level = 0.05,power = 0.8,alternative = "one.sided") Two-sample comparison of proportions power calculation n = 1190.827 p1 = 0.57 p2 = 0.62 sig.level = 0.05 power = 0.8 alternative = one.sided
すると適切なサンプル数は1191であると判断できる。
今回のデータを単純に適切なサンプル数に圧縮するとこのようになる。
> n = 0.05; prop.test(c(n*12705,n*12328),c(n*22125,n*20113)) 2-sample test for equality of proportions with continuity correction data: c(n * 12705, n * 12328) out of c(n * 22125, n * 20113) X-squared = 3.1096, df = 1, p-value = 0.07783 alternative hypothesis: two.sided 95 percent confidence interval: -0.08154433 0.00414509 sample estimates: prop 1 prop 2 0.5742373 0.6129369
2015年と2016年ではあまり差がないようという結果になる。
まとめ
ちゃんとサンプル数を見積もってから検定をしよう!!! おかしなところがあったらコメントかtwitter(@fuji_and_tora)まで