レビュー件数と平均点だけで選ぶときの注意。少数レビューの偏りとベイズ平均の考え方
平均点だけを見ると起きること
レビューが 2 件で平均 5.0 の作品と、200 件で平均 4.6 の作品があるとします。平均点だけで並べると前者が上に来ますが、この 5.0 はたった 2 人の評価です。3 人目が 3.0 を付ければ平均は 4.3 に下がります。一方、200 件で 4.6 の作品は、あと 1 件どんな点数が付いても平均はほとんど動きません。
件数が少ないうちは、平均点は「作品の評価」というより「最初に評価した数人の意見」を表しています。最初にレビューを書く人は、その作品を強く気に入ったか、強く不満だったかのどちらかに寄りやすいと考えられます。したがって少数レビューの平均点は、高い側にも低い側にも偏りやすく、件数が増えるにつれて本来の水準に落ち着いていきます。
件数と平均を同時に見る
この問題への単純な対処は、件数と平均を別々に見ることです。たとえば「平均 4.5 以上かつ 30 件以上」のように、件数の下限を自分で決めて絞り込む方法があります。当サイトの一覧では各作品の件数と平均を並べて表示しているので、この見方はすぐにできます。
ただし、件数の下限を決めると、配信が始まったばかりの作品はどれも対象外になります。新しい作品を候補から外さずに、なおかつ少数レビューの偏りも抑えたい場合に使われるのが、次に説明する補正付きの平均です。
ベイズ平均の考え方
当サイトのランキングは「ベイズ平均」と呼ばれる補正を使っています。計算式は次のとおりです。
スコア ＝ (n × 平均点 ＋ m × C) ÷ (n ＋ m)
- n はその作品のレビュー件数、平均点はその作品の平均点です。
- C は「全体の基準点」で、レビューが 1 件以上ある作品について、作品ごとの平均点を単純に平均した値です。
- m は「補正の強さ」で、レビューが 1 件以上ある作品のレビュー件数の中央値です。
式の意味を言葉にすると、「その作品に、全体の基準点 C を付けた架空のレビューが m 件あらかじめ入っているものとして平均を取り直す」ということです。件数 n が m より小さい作品は、架空のレビューの影響が大きいので、スコアは C の近くに引き寄せられます。件数 n が m よりずっと大きい作品は、架空のレビューの影響が薄れ、スコアは元の平均点に近づきます。
先ほどの例で、仮に C を 4.0、m を 10 とすると、次のようになります。
- 2 件で平均 5.0 の作品: (2 × 5.0 ＋ 10 × 4.0) ÷ 12 ＝ 約 4.17
- 200 件で平均 4.6 の作品: (200 × 4.6 ＋ 10 × 4.0) ÷ 210 ＝ 約 4.57
平均点では上だった 2 件の作品が、補正後は下になりました。これは「2 件の 5.0 より、200 件の 4.6 のほうが信頼できる」という直感を数式にしたものです。
C と m は毎週変わる
C と m は固定の値ではなく、その週の取得範囲に含まれる作品から計算し直しています。ランキングのページの冒頭に、その週に使った C と m の値を表示しています。取得範囲の作品構成が変われば C と m も変わるため、同じ件数と平均点の作品でも、週によってスコアがわずかに違うことがあります。
補正しても残る限界
- ベイズ平均は「件数が少ない作品の平均点を割り引く」だけで、レビューの中身までは見ていません。当サイトはレビュー本文を取得していないので、点数の理由は分かりません。
- 平均点は取得元から文字列として返ってくる値をそのまま数値にしたものです。取得元での集計方法（小数点以下の丸め方など）は当サイトでは分かりません。
- レビュー件数は増えることが基本ですが、レビューの削除などで減ることもあります。当サイトの「レビュー増分」がマイナスになっている場合はそのケースです。
- ランキングの対象は、当サイトが週 1 回取得している範囲（新着順、人気順、レビュー順の各一覧）に入った作品だけです。取得範囲に入っていない作品は、どれだけ件数が多くても順位に現れません。
まとめ
- 少数レビューの平均点は、最初の数人の意見に強く引きずられます。
- 件数の下限を決めて絞るか、件数を考慮した補正付きの平均を使うかのどちらかが必要です。
- 当サイトのベイズ平均は、全体の基準点 C を付けた架空のレビューが m 件あるものとして平均を取り直す方法です。
- 補正は件数の偏りを抑えるだけで、点数の理由や取得元の集計方法までは分かりません。