ベンフォードの法則

[←]　[↑]　[→]

世の中のいろいろな数値を集めると、最上位の数字は1から9のどれが多くなるか？

→ 答えは、1が最も多く30%、大きい数字ほど少なく9の出現率は4.6% 【ベンフォードの法則】

この問題も「世界でもっとも奇妙な数学パズル(ジュリアン・ハヴィル)」という本で知った。直観的には、世の中のいろいろな数値を集めると最上位の数字(first digit)は1から9まで均等に現れるような気がするが、実際には一様分布ではなく対数的な分布になるとベンフォードの法則(Benford's law)は言っている。

ここで対数的な分布(logarithmic distribution)とは、対数目盛の各区間の広さlog10(d+1)-log10(d)=log10(1+1/d)に比例した分布という意味である。

本によると、ベンフォードが集めた数値(Benford, F (1938). "The Law of Anomalous Numbers." Proc. Amer. Phil. Soc. 78, 551-572)は次表のようなもので、川の面積といった連続量の測定値だけでなく、住所のように元々1から始まる数字が多そうな人工的な数値や、原価(原文ではCost Data, Concrete)とかデザイン(原文ではDesign Data Generator)のように何の数値かわからないものもある。行ごとに見るとlog10(1+1/d)に一致してないものもあるが、全行を平均すると驚くほどよく一致している。なぜこんなことになるのだろうか。

数値の出拠

最上位の数字(d)の出現率[%]

標本数

1

2

3

4

5

6

7

8

9

川の面積

31.0

16.4

10.7

11.3

7.2

8.6

5.5

4.2

5.1

335

人口(U.S.A.)

33.9

20.4

14.2

8.1

7.2

6.2

4.1

3.7

2.2

3259

物理定数

41.3

14.4

4.8

8.6

10.6

5.8

1.0

2.9

10.6

104

新聞記事

30.0

18.0

12.0

10.0

8.0

6.0

6.0

5.0

5.0

100

比熱

24.0

18.4

16.2

14.6

10.6

4.1

3.2

4.8

4.1

1389

空気流における圧力損失

29.6

18.3

12.8

9.8

8.3

6.4

5.7

4.4

4.7

703

空気流における馬力の損失

30.0

18.4

11.9

10.8

8.1

7.0

5.1

5.1

3.6

690

分子量

26.7

25.2

15.4

10.8

6.7

5.1

4.1

2.8

3.2

1800

川の排水量

27.1

23.9

13.8

12.6

8.2

5.0

5.0

2.5

1.9

159

原子量

47.2

18.7

5.5

4.4

6.6

4.4

3.3

4.4

5.5

91

1/n, sqrt(n),...

25.7

20.3

9.7

6.8

6.6

6.8

7.2

8.0

8.9

5000

デザイン

26.8

14.8

14.3

7.5

8.3

8.4

7.0

7.3

5.6

560

リーダーズ・ダイジェスト

33.4

18.5

12.4

7.5

7.1

6.5

5.5

4.9

4.2

308

コンクリート?の原価

32.4

18.8

10.1

10.1

9.8

5.5

4.7

5.5

3.1

741

X線電圧

27.9

17.5

14.4

9.0

8.1

7.4

5.1

5.8

4.8

707

アメリカン・リーグ(1936)

32.7

17.6

12.6

9.8

7.4

6.4

4.9

5.6

3.0

1458

黒体輻射

31.0

17.3

14.1

8.7

6.6

7.0

5.2

4.7

5.4

1165

住所

28.9

19.2

12.6

8.8

8.5

6.4

5.6

5.0

5.0

342

n1,..., n8, n!

25.3

16.0

12.0

10.0

8.5

8.8

6.8

7.1

5.5

900

死亡率

27.0

18.6

15.7

9.4

6.7

6.5

7.2

4.8

4.1

418

平均

30.6

18.5

12.3

9.4

8.0

6.4

5.1

4.9

4.8

log10(1+1/d)

30.1

17.6

12.5

9.7

7.9

6.7

5.8

5.1

4.6

◇

ここで勘違いしてはいけないのは、1が多いというのは最上位の数字であって数値自身ではない。例えば、マークシートテストで1が最も正答率が高いと言っているわけではない(1か11か12か...の正答率は高いかもしれないが)。そこでまず、元の数値の分布が与えられたとき最上位の数字の分布がどのように計算されるかを考える。

最上位の数字がdであるとは、数値xを浮動小数点表示（例123.4=1.234x102）したときに

仮数部rが区間d≦r＜d+1に入っていることである。

したがって、この仮数部rの密度φ(r)が最上位の数字の分布を表す。

仮数部の定義からわかるように、仮数部rの密度φ(r)は数値xの密度Φ(x)で次のように計算される。

rで微分すると、次式が得られる。

これを見てすぐ気がつくのは、元の分布が同じ形であっても測定の基準点や単位(スケール)を変えただけで、最上位の数字の分布は変わってしまうことである。例えば、同じ一様分布でも、1≦x＜10でΦ(x)が一様ならばφ(r)も一様になるが、2≦x＜20でΦ(x)が一様であってもφ(r)は一様にならない。

◇◇

次に、最上位の数字の分布が対数的になるのは元の数値がどのような分布のときかを考える。

仮数部rが区間d≦r＜d+1に入っている確率を対数的

にする最も簡単な方法は、分布関数として対数関数

をとればよい。rで微分すると密度は1/rである。

このように仮数部rの密度φ(r)を1/rにするには、元の数値xの密度Φ(x)として1/xをとればよい。ただし範囲は0＜x＜∞にすると発散してしまうから有限の区間[10k,10m)に限る必要がある。

こうすると確かに仮数部rの密度φ(r)は1/rになる。

結局、集めた数値xの分布の密度がもし1/xになっていれば、最上位の数字の分布が対数的になることがわかった。

◇◇◇

それにしても1/xというのは一様分布や正規分布に比べて、あまりありそうもない分布である。1/xにどんな意味があるのか。ジュリアン・ハヴィルの本によると、1/xという密度には、横軸を1/aに縮小(正規化を保つために縦軸はa倍する)しても不変であるという性質がある（→補足1)。

すなわち、1/xという密度は、スケール(ものさし,単位)が変わっても形が変わらない特別な分布である

たしかに適当に集めてきた数値の中で、メートル法で測った数値をヤード・ポンド法や尺貫法に換算した数値に置き換えても、全体の分布はそんなに変わらないと考えるのが自然である。とはいえ、個々の分布はスケールに依ってがらっと変わってしまうはずだから、なぜ変わらないのか疑問である。

◇◇◇◇

ジュリアン・ハヴィルの本で紹介されている参考文献 "A Statistical Derivation of the Significant-Digit Law."(Hill,TP,1995)では、個々の分布は対数的でなくても、分布を平均すれば対数的になることに注目し、分布関数F(x)の値も確率的であると考えて、

「無作為に分布を選び、それぞれの分布から無作為に数値を選んだとき、分布の選び方がスケールに対して中立になっている(scale unbiased)と仮定すれば、最上位の数字の頻度は対数的な分布に近づいていく」

ということを数学的に定式化している。こう定式化しても、実際に数値をたくさん集めるとスケールに中立になるという仮定自身は証明できないことに変わりない。

ただ、論文ではスケール中立になる確率的な分布(random probability measure(r.p.m))の例を挙げている。それは、「株価(ドル/株)」と「1ドルで買える株(株/ドル)」のように逆数関係になっている分布をペアで選んだ場合である。

一般に、ある数値が1≦r＜10に分布しているとき、逆数s=10/r(範囲を10≧s＞1に合わせるため1/rを10倍している)の分布は次のようになる。

例えば、ある数値の分布が一様分布φ(r)=1/9だとすると、その逆数の分布との平均は次の図のようになる。

この図だとわかりにくいが、横軸を対数log10 rで描くと

となり、一様分布とその逆数の分布の平均は対数的分布F(r)=log10 rに近くなっている。

論文はもう少し数学的に書いてあって、元の数値rの密度と逆数10/rの密度は対数目盛で101/2を中心に左右対称になるから、r.p.mも左右対称に作ればよく、まずF(100)=0,F(101)=1の中央F(101/2)の値を一様に選んで、次に左側の中央F(101/4)と右側の中央F(103/4)の値を一様に選んで、とr.p.mを作って行く。こうして作ったr.p.m.の平均は対数的分布F(r)=log10 rになるそうである。

◇◇◇◇◇

このほかに最上位の数字が対数的分布になる典型的な例として、ジュリアン・ハヴィルの本やHillの論文では、2nのような指数関数的な数列を挙げている。年率何％で増えたり減ったりする数値はよくあるので、これがベンフォードの法則に寄与しているのは納得できる。2nがなぜ対数的分布にしたがうのかは、少し長くなるので次項で説明する。

◇◇◇◇◇◇

(補足1) 逆にスケール不変な密度は1/xしかない。なぜなら、スケール不変の式

が任意のaに対して成り立つならば、aで微分して微分方程式を作ると

両辺をxで積分すると

[←]　[↑]　[→]