6. 記述統計：平均、分散、標準偏差

Table of Contents

これまでの線形代数や微分積分は、主に機械学習モデルの「内部構造」や「学習プロセス」を理解するためのものでした。ここからは、分析の対象である「データ」そのものの性質を理解するための統計学 (statistics) の世界に入ります。

その第一歩が、手元にあるデータの特徴を要約し、記述するための記述統計 (descriptive statistics) です。

記述統計とは、収集したデータセットの基本的な特徴を、要約統計量やグラフを用いて記述する手法群です。これは、データ分析の初期段階で行われる探索的データ分析 (Exploratory Data Analysis, EDA) の中核をなします。

記述統計は、データセット全体の「典型的な値は何か？」「どの程度ばらついているか？」といった問いに答えることで、データに対する直感的な理解を深めることを目的とします。

これは、サンプルから母集団の性質を推測する推測統計 (inferential statistics) とは区別されます。

データセットの「中心」や「典型的な値」を示す指標を代表値 (measures of central tendency) と呼びます。

最も広く使われる代表値が算術平均 (arithmetic mean) です。データセット $\{x_1, x_2, \dots, x_N\}$ に含まれる全ての数値を合計し、データの個数 $N$ で割ることで計算されます。母集団の平均は $\mu$ で表されることが多いです。

\mu = \frac{1}{N}\sum_{i=1}^{N} x_i

平均は、データの「重心」と解釈できますが、極端な外れ値（outlier）が存在すると、その値に大きく引きずられるという性質を持ちます。

データがどの程度散らばっているかを示す指標を散布度 (measures of dispersion) と呼びます。代表値だけでは、データの分布の様子を捉えることはできません。

分散は、各データ点が平均からどれだけ離れているかの「散らばり具合」を表す代表的な指標です。具体的には、各データ点の平均からの差（偏差）の二乗の平均値として計算されます。母集団の分散は $\sigma^2$ （シグマ二乗）で表されます。

\sigma^2 = \frac{1}{N}\sum_{i=1}^{N} (x_i - \mu)^2

偏差を二乗する理由は、

分散は単位が元のデータの二乗（例：データがcmなら分散はcm²）になってしまい、直感的な解釈が難しい場合があります。そこで、分散の正の平方根をとったものが標準偏差 (standard deviation) であり、 $\sigma$ で表されます。

\sigma = \sqrt{\sigma^2} = \sqrt{\frac{1}{N}\sum_{i=1}^{N} (x_i - \mu)^2}

標準偏差は、元のデータと同じ単位を持つため、「データはおおよそ平均 $\mu$ を中心に、 $\pm \sigma$ の範囲に散らばっている」といった直感的な解釈が可能になります。

データ分析を行う際は、まずこれらの記述統計量を算出してデータ全体の特性を理解することが、次のステップ（可視化やモデル構築）へ進むための重要な基盤となります。