はじめに

このブログテンプレートには、数式の解析と表示機能が含まれています。数式の解析は remark-math と rehype-katex によって実現されています。 KaTeXとその関連フォントは _document.js に含まれているので、どのページでも自由にご利用いただけます。 ¹

インライン数式記号は、$ 記号で囲むことで含めることができます。

数式コードブロックは $$ で表記します。

数式ではなく $ 記号自体を使用したい場合は、エスケープ (\$) するか、HTMLエンティティ ($) を指定してください。 ²

インラインまたは手動で番号付けされた脚注もサポートされています。上のリンクをクリックして実際の動作をご確認ください。

OLS推定量の導出

行列表記を使用して、$n$ を観測数、$k$ を説明変数の数とします。

目的変数のベクトル $\mathbf{Y}$ は $n \times 1$ 行列です。

\mathbf{Y} = \left[\begin{array}
  {c}
  y_1 \\
  . \\
  . \\
  . \\
  y_n
\end{array}\right]

説明変数の行列 $\mathbf{X}$ は $n \times k$ 行列です（各行は $k \times 1$ ベクトル）。

\mathbf{X} = \left[\begin{array}
  {ccccc}
  x_{11} & . & . & . & x_{1k} \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  x_{n1} & . & . & . & x_{nn}
\end{array}\right] =
\left[\begin{array}
  {c}
  \mathbf{x}'_1 \\
  . \\
  . \\
  . \\
  \mathbf{x}'_n
\end{array}\right]

誤差項のベクトル $\mathbf{U}$ も $n \times 1$ 行列です。

ベクトル表記を使用した方が簡単な場合もあります。一貫性のために、太字の小文字xでベクトルを、大文字で行列を表します。個別の観測値は添字で表します。

最小二乗法

出発点: $y_i = \mathbf{x}'_i \beta + u_i$

仮定:

1. 線形性（上記で与えられている）
2. $E(\mathbf{U}|\mathbf{X}) = 0$（条件付き独立性）
3. rank($\mathbf{X}$) = $k$（多重共線性なし、すなわちフルランク）
4. $Var(\mathbf{U}|\mathbf{X}) = \sigma^2 I_n$（等分散性）

目的: 残差二乗和を最小化する $\beta$ を求める：

解法: ヒント: $Q$ は $1 \times 1$ のスカラーであり、対称性により $\frac{\partial b'Ab}{\partial b} = 2Ab$ です。

$\beta$ に関する行列微分を取ります：

\begin{aligned}
  \min Q           & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} +
  \beta'\mathbf{X}'\mathbf{X}\beta \\
                   & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\
  \text{[FOC]}~~~0 & =  - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta}                  \\
  \hat{\beta}      & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}                              \\
                   & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i
\end{aligned}