4 Direct Preference Optimization

大規模言語モデルのファインチューニングのような大規模な問題に強化学習アルゴリズムを適用する際の課題を踏まえ、我々の目標は選好を直接用いる方策最適化の単純な手法を導出することである。報酬を学習してから強化学習によって最適化する従来のRLHF手法とは異なり、我々の手法では、報酬モデルの特定のパラメータ化を利用することで、強化学習の学習ループを介さずに最適方策を閉形式で導出できる。次に詳しく述べるように、我々の重要な着想は、報酬関数から最適方策への解析的な写像を利用し、報酬関数上の損失関数を方策上の損失関数へと変換することである。この変数変換によるアプローチでは、Bradley-Terryモデルなど、既存の人間の選好モデルに基づく最適化を維持したまま、明示的な独立した報酬モデルの適合を避けられる。本質的には、方策ネットワークが言語モデルと（暗黙的な）報酬の両方を表す。

DPO目的関数の導出

一般的な報酬関数 $r$ のもとで、先行研究と同じ強化学習目的関数である Eq. 3 から始める。先行研究 [31]、[30]、[19]、[15] に従うと、Eq. 3 の KL制約付き報酬最大化目的関数の最適解が次の形式をとることは容易に示せる。

$$\pi_r(y\mid x)=\frac{1}{Z(x)}\pi_{\mathrm{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right), \tag{4}$$

ここで、$Z(x)=\sum_y\pi_{\mathrm{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)$ は分配関数である。完全な導出については付録 A.1 を参照されたい。真の報酬関数 $r^*$ のMLE推定値 $r_\phi$ を用いる場合であっても、分配関数 $Z(x)$ の推定には依然として大きなコストがかかり [19]、[15]、この表現は実際に利用しにくい。しかし、Eq. 4 を変形すれば、報酬関数を、それに対応する最適方策 $\pi_r$、参照方策 $\pi_{\mathrm{ref}}$、および未知の分配関数 $Z(\cdot)$ によって表せる。具体的には、まず Eq. 4 の両辺の対数を取り、いくつかの代数的操作を行うと、次を得る。

$$r(x,y)=\beta\log\frac{\pi_r(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\log Z(x). \tag{5}$$

この再パラメータ化を、真の報酬 $r^*$ と対応する最適モデル $\pi^*$ に適用できる。幸いなことに、Bradley-Terryモデルは2つの完了文の報酬の差のみに依存する。すなわち、$p^*(y_1\succ y_2\mid x)=\sigma(r^*(x,y_1)-r^*(x,y_2))$ である。$r^*(x,y)$ に対する Eq. 5 の再パラメータ化を選好モデル Eq. 1 に代入すると、分配関数は相殺され、人間の選好確率を最適方策 $\pi^*$ と参照方策 $\pi_{\mathrm{ref}}$ のみを用いて表せる。したがって、Bradley-Terryモデルのもとでの最適なRLHF方策 $\pi^*$ は、次の選好モデルを満たす。

$$p^*(y_1\succ y_2\mid x)=\frac{1}{1+\exp\left(\beta\log\frac{\pi_{\mathrm{ref}}(y_2\mid x)}{\pi^*(y_2\mid x)}-\beta\log\frac{\pi^*(y_1\mid x)}{\pi_{\mathrm{ref}}(y_1\mid x)}\right)}. \tag{6}$$

導出は付録 A.2 に示す。Eq. 6 ではBradley-Terryモデルを用いているが、付録 A.3 に示すように、より一般的なPlackett-Luceモデル [32]、[23] のもとでも同様に式を導出できる。報酬モデルではなく最適方策を用いて人間の選好データの確率を表せるようになったため、パラメータ化された方策 $\pi_\theta$ に対する最尤目的関数を定式化できる。報酬モデル化のアプローチ（すなわち Eq. 2）と同様に、方策の目的関数は次のようになる。

$$L_{\mathrm{DPO}}(\pi_\theta;\pi_{\mathrm{ref}})=-\mathbb{E}_{(x,y_w,y_l)\sim D}\left[\log\sigma\left(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\right)\right]. \tag{7}$$

この方法では、別のパラメータ化を用いて暗黙的な報酬を適合させ、その最適方策は単に $\pi_\theta$ となる。さらに、我々の手順は再パラメータ化されたBradley-Terryモデルの適合と等価であるため、選好データ分布に関する適切な仮定のもとでの一致性 [4] など、一定の理論的性質を備えている。DPOの理論的性質と他の研究との関係については、Section 5 でさらに議論する。

DPOの更新は何を行うのか？

DPOの仕組みを理解するには、損失関数 $L_{\mathrm{DPO}}$ の勾配を分析するとよい。パラメータ $\theta$ に関する勾配は、次のように表せる。

$$\begin{aligned} \nabla_\theta L_{\mathrm{DPO}}(\pi_\theta;\pi_{\mathrm{ref}}) ={}&-\beta\mathbb{E}_{(x,y_w,y_l)\sim D}\left[\sigma\left(\hat r_\theta(x,y_l)-\hat r_\theta(x,y_w)\right)\right.\\ &\left.\qquad\qquad\qquad\quad\cdot\left(\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\right)\right], \end{aligned}$$

ここで、$\hat r_\theta(x,y)=\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$ は、言語モデル $\pi_\theta$ と参照モデル $\pi_{\mathrm{ref}}$ によって暗黙的に定義される報酬である（詳細は Section 5）。直感的には、損失関数 $L_{\mathrm{DPO}}$ の勾配は、選好される完了文 $y_w$ の尤度を上げ、選好されない完了文 $y_l$ の尤度を下げる。重要なのは、例の重みが、暗黙的な報酬モデル $\hat r_\theta$ が選好されない完了文をどれほど高く評価しているかに応じて定まり、$\beta$ によってスケーリングされる点である。つまり、KL制約の強さを考慮しつつ、暗黙的な報酬モデルが完了文の順序をどれほど誤っているかに応じて重み付けされる。我々の実験は、この重み付けの重要性を示唆している。重み係数を用いない素朴な手法では、言語モデルが退化する可能性がある（付録 表 3）。

DPOの概要

DPOの一般的なパイプラインは次のとおりである。1) 各プロンプト $x$ に対して $\pi_{\mathrm{ref}}(\cdot\mid x)$ から完了文 $y_1,y_2\sim\pi_{\mathrm{ref}}(\cdot\mid x)$ をサンプリングし、人間の選好によってラベル付けして、オフラインの選好データセット $D=\{(x^{(i)},y_w^{(i)},y_l^{(i)})\}_{i=1}^N$ を構築する。2) 与えられた $\pi_{\mathrm{ref}}$ と $D$、および所望の $\beta$ に対して、$L_{\mathrm{DPO}}$ を最小化するよう言語モデル $\pi_\theta$ を最適化する。実際には、サンプルを生成して人間の選好を収集するよりも、公開されている選好データセットを再利用することが望ましい。選好データセットは $\pi_{\mathrm{SFT}}$ を用いてサンプリングされているため、利用可能な場合は $\pi_{\mathrm{ref}}=\pi_{\mathrm{SFT}}$ と初期化する。しかし、$\pi_{\mathrm{SFT}}$ が利用できない場合は、選好される完了文 $(x,y_w)$ の尤度を最大化して $\pi_{\mathrm{ref}}$ を初期化する。すなわち、

$$\pi_{\mathrm{ref}}=\arg\max_\pi\mathbb{E}_{x,y_w\sim D}[\log\pi(y_w\mid x)].$$

この手順により、利用できない真の参照分布と、DPOで用いる $\pi_{\mathrm{ref}}$ との間の分布シフトを軽減できる。実装とハイパーパラメータの詳細については、付録 B を参照されたい。