精度から、観測の最小費用を求める。
必要な精度に届くには、何を、どこまで測ればよいか。既知の有限体線形モデルで、観測の価格と許容誤差から、達成可能な最小期待費用を求めました。適応的な方式やランダム化方式を含むすべての許容戦略に対する下界と、それに届く観測計画を示しています。
ここで、止められる。
{000, 100}残る未知は一次元
出力は000でよい。
000と100は、どちらも二つの候補から一ビット以内にあります。
まだ、測る必要がある。
{000, 111}残る未知は一次元
両方に届く出力はない。
候補間の距離は三ビット。両方から一ビット以内にある出力は存在しません。
精度を指定すると、費用の下限が決まる。
観測の候補は、既知の線形写像からなる有限のメニューです。回復する目標も、状態の既知の線形写像です。読取りにノイズはなく、既知の非負価格を足し合わせて取得費用を数えます。状態は有限体上の線形空間全体、または既知のアフィン制約に従う範囲を動きます。
まず、出力全体に許す偏差の集合を指定します。たとえば、三つの出力のうち一つまでの誤りを認める。その許容範囲から外れる確率の上限がδです。許す偏差の大きさと、失敗を許す確率を分けて、どの真の状態に対しても出力全体の失敗確率がδ以下となることを要求します。
要求精度が達成可能なとき、確率1で終了してこの条件を満たす全戦略について、最悪の状態での期待観測費用を最小化した値を厳密に求めました。下界は、乱数の利用、観測値に応じた選び直し、途中停止まで含みます。そして、下界に一致する計画を構成できます。
最適な計画は、あらかじめ定めた高々二つの観測集合から、確率的に一つを選ぶ形で実現できます。取得結果に応じた最終出力も、必要に応じてランダム化します。一つの集合は複数の読取りを含みます。二つという数は混合する計画の数であり、観測回数ではありません。リスクの保証は乱数を含む実行全体に対するもので、停止後の各分岐に同じ保証を課す条件とは異なります。
関係を学ぶ費用も、生産とともに数える。
観測の関係が、最初からすべて分かっているとは限りません。別のモデルでは、既知のセンサー形式に含まれる、未知で固定された共有バイアスbを扱いました。各センサーはxᵢ XOR bを費用cで返し、参照観測はxᵢを費用Lで直接取得します。独立した校正でbを取得する非負の費用をaとし、価格は0 < c < Lです。bと各対象の値xᵢは未知のビットで、読取りにノイズはありません。
一つの生産対象でセンサーと参照観測を対にすると、その対象の値と共有バイアスが同時に分かります。必要なのは、費用cとLを払う二つの読取りです。生産のために得た情報が、残りの対象を読むための校正にもなります。
N ≥ 1個の対象を誤りなく回復する最小総費用は、学習の費用を含めて次の等式で与えられます。下界はすべての許容戦略に対して成立します。
全対象を参照で読む費用N·Lと、全対象をセンサーで読む基準費用N·cに、独立校正または生産対象でのセンサーと参照の組合せでバイアスを得る費用を足したものを比較しています。価格に応じて、学習の方法そのものが切り替わります。
N = n、c = 1、L = n、a = n²(n ≥ 2)とすると、共同で最適化した費用は2nです。一方、「独立校正を済ませてから生産する、または全対象を参照で読む」という制約付き手順の最良費用はn²。この制約付き手順との費用比n/2は、nとともに上限なく増大します。
複数デバイスのモデルでも、最低総費用を「生産の基準費用」と「校正関係をつなぐ、または直接参照を使う最小費用」の和として特徴づけました。各デバイスで、全対象を参照観測に切り替える追加費用が、独立校正と生産対象でのセンサー・参照の組合せのうち、安い方の追加費用以上であれば、最小全域木が厳密解を与えます。ここで確定したのは、既知のグラフ最適化手法と、学習と生産の費用を合わせた全戦略最適値との対応です。
残る未知の量だけでは、止められない。
費用を抑えるには、必要な情報がそろった時点で止めることも大切です。ただし、残っている未知情報が同じ一次元でも、停止できるとは限りません。
残る答えが000か100で、三つの出力のうち一ビットまでの誤りを許すなら、000と出力すれば両方に対して条件を満たします。これ以上の観測は不要です。
残る答えが000か111なら、同じ一ビットの許容範囲に両方を収める出力はありません。失敗確率をゼロにするには、観測を続けなければなりません。未知の次元は同じでも、残る答えの配置が違う。停止の可否を決めるのは、許容誤差に対するその形です。
学んだ関係も、観測で確かめる。
データから学んだモデルの正しさを前提にせず、実際の観測から検査を終える時点を決める問題を扱いました。対象は有限のバッチです。予測を固定し、正確な参照値を取得した項目だけを修正する。残る誤りの許容数と、それを超える確率の上限を、あらかじめ定めます。
この精度条件をどの誤り方に対しても満たす、ランダム化や適応的な取得を含む検査方式を対象に、予測がすべて正しかった場合の最小期待検査費用を厳密に求めました。下界と、それを達成する方法が一致します。学んだ予測をどこまで確かめればよいかを、必要な観測の費用として捉える結果です。
追加の観測費にも、上限を与える。
学習のために購入した参照値が、同じバッチの最終的な出力にもなる場合、その取得は学習と仕事の完了を同時に進めます。参照一件の価格が等しいとき、学習段階の取得数に上限を設け、必要に応じて検査を続けることで、学習と検査を合わせた参照取得数を、同じ精度条件を満たす直接確認の取得数以下に抑える方式を構成しました。
学んだ関係が役立たなかった場合でも、直接確認に対して追加する観測費用は、予測のための特徴量取得に割り当てた予算内に収まります。
観測の価値を、精度と価格から捉える。
固定した観測計画の混合と、二つの支持点で最適値を実現する構造には、Wasilkowski(1986)のガウス平均ケース解析に直接の先例があります。本稿で示したのは、具体的な費用・リスクモデルの厳密な特徴づけ、共有バイアスを学ぶ方法が切り替わる価格の境界、そして下界を達成する構成です。
関係が既知の場合の観測計画から、学んだ関係を確かめるための検査まで。必要な精度に到達するための費用を、取得・学習・確認を合わせて捉える数学的基礎を広げています。
関連文献G. W. Wasilkowski (1986). Information of Varying Cardinality. Journal of Complexity 2(3), 204–228.
Waudby-Smith & Ramdas (2020). Confidence sequences for sampling without replacement.