読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 権限と記録

4.1 権限の漏れを確かめるテスト

権限は、答えが正しいかとは別に、漏れていないかを確かめます。練習の tests/test_evals.py の test_no_leak_for_tanaka は、物流部の田中さんとして、すべての道具と質問集の全問を流し、見てはいけないものが一度も出ないことを確かめます。

s = DocumentSearch()
for q in load_jsonl("questions.jsonl"):
    ids = s.search(TANAKA, q["question"], k=12).ids
    assert not set(ids) & {"D02", "D05", "D11"}, q["id"]
assert "経理/" not in Workspace(TANAKA).list_files()
確かめる範囲見てはいけないもの
型のある問い合わせ製造部の請求書(#1、#2、#3、#7、#8)
文書の検索経理課だけの文書(D02、D05、D11)
探索経理/ のフォルダ

権限のテストは、答えの評価と違い、合格率ではなく「0件」を求めます。1件でも漏れたら、ほかの評価が良くても公開しません。

利用者の種類ごと(経理課・物流部・購買課・情報システム課)に同じテストを用意し、道具を足したり、文書の権限の設定を変えたりするたびに流します。

14 / 20