読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
権限は、答えが正しいかとは別に、漏れていないかを確かめます。練習の tests/test_evals.py の test_no_leak_for_tanaka は、物流部の田中さんとして、すべての道具と質問集の全問を流し、見てはいけないものが一度も出ないことを確かめます。
s = DocumentSearch()
for q in load_jsonl("questions.jsonl"):
ids = s.search(TANAKA, q["question"], k=12).ids
assert not set(ids) & {"D02", "D05", "D11"}, q["id"]
assert "経理/" not in Workspace(TANAKA).list_files()
| 確かめる範囲 | 見てはいけないもの |
|---|---|
| 型のある問い合わせ | 製造部の請求書(#1、#2、#3、#7、#8) |
| 文書の検索 | 経理課だけの文書(D02、D05、D11) |
| 探索 | 経理/ のフォルダ |
権限のテストは、答えの評価と違い、合格率ではなく「0件」を求めます。1件でも漏れたら、ほかの評価が良くても公開しません。
利用者の種類ごと(経理課・物流部・購買課・情報システム課)に同じテストを用意し、道具を足したり、文書の権限の設定を変えたりするたびに流します。
14 / 20