読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 キーワードで探す

1.1 日本語を2文字ずつに分ける

キーワード検索は、文書を語に分けて索引を作り、問いの語を多く含む文書を上位にします。英語は空白で語に分けられますが、日本語の文には空白がありません。

PostgreSQL の標準の全文検索は、文字の種類で語を切り出すため、空白のない日本語の文は、長い1語として扱われやすくなります。日本語の語に分ける方法には、形態素解析(辞書で語に分ける)と、2文字ずつに分ける方法(bigram)があります。練習では、辞書の要らない2文字ずつの方法を使います。

# practice/agent_data/search.py
bigrams("支払保留")
# ['支払', '払保', '保留']

「払保」のように意味のない組も入りますが、問いと文書の両方を同じ方法で分けるため、「支払保留」を含む文書は「支払」「保留」の両方で見つかります。練習の KeywordIndex は、この2文字の語で BM25(語の出現数と珍しさで点数を付ける方法)の点数を付けます。

方法長所短所
形態素解析語の区切りが自然。索引が小さい辞書にない語(社内の略語、品番)を分け損ねる
2文字ずつ辞書が要らない。どんな語でも部分一致で見つかる索引が大きい。意味のない組で、関係のない文書も点数を得る

PostgreSQL で日本語の全文検索をするときは、2文字ずつの索引を作る pg_bigm や、日本語に対応した PGroonga などの拡張を使います(参考情報)。

2 / 20