読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第3節 質問に近い資料を探す

3.2 実際の値と、基準の決め方

bge-m3 で、いくつかの質問の上位3件を計算しました(このPCでの値です)。

質問1位2位3位
水曜日は営業していますか営業時間と定休日 0.688受け取り 0.471予約の締め切り 0.451
季節のタルトを予約したい予約できない商品 0.705予約の締め切り 0.522受け取り 0.520
クレジットカードは使えますか支払い 0.602予約の締め切り 0.475受け取り 0.463
車で行っても大丈夫ですか駐車場 0.510営業時間と定休日 0.472支払い 0.455
求人の募集はありますか営業時間と定休日 0.490受け取り 0.436予約の締め切り 0.427
おすすめのジャムを教えて受け取り 0.363営業時間と定休日 0.360アレルギーのご相談 0.350

資料に答えがある質問は、正しい区切りが1位になっています。資料に答えがない質問(求人、ジャム)でも、類似度は0にはならず、0.36〜0.49ほどになります。どんな質問にも、一番近い区切りは必ずあるからです。

そこで、基準(SEARCH_MIN_SCORE、初期値0.5)より低い区切りは使いません。上の表では、「車で行っても」の0.510は基準を超え、「求人」の0.490は下回ります。差はわずかで、基準をどこに置くかで結果が変わります。基準は、実際の質問と資料で値を確かめて決め、資料やモデルを替えたら見直します。

解答例

1位の「営業時間と定休日」(0.490)が基準を超え、資料として渡されます。資料に求人の話はないため、LLMが「資料にありません」と答えられればよいですが、営業時間の話をもとに的外れな答えを作るおそれが増えます。

11 / 20