🦜️🔗LangChain : モジュール : モデル I/O – 出力パーサー : 再試行パーサー / 構造化出力パーサー (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 09/01/2023

* 本ページは、LangChain の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• Modules : Model I/O – Output parsers : Retry parser
• Modules : Model I/O – Output parsers : Structured output parser

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

🦜️🔗 LangChain : モジュール : モデル I/O – 出力パーサー : 再試行パーサー

ある場合には出力を見るだけでパーシングの誤りを修正することが可能ですが、別の場合にはできません。この例は、出力が正しくないフォーマットであるだけでなく、部分的に完成している場合です。以下のサンプルを考えます。

from langchain.prompts import (
    PromptTemplate,
    ChatPromptTemplate,
    HumanMessagePromptTemplate,
)
from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI
from langchain.output_parsers import (
    PydanticOutputParser,
    OutputFixingParser,
    RetryOutputParser,
)
from pydantic import BaseModel, Field, validator
from typing import List

• PromptTemplate
• ChatPromptTemplate
• HumanMessagePromptTemplate
• OpenAI
• ChatOpenAI
• PydanticOutputParser
• OutputFixingParser
• RetryOutputParser

template = """Based on the user question, provide an Action and Action Input for what step should be taken.
{format_instructions}
Question: {query}
Response:"""


class Action(BaseModel):
    action: str = Field(description="action to take")
    action_input: str = Field(description="input to the action")


parser = PydanticOutputParser(pydantic_object=Action)

prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

prompt_value = prompt.format_prompt(query="who is leo di caprios gf?")

bad_response = '{"action": "search"}'

このレスポンスをそのままパースしようとすると、エラーを得ます。

parser.parse(bad_response)

    ---------------------------------------------------------------------------

    ValidationError                           Traceback (most recent call last)

    File ~/workplace/langchain/langchain/output_parsers/pydantic.py:24, in PydanticOutputParser.parse(self, text)
         23     json_object = json.loads(json_str)
    ---> 24     return self.pydantic_object.parse_obj(json_object)
         26 except (json.JSONDecodeError, ValidationError) as e:


    File ~/.pyenv/versions/3.9.1/envs/langchain/lib/python3.9/site-packages/pydantic/main.py:527, in pydantic.main.BaseModel.parse_obj()


    File ~/.pyenv/versions/3.9.1/envs/langchain/lib/python3.9/site-packages/pydantic/main.py:342, in pydantic.main.BaseModel.__init__()


    ValidationError: 1 validation error for Action
    action_input
      field required (type=value_error.missing)

    
    During handling of the above exception, another exception occurred:


    OutputParserException                     Traceback (most recent call last)

    Cell In[6], line 1
    ----> 1 parser.parse(bad_response)


    File ~/workplace/langchain/langchain/output_parsers/pydantic.py:29, in PydanticOutputParser.parse(self, text)
         27 name = self.pydantic_object.__name__
         28 msg = f"Failed to parse {name} from completion {text}. Got: {e}"
    ---> 29 raise OutputParserException(msg)


    OutputParserException: Failed to parse Action from completion {"action": "search"}. Got: 1 validation error for Action
    action_input
      field required (type=value_error.missing)

このエラーを修正するために OutputFixingParser を使用しよとすると、それは混乱するでしょう – つまり、それはアクション入力に対して実際に何を配置すればよいかわかりません。

fix_parser = OutputFixingParser.from_llm(parser=parser, llm=ChatOpenAI())

fix_parser.parse(bad_response)

    Action(action='search', action_input='')

代わりに、RetryOutputParser が使用できます、これはより良いレスポンスを取得するように再試行するためにプロンプト (そして元の出力) を渡します。

from langchain.output_parsers import RetryWithErrorOutputParser

API リファレンス :

• RetryWithErrorOutputParser

retry_parser = RetryWithErrorOutputParser.from_llm(
    parser=parser, llm=OpenAI(temperature=0)
)

retry_parser.parse_with_prompt(bad_response, prompt_value)

    Action(action='search', action_input='who is leo di caprios gf?')

 

🦜️🔗 LangChain : モジュール : モデル I/O – 出力パーサー : 構造化出力パーサー

この出力パーサーは複数のフィールドを返したいときに使用できます。Pydantic/JSON パーサーがより強力である一方で、テキストフィールドだけを持つデータ構造で最初は実験しました。

from langchain.output_parsers import StructuredOutputParser, ResponseSchema
from langchain.prompts import PromptTemplate, ChatPromptTemplate, HumanMessagePromptTemplate
from langchain.llms import OpenAI
from langchain.chat_models import ChatOpenAI

ここでは受け取りたいレスポンス・スキーマを定義します。

response_schemas = [
    ResponseSchema(name="answer", description="answer to the user's question"),
    ResponseSchema(name="source", description="source used to answer the user's question, should be a website.")
]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas)

そしてレスポンスがどのように整形されるべきかのインストラクションを含む文字列を取得してから、それをプロンプトに挿入します。

format_instructions = output_parser.get_format_instructions()
prompt = PromptTemplate(
    template="answer the users question as best as possible.\n{format_instructions}\n{question}",
    input_variables=["question"],
    partial_variables={"format_instructions": format_instructions}
)

これを使用して言語モデルに送るためにプロンプトをフォーマットして、返された結果をパースすることができます。

model = OpenAI(temperature=0)

_input = prompt.format_prompt(question="what's the capital of france?")
output = model(_input.to_string())

output_parser.parse(output)

    {'answer': 'Paris',
     'source': 'https://www.worldatlas.com/articles/what-is-the-capital-of-france.html'}

And here’s an example of using this in a chat model

chat_model = ChatOpenAI(temperature=0)

prompt = ChatPromptTemplate(
    messages=[
        HumanMessagePromptTemplate.from_template("answer the users question as best as possible.\n{format_instructions}\n{question}")  
    ],
    input_variables=["question"],
    partial_variables={"format_instructions": format_instructions}
)

_input = prompt.format_prompt(question="what's the capital of france?")
output = chat_model(_input.to_messages())

output_parser.parse(output.content)

    {'answer': 'Paris', 'source': 'https://en.wikipedia.org/wiki/Paris'}

以上