🦜️🔗LangChain : モジュール : モデル I/O – 言語モデル : チャットモデル : キャッシング (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 08/30/2023

* 本ページは、LangChain の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• Modules : Model I/O – Language models : Chat models : Caching

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

🦜️🔗 LangChain : モジュール : モデル I/O – 言語モデル : チャットモデル : キャッシング

LangChain はチャットモデル用のオプションのキャッシング層を提供しています。これは 2 つの理由で役立ちます :

それは、同じ補完を複数回リクエストすることが多い場合には LLM プロバイダーに行なう API 呼び出しの数を削減することでお金を節約できます。それは LLM プロバイダーに行なう API 呼び出しの数を削減することでアプリケーションをスピードアップすることができます。

import langchain
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI()

In Memory Cache

from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()

# The first time, it is not yet in cache, so it should take longer
llm.predict("Tell me a joke")

    CPU times: user 35.9 ms, sys: 28.6 ms, total: 64.6 ms
    Wall time: 4.83 s
    

    "\n\nWhy couldn't the bicycle stand up by itself? It was...two tired!"

# The second time it is, so it goes faster
llm.predict("Tell me a joke")

    CPU times: user 238 µs, sys: 143 µs, total: 381 µs
    Wall time: 1.76 ms


    '\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'

SQLite キャッシュ

rm .langchain.db

# We can do the same thing with a SQLite cache
from langchain.cache import SQLiteCache
langchain.llm_cache = SQLiteCache(database_path=".langchain.db")

# The first time, it is not yet in cache, so it should take longer
llm.predict("Tell me a joke")

    CPU times: user 17 ms, sys: 9.76 ms, total: 26.7 ms
    Wall time: 825 ms


    '\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'

# The second time it is, so it goes faster
llm.predict("Tell me a joke")

    CPU times: user 2.46 ms, sys: 1.23 ms, total: 3.7 ms
    Wall time: 2.67 ms


    '\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'

以上