🦙 LlamaIndex 0.8 : インストールとセットアップ / スターター・チュートリアル (翻訳/解説)

翻訳 : クラスキャット セールスインフォメーション
作成日時 : 11/09/2023 (v0.8.59)

* 本ページは、LlamaIndex の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• Getting Started : Installation and Setup
• Getting Started : Starter Tutorial

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

🦙 LlamaIndex 0.8 : インストールとセットアップ

Pip からのインストール

Install from pip:

pip install llama-index

NOTE : LlamaIndex は様々なパッケージ (NLTK, HuggingFace, …) 用のローカルファイルをダウンロードしてストアするかもしれません。これらのファイルがセーブされる場所を制御するには環境変数 “LLAMA_INDEX_CACHE_DIR” を使用します。

ソースからインストールしたい場合には、後述の「ソースからインストール」をご覧ください。

 

重要: OpenAI 環境セットアップ

デフォルトでは、テキスト生成には OpenAI gpt-3.5-turbo モデルを使用して検索取得と埋め込みのためには text-embedding-ada-002 を使用します。これを使用するために、OPENAI_API_KEY を環境変数としてセットアップする必要があります。貴方の OpenAI アカウントにログインして 新しい API キーを作成する ことで API キーを取得できます。

Tip : 多くの他の利用可能な LLM の一つを使用する こともできます。LLM プロバイダーに依存して、追加の環境キー + トークンのセットアップが必要かもしれません。

 

ローカルモデルのセットアップ

OpenAI を使用したくない場合は、環境は自動的に、テキスト生成には LlamaCPP と llama2-chat-13B を使用して検索取得と埋め込みのためには BAAI/bge-small-en を使用するようにフォールバックします。これらのモデルはすべてローカルで実行されます。

LlamaCPP を使用するには、ここ のインストールガイドに従ってください。llama-cpp-python パッケージをインストールする必要があります、できれば GPU をサポートするようにコンパイルされたパッケージです。これは CPU と GPU で約 11.5GB のメモリを使用します。

ローカル埋め込みを使用するには、単純に “pip install sentence-transformers” を実行してください。ローカル埋め込みモデルは約 500MB のメモリを使用します。

 

ソースからインストール

このレポジトリ: git clone https://github.com/jerryjliu/llama_index.git を “git clone” します。次に以下を行います :

• poetry のインストール – これはパッケージ依存関係を管理するのに役立ちます。
  

• “poetry shell” – このコマンドは仮想環境を作成します、これはインストールされたパッケージをこのプロジェクトに含めたままにします。
  

• “poetry install” – これはコアパッケージ要件をインストールします。
  

• (オプション) “poetry install –with dev,docs” – これは殆どのローカル開発に必要なすべての依存関係をインストールします。

 

🦙 LlamaIndex 0.8 : スターター・チュートリアル

これは有名な「5 行のコード」によるスターターサンプルです。

 

データのダウンロード

このサンプルは Paul Graham のエッセイ “What I Worked On” のテキストを使用します。これと他の多くのサンプルはレポジトリの “examples” フォルダで見つけられます。

それを取得する最も簡単な方法は、このリンクを通してそれをダウンロード して data という名前のフォルダにセーブすることです。

 

OpenAI API キーの設定

LlamaIndex はデフォルトでは OpenAI の gpt-3.5-turbo を使用します。API キーを環境変数として設定して API キーがコードで利用可能であることを確実にしてください。MacOS と Linux では、これはコマンド :

export OPENAI_API_KEY=XXXXX

そして Windows ではそれは :

set OPENAI_API_KEY=XXXXX

 

データをロードしてインデックスを構築する

data フォルダを作成したのと同じフォルダで、以下の内容で starter.py という名前のファイルを作成します :

from llama_index import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

これは data フォルダのドキュメントに対してインデックスを構築します (これはこの場合エッセイテキストだけから構成されますが、多くのドキュメントを含むことができるでしょう)。

Your directory structure should look like this:

├── starter.py
└── data
    └── paul_graham_essay.txt

 

データをクエリーする

以下の行を starter.py に追加します。

query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

これはインデックスに対して Q&A 用エンジンを作成して単純な質問を尋ねます。以下に類似したレスポンスが返されるはずです : The author wrote short stories and tried to program on an IBM 1401.

 

ロギングを使用してクエリーとイベントを見る

内部的に何が起きているか見たいですか？ロギングを追加しましょう。starter.py の冒頭にこれらの行を追加します :

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

verbose 出力のためにレベルを DEBUG に設定するか、より少ない出力用に level=logging.INFO を使用します。

 

インデックスを保存する

デフォルトでは、ロードしたデータは一連のベクトル埋め込みとしてメモリにストアされます。埋め込みをディスクにセーブすることで時間 (そして OpenAI へのリクエスト) を節約できます。それはこの行で実行できます :

index.storage_context.persist()

デフォルトでは、これはデータをディレクトリ・ストレージにセーブしますが、persist_dir パラメータを渡すことでそれを変更できます。

もちろん、データをロードしない限り、永続性の恩恵は得られません。そこでインデックスが存在しなければそれをを生成してストアし、存在すればそれをロードするように starter.py を変更しましょう :

import os.path
from llama_index import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    StorageContext,
    load_index_from_storage,
)

# check if storage already exists
if not os.path.exists("./storage"):
    # load the documents and create the index
    documents = SimpleDirectoryReader("data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    # store it for later
    index.storage_context.persist()
else:
    # load the existing index
    storage_context = StorageContext.from_defaults(persist_dir="./storage")
    index = load_index_from_storage(storage_context)

# either way we can now query the index
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
print(response)

Now you can efficiently query to your heart’s content! But this is just the beginning of what you can do with LlamaIndex.

以上