🦜️🔗LangChain : モジュール : 検索 – ドキュメントローダー (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 09/01/2023
* 本ページは、LangChain の以下のドキュメントを翻訳した上で適宜、補足説明したものです：
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
クラスキャット 人工知能 研究開発支援サービス
◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :
- 人工知能研究開発支援
- 人工知能研修サービス(経営者層向けオンサイト研修)
- テクニカルコンサルティングサービス
- 実証実験(プロトタイプ構築)
- アプリケーションへの実装
- 人工知能研修サービス
- PoC(概念実証)を失敗させないための支援
◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
- 株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
- sales-info@classcat.com ; Web: www.classcat.com ; ClassCatJP
🦜️🔗 LangChain : モジュール : 検索 – ドキュメントローダー
INFO : サードパーティ・ツールとの組み込みドキュメントローダーの統合についてのドキュメントは Integrations にアクセスしてください。
データをソースから Document としてロードするためにドキュメントローダーを使用します。Document はテキストのピースと関連するメタデータです。例えば、単純な .txt ファイルをロードしたり、Web ページのテキストコンテンツをロードしたり、YouTube 動画のトランスクリプトをロードするためにさえドキュメントローダがあります。
ドキュメントローダは設定されたソースからデータをドキュメントとしてロードする “load” メソッドを公開しています。それらはデータをメモリに遅延してロードするための “lazy load” もオプションで実装しています。
Get started
最も単純なローダーはファイルをテキストとして読む込み、そしてそれらすべてを一つの Document に配置します。
from langchain.document_loaders import TextLoader
loader = TextLoader("./index.md")
loader.load()
[
Document(page_content='---\nsidebar_position: 0\n---\n# Document loaders\n\nUse document loaders to load data from a source as `Document`\'s. A `Document` is a piece of text\nand associated metadata. For example, there are document loaders for loading a simple `.txt` file, for loading the text\ncontents of any web page, or even for loading a transcript of a YouTube video.\n\nEvery document loader exposes two methods:\n1. "Load": load documents from the configured source\n2. "Load and split": load documents from the configured source and split them using the passed in text splitter\n\nThey optionally implement:\n\n3. "Lazy load": load documents into memory lazily\n', metadata={'source': '../docs/docs_skeleton/docs/modules/data_connection/document_loaders/index.md'})
]
以上