Gemma : 概要 (README) (翻訳/解説)
翻訳 : クラスキャット セールスインフォメーション
作成日時 : 02/27/2024
* 本ページは、google-deepmind/gemma レポジトリの以下のドキュメントを翻訳した上で適宜、補足説明したものです：
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
- 人工知能研究開発支援
- 人工知能研修サービス(経営者層向けオンサイト研修)
- テクニカルコンサルティングサービス
- 実証実験(プロトタイプ構築)
- アプリケーションへの実装
- 人工知能研修サービス
- PoC(概念実証)を失敗させないための支援
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
- クラスキャット セールス・マーケティング本部 セールス・インフォメーション
- sales-info@classcat.com ; Website: www.classcat.com ; ClassCatJP
Gemma : 概要 (README)
Gemma は、Gemini の研究とテクノロジーに基づいた、Google DeepMind によるオープンウェイトな大規模言語モデル (LLM) のファミリーです。
このレポジトリは Flax と JAX に基づいた、推論の実装とサンプルを含みます。
Gemma について更に学習する
- Gemma の 技術レポート がモデルの機能を詳述しています。
- チュートリアル、他の ML フレームワークでのリファレンス実装等については、https://ai.google.dev/gemma にアクセスしてください。
クイックスタート
インストール
- Gemma をインストールするには、Python 3.10 またはそれ以上を使用する必要があります。
- JAX for CPU, GPU or TPU をインストールします。JAX Web サイト の指示に従ってください。
- 実行する。
python -m venv gemma-demo . gemma-demo/bin/activate pip install git+https://github.com/google-deepmind/gemma.git
モデルのダウンロード
モデルチェックポイントは http://kaggle.com/models/google/gemma で Kaggle から利用可能です。Flax モデルのバリエーションの一つを選択し、⤓ ボタンをクリックしてモデルアーカイブをダウンロードしてから、そのコンテンツをローカルディレクトリに抽出します。アーカイブはモデル重みとトークナイザーの両方を含み、例えば 2b Flax バリエーションは以下を含みます :
2b/ # Directory containing model weights tokenizer.model # Tokenizer
ユニットテストの実行
ユニットテストを実行するには、オプションの [test] 依存関係をインストールし (例えばソースツリーのルートから pip install -e .[test] を使用)、それから :
pytest .
sampler_test.py のテストはデフォルトではスキップされることに注意してください、トークナイザーは Gemma ソースとともには配布されないからです。これらのテストを実行するには、上記の指示に従ってトークナイザーをダウンロードし、そして sampler_test.py の _VOCAB 定数を tokenizer.model へのパスで更新します。
サンプル
サンプルのサンプリング・スクリプトを実行するには、重みディレクトリとトークナイザーへのパスを渡します。
python examples/sampling.py -- \
--path_checkpoint=/path/to/archive/contents/2b/ \
--path_tokenizer=/path/to/archive/contents/tokenizer.model
幾つかの Colab ノートブック・チュートリアルもあります :
- colabs/sampling_tutorial.ipynb はサンプリング例を含む Colab ノートブックです。
- colabs/fine_tuning_tutorial.ipynb は英仏翻訳のようなタスクのために Gemma を微調整する方法の基本的なチュートリアルを含む Colab です。
- colabs/gsm8k_eval.ipynb はリファレンス GSM8K eval 実装を含む Colab です。
これらのノートブックを実行するには、重みとトークナイザー (上記参照) のローカルコピーをダウンロードして、ckpt_path と vocab_path 変数を対応するパスで更新する必要があります。
システム要件
Gemma は CPU, GPU と TPU 上で実行できます。GPU については、2B チェックポイントのためには GPU で 8GB+ RAM が推奨され、7B チェックポイントのためには 24GB+ RAM が推奨されます。
Contributing, License, Disclaimer
(訳註: 原文 参照)
以上