ClassCat® AI Research

Gemma : 概要 (README)

Posted on by Sales Information

Gemma : 概要 (README) (翻訳/解説)

翻訳 : クラスキャット セールスインフォメーション
作成日時 : 02/27/2024

* 本ページは、google-deepmind/gemma レポジトリの以下のドキュメントを翻訳した上で適宜、補足説明したものです：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

クラスキャット 人工知能 研究開発支援サービス

◆ クラスキャット は人工知能・テレワークに関する各種サービスを提供しています。お気軽にご相談ください :

ClassCat Chatbot

◆ 人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。スケジュール。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

  • クラスキャット セールス・マーケティング本部 セールス・インフォメーション
  • sales-info@classcat.com  ;  Website: www.classcat.com  ;   ClassCatJP

 

Gemma : 概要 (README)

Gemma は、Gemini の研究とテクノロジーに基づいた、Google DeepMind によるオープンウェイトな大規模言語モデル (LLM) のファミリーです。

このレポジトリは Flax と JAX に基づいた、推論の実装とサンプルを含みます。　

 
Gemma について更に学習する

  • Gemma の 技術レポート がモデルの機能を詳述しています。

  • チュートリアル、他の ML フレームワークでのリファレンス実装等については、https://ai.google.dev/gemma にアクセスしてください。

 

クイックスタート

インストール

  1. Gemma をインストールするには、Python 3.10 またはそれ以上を使用する必要があります。

  2. JAX for CPU, GPU or TPU をインストールします。JAX Web サイト の指示に従ってください。

  3. 実行する。 
    python -m venv gemma-demo
. gemma-demo/bin/activate
pip install git+https://github.com/google-deepmind/gemma.git

 

モデルのダウンロード

モデルチェックポイントは http://kaggle.com/models/google/gemma　で Kaggle から利用可能です。Flax モデルのバリエーションの一つを選択し、⤓ ボタンをクリックしてモデルアーカイブをダウンロードしてから、そのコンテンツをローカルディレクトリに抽出します。アーカイブはモデル重みとトークナイザーの両方を含み、例えば 2b Flax バリエーションは以下を含みます :

2b/              # Directory containing model weights
tokenizer.model  # Tokenizer

 

ユニットテストの実行

ユニットテストを実行するには、オプションの [test] 依存関係をインストールし (例えばソースツリーのルートから pip install -e .[test] を使用)、それから :

pytest .

sampler_test.py　のテストはデフォルトではスキップされることに注意してください、トークナイザーは Gemma ソースとともには配布されないからです。これらのテストを実行するには、上記の指示に従ってトークナイザーをダウンロードし、そして sampler_test.py　の _VOCAB 定数を　tokenizer.model　へのパスで更新します。

 

サンプル

サンプルのサンプリング・スクリプトを実行するには、重みディレクトリとトークナイザーへのパスを渡します。

python examples/sampling.py -- \
  --path_checkpoint=/path/to/archive/contents/2b/ \
  --path_tokenizer=/path/to/archive/contents/tokenizer.model

幾つかの Colab ノートブック・チュートリアルもあります :

これらのノートブックを実行するには、重みとトークナイザー (上記参照) のローカルコピーをダウンロードして、ckpt_path と vocab_path　変数を対応するパスで更新する必要があります。

 

システム要件

Gemma は CPU, GPU と TPU 上で実行できます。GPU については、2B チェックポイントのためには GPU で 8GB+ RAM が推奨され、7B チェックポイントのためには 24GB+ RAM が推奨されます。

 

Contributing, License, Disclaimer

(訳註: 原文 参照)

 

以上