Gemma : Tutorials : KerasNLP による Getting Started

Posted on by Sales Information

Gemma : Tutorials : KerasNLP による Getting Started (翻訳/解説)

翻訳 : クラスキャット セールスインフォメーション
作成日時 : 03/07/2024

* 本ページは、google の generative-ai-docs レポジトリの以下のドキュメントを翻訳した上で適宜、補足説明したものです ：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

Gemma : Tutorials : KerasNLP による Getting Started

このチュートリアルは KerasNLP を使用して Gemma を始める方法を示します。Gemma は Gemini モデルを作成するために使用されたのと同じ研究やテクノロジーから構築された、軽量で最先端のオープンモデルのファミリーです。KerasNLP は Keras で実装された自然言語処理 (NLP) モデルのコレクションで、JAX, PyTorch と TensorFlow で動作します。

このチュートリアルでは、幾つかのプロンプトに対するテキスト応答を生成するために Gemma を使用します。Keras が初めてであるなら、始める前に Getting started with Keras を読みたいかもしれませんが、必要ありません。このチュートリアルを進めるにつれて keras について更に学習できます。

 

セットアップ

Gemma セットアップ

このチュートリアルを完了するには、最初に Gemma Setup のセットアップ手順を完了する必要があります。Gemma セットアップ手順は以下を行う方法を示します :

  • kaggle.com で Gemma へアクセスする。

  • Gemma 2B モデルを実行するために十分なリソースを持つ Colab ランタイムを選択する。

  • Kaggle ユーザ名と API キーを生成して構成する。

Gemma セットアップを完了したあと、次のセクションに進みます、そこでは Colab 環境のために環境変数を設定します。

 

環境変数の設定

KAGGLE_USERNAME と KAGGLE_KEY の環境変数を設定します。

import os
from google.colab import userdata

# Note: `userdata.get` is a Colab API. If you're not using Colab, set the env
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get('KAGGLE_USERNAME')
os.environ["KAGGLE_KEY"] = userdata.get('KAGGLE_KEY')

 

依存関係のインストール

Keras と KerasNLP をインストールします。

# Install Keras 3 last. See https://keras.io/getting_started/ for more details.
!pip install -q -U keras-nlp
!pip install -q -U keras>=3

 

パッケージのインポート

Keras と KerasNLP をインポートします。

import keras
import keras_nlp

 

バックエンドの選択

Keras は単純さと使いやすさのために設計された高位、マルチフレームワークの深層学習 API です。Keras 3 は TensorFlow, JAX または PyTorch のバックエンドを選択できます。3 つすべてがこのチュートリアルで動作します。

import os

os.environ["KERAS_BACKEND"] = "jax"  # Or "tensorflow" or "torch".

 

モデルの作成

KerasNLP は多くのポピュラーな モデルアーキテクチャ の実装を提供しています。このチュートリアルでは、causal 言語モデリング用の end-to-end な Gemma モデルである、GemmaCausalLM を使用してモデルを作成します。causal 言語モデルは前のトークン群に基づいて次のトークンを予測します。

from_preset メソッドを使用してモデルを作成します :

gemma_lm = keras_nlp.models.GemmaCausalLM.from_preset("gemma_2b_en")

from_preset　はプリセットされたアーキテクチャと重みからモデルをインスタンス化します。上のコードでは、文字列 “gemma_2b_en” はプリセット・アーキテクチャとして 20 億のパラメータを持つ Gemma モデルを指定しています。(70 億パラメータを持つ Gemma モデルもまた利用可能です。大きなモデルを Colab で実行するには、有料プランで利用できるプレミアム GPU へのアクセスが必要です。あるいは、Kaggle や Google Cloud 上 Gemma 7B モデルで分散調整 を実行できます。)

モデルについて詳細情報を取得するために summary を使用します :

gemma_lm.summary()

summary からわかるように、モデルは 25 億の訓練可能なパラメータを持ちます。

 

テキストの生成

Now it’s time to generate some text! モデルはプロンプトに基づいてテキストを生成する generate メソッドを持ちます。オプションの max_length 引数は生成シークエンスの最大長を指定します。

プロンプト “What is the meaning of life?” で試してみましょう。

gemma_lm.generate("What is the meaning of life?", max_length=64)

'What is the meaning of life?\n\nThe question is one of the most important questions in the world.\n\nIt’s the question that has been asked by philosophers, theologians, and scientists for centuries.\n\nAnd it’s the question that has been asked by people who are looking for answers to their own lives'

別のプロンプトで再度 generate を呼び出してみましょう。

gemma_lm.generate("How does the brain work?", max_length=64)

'How does the brain work?\n\nThe brain is the most complex organ in the human body. It is responsible for controlling all of the body’s functions, including breathing, heart rate, digestion, and more. The brain is also responsible for thinking, feeling, and making decisions.\n\nThe brain is made up'

JAX か TensorFlow バックエンドで実行している場合、2 回目の generate 呼び出しは殆ど瞬間的に返ることに気づくでしょう。これは与えられたバッチサイズと max_length に対する generate への各呼び出しが XLA でコンパイルされるからです。最初の実行は高価ですが、続く実行は遥かに高速です。

入力としてリストを使用してバッチ化されたプロンプトを供給することもできます :

gemma_lm.generate(
    ["What is the meaning of life?",
     "How does the brain work?"],
    max_length=64)

['What is the meaning of life?\n\nThe question is one of the most important questions in the world.\n\nIt’s the question that has been asked by philosophers, theologians, and scientists for centuries.\n\nAnd it’s the question that has been asked by people who are looking for answers to their own lives',
 'How does the brain work?\n\nThe brain is the most complex organ in the human body. It is responsible for controlling all of the body’s functions, including breathing, heart rate, digestion, and more. The brain is also responsible for thinking, feeling, and making decisions.\n\nThe brain is made up']

 

オプション: 別のサンプラーを試す

compile の sampler 引数の設定で GemmaCausalLM に対する生成ストラテジーを制御できます。デフォルトでは、”greedy” サンプリングが使用されます。

実験的に、”top_k” ストラテジーを設定してみましょう :

gemma_lm.compile(sampler="top_k")
gemma_lm.generate("What is the meaning of life?", max_length=64)

'What is the meaning of life? That was a question I asked myself as I was driving home from work one night in 2012. I was driving through the city of San Bernardino, and all I could think was, “What the heck am I doing?”\n\nMy life was completely different. I'

デフォルトの greedy アルゴリズムが常に最大確率でトークンを選択する一方で、top-K アルゴリズムは top K 確率のトークン群から次のトークンをランダムに選択します。

You don’t have to specify a sampler, and you can ignore the last code snippet if it’s not helpful to your use case. If you’d like learn more about the available samplers, see Samplers.

 

以上