TensorFlow 各種ドキュメント翻訳 | TensorFlow の簡単な応用 (2021 年前半)

◆ 2021/04/28 ～ 2021/06/14

HuggingFace Transformers 4.6 : ノートブック : パイプラインの利用

HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。

最近リリースされた 4.6 をベースにドキュメントを幾つか翻訳しています。

今回はノートブックから「パイプラインの利用」です。パイプラインは次のような様々な下流タスクに渡る推論を行なうための高位の使いやすい API を提供します : センテンス分類 (センチメント分析)、トークン分類 (固有表現認識、品詞タギング)、質問応答、マスク Filling、要約、翻訳、特徴抽出 etc.

[詳細] (06/14/2021)

HuggingFace Transformers 4.6 : ノートブック : Getting Started Transformers

最近リリースされた 4.6 をベースにドキュメントを幾つか翻訳しています。

今回はノートブックから「Getting Started Transformers」です。transformers ライブラリは、Bert, Roberta, GPT2, XLNet 等のような Transformer アーキテクチャに基づくモデルを訓練し、利用して共有するためのオープンソース、コミュニティ・ベースのレポジトリです。

[詳細] (06/12/2021)

HuggingFace Transformers 4.6 : ノートブック : Getting Started トークナイザー

最近リリースされた 4.6 をベースにドキュメントを幾つか翻訳しています。

今回はノートブックから「Getting Started トークナイザー」です。transformers ライブラリとともに、@huggingface は一般的なマルチコアマシン上で数十 Gb/s でテキストを訓練、トークン化そしてデコードできる非常に高速なトークン化ライブラリを提供しています。

[詳細] (06/11/2021)

HuggingFace Transformers 4.6 : 上級ガイド : 事前訓練モデル

最近リリースされた 4.6 をベースにドキュメントを幾つか翻訳しています。

今回は上級ガイドから「事前訓練モデル」です。ここでは代表的な利用可能な事前訓練モデルが簡潔な説明とともにリストアップされています。

[詳細] (05/16/2021)

HuggingFace Transformers 4.6 : 概要

HuggingFace Transformers 4.6 がリリースされました。概要 (README) を再翻訳しておきます。BigBird-Pegasus, CLIP & LUKE の各モデルが追加されています。簡単な利用方法と利点、オンラインデモ、モデルのリスト等が説明されます。

Transformer アーキテクチャは NLP で中心的役割を果たしていますが、HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。

[詳細] (05/15/2021)

HuggingFace Tokenizers 0.10 : メモリから訓練 (python)

HuggingFace Transformers のトークナイザーは HuggingFace Tokenizers に依存しています。切り捨て、パディングやモデルが必要な特殊トークンの追加など、前処理の総てを行ないます。Rust 実装のため非常に高速で Python と Node.js のバインディングも持ちます。

最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。今回は「メモリから訓練 (python)」です。クイックツアーではテキストファイルを使用してトークナイザーをどのように構築して訓練するかを見ましたが、実際には任意の Python Iterator を利用できます。このセクションではトークナイザーを訓練する幾つかの異なる方法を見ます。

[詳細] (06/01/2021)

HuggingFace Tokenizers 0.10 : コンポーネント (python)

最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。今回は「コンポーネント (python)」です。トークナイザーを構築するとき、その動作をカスタマイズするためにトークナイザーに様々なタイプのコンポーネントをアタッチできます。このドキュメントは提供されるコンポーネントの殆どをリストアップします。

[詳細] (06/05/2021)

HuggingFace Tokenizers 0.10 : トークン化パイプライン (python)

最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。今回は「トークン化パイプライン (python)」です。encode() を呼び出すとき、入力テキストは次のパイプラインを通過します :

正規化
事前トークン化
モデル
後処理

これらのステップの各々の間に加えて、幾つかのトークン id をデコードすることを望むときに何が起きるか、そしてTokenizer ライブラリがニーズに応じて各ステップをどのようにカスタマイズするかを見ます。

[詳細] (05/31/2021)

HuggingFace Tokenizers 0.10 : Quicktour (python)

最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。今回は「Quicktour (python)」です。Tokenizers ライブラリの機能を素早く見てみます、このライブラリは使いやすく超高速な今日最も利用されているトークナイザーの実装を提供しています。スクラッチから構築することからクイックツアーを始めてそれをどのように訓練するかを見ます。

[詳細] (05/23/2021)

HuggingFace Tokenizers 0.10 : 概要 | Python バインディング概要

最新版の 0.10 ベースで幾つかドキュメントを翻訳します。最初は概要と、Python バインディングの概要です。

[詳細] (05/20/2021)

TensorFlow 2.5.0 リリースノート

TensorFlow 2.5.0 ステーブル版がリリースされました。
いつものようにリリースノートの主要部分を翻訳しておきました。前バージョン (2.4.0) からおよそ 5ヶ月が経過しています。

注意すべき点は TensorFlow pip パッケージが CUDA11.2 と cuDNN 8.1.0 でビルドされていることです。

tf.data, tf.lite, tf.keras, tf.distribute モジュールが更新された他、Modular TensorFlow の実装として PluggableDevice がサポートされます。この結果、3rd パーティのデバイスは StreamExecutor C API / PluggableDevice I/F を通して接続可能になります。

[詳細] (05/14/2021)

HuggingFace Transformers 4.5 : 利用方法 : 多言語モデル

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は「多言語モデル」です。利用可能な殆どのモデルは単一言語モデルですが、幾つかの多言語モデルが利用可能で単一言語モデルとは異なるメカニズムを持ちます。このドキュメントはそれらのモデルの使用方法を詳述します。多言語をサポートする 2 つのモデルは BERT と XLM です。

[詳細] (05/14/2021)

HuggingFace Transformers 4.5 : 利用方法 : トークナイザーの要点

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は「トークナイザーの要点」です。テキストのトークン化はそれを単語や部分単語に分割します、これらは検索テーブルを通して id に変換されます。単語や部分単語を id に変換することは簡単ですので、テキストを単語や部分単語を分割することにフォーカスします。

[詳細] (05/12/2021)

HuggingFace Transformers 4.5 : 利用方法 : 訓練と再調整

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は「訓練と再調整」です。HuggingFace Transformers のモデル・クラスは PyTorch と TensorFlow 2 で互換であるように設計されシームレスに利用可能です。このチュートリアルでは、いずれのフレームワークでも利用可能な標準訓練ツールを使用してモデルをどのように再調整するか (or スクラッチから訓練するか) を示します。

[詳細] (05/11/2021)

HuggingFace Transformers 4.5 : 利用方法 : データの前処理

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は「データを前処理する」です。このチュートリアルでは、 Hugging Transformers を使用して貴方のデータをどのように前処理するかを探求します。このための主要ツールは tokenizer と呼ぶものです。

[詳細] (05/11/2021)

HuggingFace Transformers 4.5 : 利用方法 : モデルの要点

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は「モデルの概要」です。これは Hugging Transformers で利用可能なモデルの概要です。個々のモデルは以下のカテゴリーの一つに分類されます :

自己回帰モデル
オートエンコーダ・モデル
sequence-to-sequence モデル
ProphetNet
検索ベースモデル

[詳細] (05/10/2021)

HuggingFace Transformers 4.5 : 利用方法 : タスクの要点

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。

今回は Transformer の利用方法から「タスクの要点」で、ライブラリを利用するとき頻度の高いユースケースが示されます。利用可能なモデルはユースケースで素晴らしい多用途性を可能にします。質問応答、シークエンス分類、固有表現認識等々のようなタスクのための使用方法が紹介されます。

[詳細] (05/06/2021)

HuggingFace Transformers 4.5 : Gettiing Started : 用語集

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。今回は Gettiing Started から「用語集」です。基本的な一般用語について簡単に説明された後、モデル入力について詳述されます。

[詳細] (05/06/2021)

HuggingFace Transformers 4.5 : Gettiing Started : 哲学

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。今回は Gettiing Started から「哲学」というタイトルで、HuggingFace Transformers の幾つかの目標と主要なコンセプトについて説明されます。

[詳細] (05/05/2021)

HuggingFace Transformers 4.5 : Gettiing Started : クイック・ツアー

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。今回は Gettiing Started から「クイック・ツアー」です。Transformers ライブラリの特徴を概観します。ライブラリは、テキストのセンチメントを分析するような自然言語理解 (NLU) タスク、そしてプロンプトを新しいテキストで補完したり他の言語に翻訳するような自然言語生成 (NLG) のための事前訓練モデルをダウンロードできます。

最初にそれらの事前訓練モデルを推論で利用するためにパイプライン API をどのように容易に活用するかを見ます。それから、ライブラリがそれらのモデルへのアクセスをどのように与えて貴方のデータを前処理することを手助けするかを見ます。

[詳細] (04/28/2021)

AutoNLP 0.2 : 音声認識

AutoNLPは Hugging Face エコシステムとシームレスに統合された、最先端の NLP モデルを自動的に訓練・配備するための方法です。対応する NLP タスクは二値分類、マルチクラス分類、固有表現認識です。

0.2.6 をベースにドキュメントを幾つか翻訳しています。今回は音声認識です。AutoNLP は音声 (発話) モデルの再調整をサポートしますので、自動音声認識モデルを用意に訓練することができます。

[詳細] (05/05/2021)

AutoNLP 0.2 : 要約

0.2.6 をベースにドキュメントを幾つか翻訳しています。今回は要約です。要約タスクでは 2 つのシークエンスを持ち、より大きいシークエンスはより小さいシークエンスで表されます aka 要約されます。AutoNLP は貴方のデータ上で要約モデルを訓練することを非常に容易にします。

[詳細] (05/05/2021)

AutoNLP 0.2 : エンティティ抽出

0.2.6 をベースにドキュメントを幾つか翻訳しています。今回はエンティティ抽出です。エンティティ抽出 aka トークン分類は最もポピュラーなタスクの一つです。AutoNLP は貴方のデータ上でエンティティ抽出モデルを訓練することを非常に容易にします。

[詳細] (05/05/2021)

AutoNLP 0.2 : 多クラス分類

0.2.6 をベースにドキュメントを幾つか翻訳しています。今回は多クラス分類です。多クラス分類は NLP 問題を扱うときに遭遇するかもしれない最もポピュラーな教師あり分類問題です。AutoNLP は貴方のデータ上で多クラス分類モデルを訓練することを非常に容易にします。

[詳細] (05/05/2021)

AutoNLP 0.2 : 二値分類

0.2.6 をベースにドキュメントを幾つか翻訳しています。今回は二値分類です。二値分類は NLP 問題を扱うときに遭遇するかもしれない最もポピュラーな教師あり分類問題です。AutoNLP は貴方のデータ上で二値分類モデルを訓練することを非常に容易にします。

[詳細] (05/04/2021)

AutoNLP 0.2 : 概要

0.2.6 をベースにドキュメントを幾つか翻訳していきます。最初は概要 (README) ですが、内容はクイックスタートです。

[詳細] (05/04/2021)

HuggingFace Transformers 4.5 : 概要

最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳していきます。最初は概要 (README) です。簡単な利用方法と利点、オンラインデモ、モデルのリスト等が説明されます。

[詳細] (04/28/2021)

◆ 2021/01/04 ～ 2021/03/10

MediaPipe 0.8 : Colab : MediaPipe ポーズ

MediaPipe はライブ & ストリーミング・メディアのためのクロスプラットフォーム、カスタマイズ可能な ML ソリューションを提供します。Google によりオープンソースとして公開され、以下の特徴を持ちます : (1) End-to-End アクセラレーション (2) 一度ビルドすれば、どこでも配備可能 (3) Ready-to-use ソリューション (4) フリー & オープンソース。

0.8 をベースに幾つかドキュメントを翻訳します。今回は Colab から Python の MediaPipe ポーズ・ソリューションの使用サンプルです。ポーズ推定を遂行するために数十のキーポイントを検出します。

[詳細] (03/10/2021)

MediaPipe 0.8 : Colab : MediaPipe 全身用 (Holistic)

0.8 をベースに幾つかドキュメントを翻訳します。今回は Colab から Python の MediaPipe 全身用 (Holistic) ソリューションの使用サンプルです。顔や手指に加えて、関節などの全身のキーポイントを検出します。

[詳細] (03/10/2021)

MediaPipe 0.8 : Colab : MediaPipe ハンド (Hands)

0.8 をベースに幾つかドキュメントを翻訳します。今回は Colab から Python の MediaPipe ハンド (Hands) ソリューションの使用サンプルです。手指のキーポイントを検出します。

[詳細] (03/08/2021)

MediaPipe 0.8 : Colab : MediaPipe 顔メッシュ

0.8 をベースに幾つかドキュメントを翻訳します。今回は Colab から Python の MediaPipe 顔メッシュ・ソリューションの使用サンプルです。

[詳細] (03/07/2021)

MediaPipe 0.8 : Colab : MediaPipe 顔検出

0.8 をベースに幾つかドキュメントを翻訳します。今回は Colab から Python の MediaPipe 顔検出ソリューションの使用サンプルです。

[詳細] (03/06/2021)

MediaPipe 0.8 : 概要 (README)

0.8 をベースに幾つかドキュメントを翻訳します。最初は概要 (README) です。

[詳細] (03/05/2021)