ホーム » 「AutoNLP 0.2」タグがついた投稿

タグアーカイブ: AutoNLP 0.2

AutoNLP 0.2 : 音声認識

AutoNLP 0.2 : 音声認識 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/05/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : 音声認識

AutoNLP は音声 (発話) モデルの再調整をサポートします。従って、自動音声認識モデルを用意に訓練することができます。

データセットは CSV 形式にあり次のようなものに見えるとします :

sentence audio_path
hello, how are you? a1.mp3
i am fine a2.mp3
training asr models a3.mp3

ここでは、3 つのサンプルだけを見ますが、好きなだけのサンプルを持つことができます : 5000, 10000, 100000 あるいは百万以上でさえも!指定された音声ファイルはディスク上に存在しなければならないことに注意してください。

ひとたび上で指定された形式のデータを持てば、AutoNLP を使用してモデルを訓練する準備ができています。そうです、それほどに簡単です。

最初のステップは AutoNLP へのログインです :

$ autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN

貴方の Hugging Face API トークンを知らない場合、huggingface.co 上でアカウントを作成してください、すると設定で貴方の api キーを見つけるでしょう。貴方の api キーを誰とも共有しないでください!

ログインしたならば、新しいプロジェクトを作成できます :

$ autonlp create_project --name speech_model --language fr --task speech_recognition

プロジェクトの作成の際、“–language” パラメータを使用して言語を選択できます。

次のステップはファイルをアップロードすることです。ここで、カラムマッピングは非常に重要です。元のデータのカラムは AutoNLP カラム名にマップされます。上のデータでは、元のカラムは “sentence” と “audio_path” です。音声認識問題に対してはそれ以上のカラムは必要ありません。

音声認識モデルのための AutoNLP カラムは :

  • text

  • path

元のカラムは従って、tokens と tags にマップされる必要があります。これは upload コマンドで成されます。AutoNLP にアップロードしている分割の種類を知らせる必要もあります : train or valid です。

autonlp upload --project speech1 --split train \
    --col_mapping sentence:text,path:path
    --files train.csv
    --path_to_audio ~/audio_data/clips

同様に、検証ファイルをアップロードします :

autonlp upload --project speech1 --split valid \
    --col_mapping sentence:text,path:path
    --files valid.csv
    --path_to_audio ~/audio_data/clips

カンマでパスを区切ることにより複数のファイルをアップロードできますけれども、カラム名は各ファイルで同じでなければならないことに注意してください。

ファイルを成功的にアップロードしたら、train コマンドを使用して訓練を開始できます :

$ autonlp train --project speech1

And that’s it!

貴方のモデルは訓練を開始して望めば訓練をモニタリングすることができます。

 

以上



AutoNLP 0.2 : 要約

AutoNLP 0.2 : 要約 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/05/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : 要約

要約タスクでは 2 つのシークエンスを持ちます。より大きいシークエンスはより小さいシークエンスで表されます aka 要約されます。

単純な要約データセットがどのように見えるかを見ましょう。

document summary
Recent reports have linked some France-based

players with returns to Wales. “I’ve always felt – and this is with my rugby hat on now; this is not region or WRU – I’d rather spend that money on
keeping players in Wales,” said Davies. The WRU provides £2m to the fund and £1.3m comes from the regions. Former Wales and British and Irish Lions fly-half Davies became WRU chairman on Tuesday 21 October, succeeding deposed David Pickering following governing body elections. He is now serving a notice period to leave his role as Newport Gwent Dragons chief executive after being voted on to the WRU board in September. Davies was among the leading figures among Dragons, Ospreys, Scarlets and Cardiff Blues officials who were embroiled in a protracted dispute with the WRU that ended in a £60m deal in August this year. In the wake of that deal being done, Davies said the £3.3m should be spent on ensuring current Wales- based stars remain there. In recent weeks, Racing Metro flanker Dan Lydiate was linked with returning to Wales. Likewise the Paris club’s scrum-half Mike Phillips and centre Jamie Roberts were also touted for possible returns. Wales coach Warren Gatland has said: “We haven’t instigated contact with the players. “But we are aware that one or two of them are keen to return to Wales sooner rather than later.” Speaking to Scrum V on BBC Radio Wales, Davies re-iterated his stance, saying keeping players such as Scarlets full-back Liam Williams and Ospreys flanker Justin Tipuric in Wales should take precedence. “It’s obviously a limited amount of money [available]. The union are contributing 60% of that contract and the regions are putting £1.3m in. “So it’s a total pot of just over £3m and if you look at the sorts of salaries that the… guys… have been tempted to go overseas for [are] significant amounts of money. “So if we were to bring the players back, we’d probably get five or six players. “And I’ve always felt – and this is with my rugby hat on now; this is not region or WRU – I’d rather spend that money on keeping players in Wales. “There are players coming out of contract, perhaps in the next year or so… you’re looking at your Liam Williams’ of the world; Justin Tipuric for example – we need to keep these guys in Wales. “We actually want them there. They are the ones who are going to impress the young kids, for example. “They are the sort of heroes that our young kids want to emulate. “So I would start off [by saying] with the limited pot of money, we have to retain players in Wales. “Now, if that can be done and there’s some spare monies available at the end, yes, let’s look to bring players back. “But it’s a cruel world, isn’t it? “It’s fine to take the buck and go, but great
if you can get them back as well, provided there’s enough money.” British and Irish Lions centre Roberts has insisted he will see out his Racing Metro contract. He and Phillips also earlier dismissed the idea of leaving Paris. Roberts also admitted being hurt by comments in French Newspaper L’Equipe attributed to Racing Coach Laurent Labit questioning their effectiveness. Centre Roberts and flanker Lydiate joined Racing ahead of the 2013-14 season while scrum-half Phillips moved there in December 2013 after being dismissed for disciplinary reasons by former club Bayonne.

New Welsh Rugby Union chairman Gareth Davies believes a joint £3.3m WRU-regions fund should be used to retain home-based talent such as Liam Williams, not bring back exiled stars.
New Welsh Rugby Union chairman Gareth Davies believes a joint £3.3m WRU-regions fund should be used to retain home-based talent such as Liam Williams, not bring back exiled stars. Army explosives experts were called out to deal with a suspect package at the offices on the
Newtownards Road on Friday night. Roads were sealed off and traffic diverted as a controlled explosion was carried out. The premises, used by
East Belfast MP Naomi Long, have been targeted a number of times. Most recently, petrol bomb attacks were carried out on the offices on
consecutive nights in April and May. The attacks began following a Belfast City Council vote in December 2012 restricting the flying of the union
flag at the City Hall. Condemning the latest hoax, Alliance MLA Chris Lyttle said: “It is a serious incident for the local area, it causes serious
disruption, it puts people’s lives at risk, it can prevent emergency services reaching the area. “Ultimately we need people with information to share that with the police in order for them to do their job and bring these people to justice.”
A suspicious package left outside an Alliance Party office in east Belfast has been declared a hoax.
The warning begins at 22:00 GMT on Saturday and ends at 10:00 on Sunday. The ice could lead to difficult driving conditions on untreated roads and slippery conditions on pavements, the weather service warned. Only the southernmost counties and parts of the most westerly counties are expected to escape. Counties expected to be affected are Carmarthenshire, Powys, Ceredigion, Pembrokeshire,
Denbighshire, Gwynedd, Wrexham, Conwy, Flintshire, Anglesey, Monmouthshire, Blaenau Gwent, Caerphilly, Merthyr Tydfil, Neath Port Talbot, Rhondda Cynon Taff and Torfaen
The Met Office has issued a yellow weather warning for ice across most of Wales.

ひとたび上で指定された形式のデータを持てば、AutoNLP を使用してモデルを訓練する準備ができています。そうです、それほどに簡単です。

最初のステップは AutoNLP へのログインです :

$ autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN

貴方の Hugging Face API トークンを知らない場合、huggingface.co 上でアカウントを作成してください、すると設定で貴方の api キーを見つけるでしょう。貴方の api キーを誰とも共有しないでください!

ログインしたならば、新しいプロジェクトを作成できます :

$ autonlp create_project --name summarization_model --language en --task summarization

プロジェクトの作成の際、“–language” パラメータを使用して言語を選択できます。

次のステップはファイルをアップロードすることです。ここで、カラムマッピングは非常に重要です。元のデータのカラムは AutoNLP カラム名にマップされます。上のデータでは、元のカラムは “document” と “summary” です。要約問題に対してはそれ以上のカラムは必要ありません。

要約のための AutoNLP カラムは :

  • text

  • target

元のカラムは従って、text と target にマップされる必要があります。これは upload コマンドで成されます。AutoNLP にアップロードしている分割の種類を知らせる必要もあります : train or valid です。

autonlp upload --project summarization_model --split train \
            --col_mapping document:text,summary:target \
            --files ~/datasets/train.csv

同様に、検証ファイルをアップロードします :

autonlp upload --project summarization_model --split valid \
            --col_mapping document:text,summary:target \
            --files ~/datasets/valid.csv

カンマでパスを区切ることにより複数のファイルをアップロードできますけれども、カラム名は各ファイルで同じでなければならないことに注意してください。

ファイルを成功的にアップロードしたら、train コマンドを使用して訓練を開始できます :

$ autonlp train --project summarization_model

And that’s it!

貴方のモデルは訓練を開始して望めば訓練をモニタリングすることができます。

 

以上



AutoNLP 0.2 : エンティティ抽出

AutoNLP 0.2 : エンティティ抽出 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/05/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : エンティティ抽出

エンティティ抽出 aka トークン分類は NLP の最もポピュラーなタスクの一つで AutoNLP で完全にサポートされます!

エンティティ抽出モデルを訓練するには、データを JSONL 形式にフォーマットする必要があります。それは以下のように見えるはずです :

{"tokens": ["I", "love", "AutoNLP", "!"], "labels": ["PRON", "VERB", "OBJ", "PUNCT"]}
{"tokens": ["Hello", "there", "!"], "labels": ["EXPR", "LOC", "PUNCT"]}

訓練と検証ファイルの両者は上で指定された形式を持つべきであることに注意してください。“tokens” と “labels” の代わりに、カラムのために貴方が望むどのような名前でも選択できます。

ひとたび上で指定された形式のデータを持てば、AutoNLP を使用してモデルを訓練する準備ができています。そうです、それほどに簡単です。

最初のステップは AutoNLP へのログインです :

$ autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN

貴方の Hugging Face API トークンを知らない場合、huggingface.co 上でアカウントを作成してください、すると設定で貴方の api キーを見つけるでしょう。貴方の api キーを誰とも共有しないでください!

ログインしたならば、新しいプロジェクトを作成できます :

$ autonlp create_project --name entity_model --language en --task entity_extraction

プロジェクトの作成の際、“–language” パラメータを使用して言語を選択できます。

次のステップはファイルをアップロードすることです。ここで、カラムマッピングは非常に重要です。元のデータのカラムは AutoNLP カラム名にマップされます。上のデータでは、元のカラムは “tokens” と “labels” です。エンティティ抽出問題に対してはそれ以上のカラムは必要ありません。

エンティティ抽出タスクのための AutoNLP カラムは :

  • tokens

  • tags

元のカラムは従って、tokens と tags にマップされる必要があります。これは upload コマンドで成されます。AutoNLP にアップロードしている分割の種類を知らせる必要もあります : train or valid です。

autonlp upload --project entity_model --split train \
            --col_mapping tokens:tokens,labels:tags \
            --files ~/datasets/train.csv

同様に、検証ファイルをアップロードします :

autonlp upload --project entity_model --split valid \
            --col_mapping tokens:tokens,labels:tags \
            --files ~/datasets/valid.csv

カンマでパスを区切ることにより複数のファイルをアップロードできますけれども、カラム名は各ファイルで同じでなければならないことに注意してください。

ファイルを成功的にアップロードしたら、train コマンドを使用して訓練を開始できます :

$ autonlp train --project entity_model

And that’s it!

貴方のモデルは訓練を開始して望めば訓練をモニタリングすることができます。

 

以上



AutoNLP 0.2 : 多クラス分類

AutoNLP 0.2 : 多クラス分類 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/05/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : 多クラス分類

多クラス分類は NLP 問題を扱うときに遭遇するかもしれない最もポピュラーな教師あり分類問題の一つです。AutoNLP は貴方のデータ上で多クラス分類モデルを訓練することを非常に容易にします。センチメント検出のためのモデルを訓練していると仮定しましょう。データセットは 3 つのセンチメントを持ちます : positive, negative & neutral です。

データセットは CSV 形式にあり次のようなものに見えるとします :

sentence label
i love autonlp positive
i am not sure if i like this movie neutral
this is the best tutorial ever negative

ここでは、3 つのサンプルだけを見ますが、好きなだけのサンプルを持つことができます : 5000, 10000, 100000 あるいは百万以上でさえも!

ひとたび上で指定された形式のデータを持てば、AutoNLP を使用してモデルを訓練する準備ができています。そうです、それほどに簡単です。

最初のステップは AutoNLP へのログインです :

$ autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN

貴方の Hugging Face API トークンを知らない場合、huggingface.co 上でアカウントを作成してください、すると設定で貴方の api キーを見つけるでしょう。貴方の api キーを誰とも共有しないでください!

ログインしたならば、新しいプロジェクトを作成できます :

$ autonlp create_project --name sentiment_detection --language en --task multi_class_classification

プロジェクトの作成の際、“–language” パラメータを使用して言語を選択できます。

次のステップはファイルをアップロードすることです。ここで、カラムマッピングは非常に重要です。元のデータのカラムは AutoNLP カラム名にマップされます。上のデータでは、元のカラムは “sentence” と “label” です。多クラス分類問題に対してはそれ以上のカラムは必要ありません。

多クラス分類のための AutoNLP カラムは :

  • text

  • target

元のカラムは従って、text と target にマップされる必要があります。これは upload コマンドで成されます。AutoNLP にアップロードしている分割の種類を知らせる必要もあります : train or valid です。

autonlp upload --project sentiment_detection --split train \
            --col_mapping sentence:text,label:target \
            --files ~/datasets/train.csv

同様に、検証ファイルをアップロードします :

autonlp upload --project sentiment_detection --split valid \
            --col_mapping sentence:text,label:target \
            --files ~/datasets/valid.csv

カンマでパスを区切ることにより複数のファイルをアップロードできますけれども、カラム名は各ファイルで同じでなければならないことに注意してください。

ファイルを成功的にアップロードしたら、train コマンドを使用して訓練を開始できます :

$ autonlp train --project sentiment_detection

And that’s it!

貴方のモデルは訓練を開始して望めば訓練をモニタリングすることができます。

 

以上



AutoNLP 0.2 : 二値分類

AutoNLP 0.2 : 二値分類 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/04/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : 二値分類

二値分類は NLP 問題を扱うときに遭遇するかもしれない最もポピュラーな教師あり分類問題の一つです。AutoNLP は貴方のデータ上で二値分類モデルを訓練することを非常に容易にします。センチメント検出のためのモデルを訓練していると仮定しましょう。データセットは 2 つのセンチメントを持ちます : positive & negative です。

データセットは CSV 形式にあり次のようなものに見えるとします :

sentence label
i love autonlp positive
i dont like this movie negative
this is the best tutorial ever negative

ここでは、3 つのサンプルだけを見ますが、好きなだけのサンプルを持つことができます : 5000, 10000, 100000 あるいは百万以上でさえも!

ひとたび上で指定された形式のデータを持てば、AutoNLP を使用してモデルを訓練する準備ができています。そうです、それほどに簡単です。

最初のステップは AutoNLP へのログインです :

$ autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN

貴方の Hugging Face API トークンを知らない場合、huggingface.co 上でアカウントを作成してください、すると設定で貴方の api キーを見つけるでしょう。貴方の api キーを誰とも共有しないでください!

ログインしたならば、新しいプロジェクトを作成できます :

$ autonlp create_project --name sentiment_detection --language en --task binary_classification

プロジェクトの作成の際、“–language” パラメータを使用して言語を選択できます。

次のステップはファイルをアップロードすることです。ここで、カラムマッピングは非常に重要です。元のデータのカラムは AutoNLP カラム名にマップされます。上のデータでは、元のカラムは “sentence” と “label” です。二値分類問題に対してはそれ以上のカラムは必要ありません。

二値分類のための AutoNLP カラムは :

  • text

  • target

元のカラムは従って、text と target にマップされる必要があります。これは upload コマンドで成されます。AutoNLP にアップロードしている分割の種類を知らせる必要もあります : train or valid です。

autonlp upload --project sentiment_detection --split train \
            --col_mapping sentence:text,label:target \
            --files ~/datasets/train.csv

同様に、検証ファイルをアップロードします :

autonlp upload --project sentiment_detection --split valid \
            --col_mapping sentence:text,label:target \
            --files ~/datasets/valid.csv

カンマでパスを区切ることにより複数のファイルをアップロードできますけれども、カラム名は各ファイルで同じでなければならないことに注意してください。

ファイルを成功的にアップロードしたら、train コマンドを使用して訓練を開始できます :

autonlp train --project sentiment_detection

And that’s it!

貴方のモデルは訓練を開始して望めば訓練をモニタリングすることができます。

 

以上



AutoNLP 0.2 : 概要

AutoNLP 0.2 : 概要 (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/04/2021 (0.2.6)

* 本ページは、HuggingFace AutoNLP の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料 Web セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマに WEB セミナーを定期的に開催しています。
スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • ウェビナー運用には弊社製品「ClassCat® Webinar」を利用しています。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。)

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com  ;  WebSite: https://www.classcat.com/  ;  Facebook

 

AutoNLP 0.2 : 概要

AutoNLP: SOTA NLP モデルのより高速で容易な訓練と配備。

 

インストール

PIP を通して AutoNLP python パッケージをインストールできます。AutoNLP が正しく動作するためには python >= 3.7 が必要であることに注意してください。

pip install autonlp

git lfs がインストールされていることを確実にしてください。こちらの手順を確認してください : https://github.com/git-lfs/git-lfs/wiki/Installation

 

クイックスタート – 端末内

サポートされるタスクと言語のリストについては AutoNLP ドキュメント を見てください。

Note : AutoNLP は現在ベータリリースにあります。ベータに参加するには、単に https://huggingface.co/autonlp に進んで を適用してください (訳注: 原文ママ)。

最初に、プロジェクトを作成します :

autonlp login --api-key YOUR_HUGGING_FACE_API_TOKEN
autonlp create_project --name sentiment_detection --language en --task binary_classification

ファイルをアップロードして訓練を開始します。訓練と検証分割が必要です。現在 CSV ファイルだけがサポートされます。

# Train split
autonlp upload --project sentiment_detection --split train \
               --col_mapping review:text,sentiment:target \
               --files ~/datasets/train.csv
# Validation split
autonlp upload --project sentiment_detection --split valid \
               --col_mapping review:text,sentiment:target \
               --files ~/datasets/valid.csv

ひとたびファイルがアップロードされれば、モデルの訓練を開始できます :

autonlp train --project sentiment_detection

プロジェクトの進捗をモニタリングします。

# Project progress
autonlp project_info --name sentiment_detection
# Model metrics
autonlp metrics --project PROJECT_ID

 

クイックスタート – Python API

セットアップします :

from autonlp import AutoNLP
client = AutoNLP()
client.login(token="YOUR_HUGGING_FACE_API_TOKEN")

プロジェクトを作成してそれにファイルをアップロードします :

project = client.create_project(name="sentiment_detection", task="binary_classification", language="en")
project.upload(
    filepaths=["/path/to/train.csv"],
    split="train",
    col_mapping={
        "review": "text",
        "sentiment": "target",
    })

# also upload a validation with split="valid"

モデルの訓練を開始します :

project.train()

訓練の進捗をモニタリングするには :

project.refresh()
print(project)

モデルの訓練が成功した後、各モデルのためのメトリクスを取得してそれらを 推論 API でテストできます :

client.predict(project="sentiment_detection", model_id=42, input_text="i love autonlp")

あるいはコマンドラインを使用します :

autonlp predict --project sentiment_detection --model_id 42 --sentence "i love autonlp"

 

幾ら払わなければなりませんか?

この質問に正確な回答を提供することは難しいですけれども、役立つかもしれない estimator (見積もり器) を持っています。単にサンプル数と言語を入力してください、そして貴方は見積もりを得るでしょう。これは単なる見積もりであり、過大に見積もったり過小に見積もることがあり得ることを念頭に置いてください (私達はこれについて積極的に作業しています)。

autonlp estimate --num_train_samples 10000 --project_name sentiment_detection
 

以上



AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com