このエントリーをはてなブックマークに追加

Sep

16

NN論文を肴に酒を飲む会 #12 オンライン!

今回のテーマは「GPT-n」

Organizing : TensorFlow UserGroup Tokyo

Hashtag :#tfug
Registration info

発表者

Free

FCFS
2/3

参加者

Free

Attendees
222

参加者への情報
(参加者と発表者のみに公開されます)

Description

お酒を飲みながら、最近の深層学習関連の論文をゆる〜く紹介し、ゆる〜く議論する会です。
「機械学習とか深層学習とか気になっているけど論文読むとか実装するとかきついな」という方々に参加いただいて、色々議論できるといいなと考えています。

普段あまり論文を読まない方や学生さんも、どしどしご応募ください。

今回は昨今の状況を考え、オンラインイベントとさせていただきます。イベントへの参加方法については、後日参加者の皆さんにメールさせていただく予定です。

今回のテーマは「GPT-n」

発表者には、Generative Pre-trained Transformer 通称 GPTシリーズに関する論文を紹介して頂きます。

GPTはOpen AIによって開発されている、大規模なデータを大規模なモデルでPre-trainさせた言語生成モデルです。2019年にGPT-2が発表されたときは生成する文章が人間が書いたものと全く見分けがつかないと大きく話題になりましたが、今年はそのバージョンアップであるGPT-3が発表されました。現在APIのみが利用できますがその性能が凄まじく、自然言語で指示した通りのデザインやアプリのコードを生成するなど、これまででは考えられないようなデモが様々なページで公開されており、ML界隈ではホットなトレンドとなっております。参考資料にあげているようなGPTシリーズの論文はもちろんですが、根本となるモデルのTransformerに関する論文でもWelcomeです!

発表者も「ガチ勢」である必要はありません。これを機に論文読めるようになりたい!という方も大歓迎。 一度発表していただくと次回以降優先的に参加できますので、是非発表してください。

ゆるふわ枠について

以前の飲み会で「論文読むの初心者なので、20分だと長過ぎるし、本気の質問がくるとドキドキしてしまう」というフィードバックをいただきましたので、以下のような「ゆるふわ枠」を設定しています。できるだけ気軽に登壇できる雰囲気を作りたいと思いますので、ぜひ発表にチャレンジしてみてください。

  1. 論文発表に慣れていない方優先
  2. 深層学習関連という以外、テーマは絞らない(今回の場合、GPTとは関係のないテーマでもOKです。できれば自然言語だと嬉しいです。)
  3. 発表時間は通常の半分の10分
  4. 論文を読みきれなくてもOK。わからなかったところは参加者に質問してください。 (これは通常の発表枠でもOKです)

参考資料

どこで論文を探したらよいかわからないという方は下記のリンクを参考にしていただければと思います。

GPTシリーズに関する論文

タイムスケジュール

飲み会なので、大幅に前後することがあります

時間 内容 発表者 タイトル
19:30 - 19:40 イベント開始・乾杯 - -
19:40 - 20:00 発表1 MasaoTaketani さん Improving Language Understanding by Generative Pre-Training
20:00 - 20:10 QA
20:10 - 20:30 発表2 3110foobar さん Language Models are Few-Shot Learners
20:30 - 20:40 QA
20:50 - 21:00 クロージング - -

TFUG について

TensorFlow User Group (TFUG) は有志による TensorFlow のコミュニティです。

TensorFlow を使っている人、他のフレームワークを使っているけれど TensorFlow にも興味がある人、現在 TensorFlow を使っていないけれど興味がある人など、所属や肩書は問わず、様々なバックグラウンドを持つ人に参加して頂けると嬉しいです。

行動規範

TFUG は以下の行動規範に従います。

https://tfug.jp/policy.html

諸注意

  • イベントの様子を撮影・録画し、ブログやSNSなどで公開することがあります。その際、来場者の姿も公開されることがあることをご了承ください。

Presenter

Feed

MasaoTaketani

MasaoTaketaniさんが資料をアップしました。

09/16/2020 22:34

MasaoTaketani

MasaoTaketaniさんが資料をアップしました。

09/16/2020 22:30

Takuya Shimmura

Takuya Shimmura wrote a comment.

2020/09/02 15:35

ゆるふわ枠の希望者がいらっしゃらなかったなどの諸事情があり、一般の発表者枠での参加を追加で1名募集したいと思います。発表したかったのに先着で埋まってしまったというかたは是非ご応募ください。もちろんゆるふわ枠での参加もWelcomeなので、その場合は発表者としてご応募いただいて、ゆるふわ枠での発表を希望する旨をお伝えください。

Takuya Shimmura

Takuya Shimmura published NN論文を肴に酒を飲む会 #12 オンライン!.

08/20/2020 15:28

NN論文を肴に酒を飲む会 #12 オンライン! を公開しました!

Group

TensorFlow User Group Tokyo

TensorFlowのユーザーグループです。

Number of events 46

Members 5357

Ended

2020/09/16(Wed)

19:30
21:00

You cannot RSVP if you are already participating in another event at the same date.

Registration Period
2020/08/20(Thu) 15:27 〜
2020/09/16(Wed) 21:00

Attendees(224)

3110foobar

3110foobar

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

MasaoTaketani

MasaoTaketani

初期のGPT「Improving Language Understanding by Generative Pre-Training」について発表する予定です。

はまのいつき

はまのいつき

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

kenihaya

kenihaya

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

JHan

JHan

NN論文を肴に酒を飲む会 #12 オンライン!に参加を申し込みました!

blue271828

blue271828

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

fam_taro

fam_taro

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

KrToN

KrToN

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みましたけど!

篠原崇之

篠原崇之

NN論文を肴に酒を飲む会 #12 オンライン! に参加を申し込みました!

rishizek

rishizek

I joined NN論文を肴に酒を飲む会 #12 オンライン!!

Attendees (224)

Canceled (17)