LLM 勉強会 LLM-jp

資料

Resources

勉強会で使用されたサーベイ・発表資料を公開しています。
日本語LLMまとめも公開しています。

2025-3-25

  • LLM-jp 状況報告(黒橋)<口頭報告のみ>

<評価・チューニング/原理解明 WG>

  • 生成系タスクの自動評価においてチェックリストの使用は有効なのか?(古橋)[資料]
  • オープン日本語大規模言語モデルリーダーボードの構築と評価結果の分析(Namgi Han)[資料]
  • 日本語大規模言語モデルの事前訓練の分析(西田)[資料]
  • llm-jp-judge: 日本語 LLM-as-a-Judge 評価ツール(児玉)[資料]
  • 大規模言語モデルにおけるペルソナの役割と内部動作の理解(尾崎)[資料]
  • 内部から見る大規模言語モデルの言語汎化能力(稲葉)[資料]
  • 大規模言語モデルにおける Supervised Fine-tuning の包括的検証 (原田) [資料]
  • 大規模言語モデルの地理情報に関する内部空間のモデル・言語間による比較分析 (大竹) [資料]
  • 日本語を対象とした LLM の大規模人手評価(井之上) [資料]
  • 日本語大規模言語モデルの有用性と安全性の両立に向けたチューニング手法の検討(勝又)[資料]

<マルチモーダル WG>

  • オープンLLMによる翻訳を活用した日本語CLIPの開発(杉浦)[資料]
  • llm-jp-eval-mm: 日本語視覚言語モデルの自動評価基盤 (代理:杉浦) [資料]
  • LLM-jp-3 VILA: 日本語マルチモーダルデータ及び強力な日本語マルチモーダルモデルの構築(笹川) [資料]

<モデル構築 WG>

  • Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization(中村) [資料]

<安全性>

  • LLMの安全性における大規模人手評価 (高橋) [資料]
  • AnswerCarefully: 日本語LLM安全性向上のためのデータセット(鈴木)[資料]
  • ソーシャルメディアからの偽・誤情報データセットとLLM正確性ベンチマークの提案(中里)[資料]
  • LLMに対する攻撃データの収集アプリケーションの開発と収集したデータの特性について(林)[資料]

<コーパス構築>

  • A Comprehensive Analysis of Memorization in Large Language Models (清丸) [資料]
  • 大規模言語モデルの事前学習用コーパスにおける要配慮個人情報の検出(源) [資料]
  • LLMの学術ドメイン適応のための合成データに基づく統合フレームワーク(小川) [資料]

2025-2-25

  • LLM-jp 状況報告(黒橋)<口頭報告のみ>
  • 実環境インタラクションWG(尾形)[資料]
  • 安全性WG(関根)[資料] AISIの紹介(瀬光孝之/Japan AI Safety Institute) [資料]
  • モデル構築WG(鈴木)[資料]
  • マルチモーダルWG(岡崎, 前田)[資料]
  • コーパス構築WG(河原)[資料]
  • 評価・チューニングWG(宮尾)[資料]
  • DeepSeek R1 671Bで198トークン/秒を実現するデータフローアーキテクチャについて(林 憲一/SambaNova Systems) [資料]
  • PLaMo 2トークナイザについて(今城 健太郎/Preferred Networks) [資料]
  • LLM-jp-3の事前学習過程における下流タスク性能の分析(小田, 西田) [資料]

2025-1-14

  • LLM-jp 状況報告(黒橋)[資料]
  • モデル構築WG(鈴木)[資料]
  • マルチモーダルWG(岡崎)[資料]
  • 評価・チューニングWG(宮尾)[資料]
  • 実環境インタラクションWG(尾形)[資料]
  • コーパス構築WG(河原)[資料]
  • 「循環器内科での大規模マルチモーダルモデル開発(心電図・レントゲン)」(高橋淳一郎/東京大学)[資料]
  • 「レントゲン読影レポート生成モデルの開発」(馬場凱渡/東京大学)[資料]
  • 「高品質なLLMデータセットを開発するための取り組み」(寺澤友治朗/株式会社APTO)[資料]
  • 「合成データを用いた LLM の学習」(清丸)[資料]

2024-11-26

  • LLM-jp 状況報告(黒橋)<口頭報告のみ>
  • 大規模言語モデルTanukiの開発と評価 (畠山 歓/東京科学大学 物質理工学院 材料系) [資料]
  • 国際会議論文紹介(EMNLP2024)高木 [資料] 児玉 [資料] Liu [資料]
  • 安全性WG(関根)[資料]
  • コーパス構築WG(河原)[資料]
  • 評価・チューニングWG(宮尾)[資料]
  • 実環境インタラクションWG(尾形)[資料]
  • モデル構築WG(鈴木)[資料]
  • マルチモーダルWG(岡崎)[資料]
  • lm-jp-3-172bの学習状況についてのディスカッション(小田)[資料]

2024-10-29

  • LLM-jp 状況報告(黒橋)
  • BritLLM: Organising, producing, and publishing the first British Large Language Model (Pontus Stenetorp/NII)
  • PLaMo100Bの事前及び事後学習(三上裕明、中郷孝祐/株式会社Preferred Elements)[資料]
  • マルチモーダルWG(岡崎、笹川慶人、前田航希、杉浦一瑳)[資料]
  • モデル構築WG(鈴木)[資料]
  • コーパス構築WG(河原)[資料]
  • 評価・チューニングWG(宮尾)[資料]
  • 安全性WG(関根)[資料]
  • 実環境インタラクションWG (尾形)[資料]

2024-08-27

2024-07-30

2024-06-25

2024-05-28

2024-03-26

2024-1-22

2023-11-29

2023-10-18

2023-09-04

2023-07-20

2023-06-19

2023-05-15