日本語
 
Privacy Policy ポリシー/免責事項
  詳細検索ブラウズ

アイテム詳細

登録内容を編集ファイル形式で保存
一時保存へ追加
 詳細要約
  Position: Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback

Conitzer, V., Freedman, R., Heitzig, J., Holliday, W. H., Jacobs, B. M., Lambert, N., Mossé, M., Pacuit, E., Russell, S., Schoelkopf, H., Tewolde, E., & Zwicker, W. S. (in press). Position: Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback. In R., Salakhutdinov, Z., Kolter, K., Heller, A., Weller, N., Oliver, J., Scarlett, & F., Berkenkamp (Eds.), Proceedings of the 41st International Conference on Machine Learning (pp. 9346-9360). Cambridge, MA: MRL Press.

Item is

 

表示: 全項目 非表示: 全項目

基本情報

表示: 非表示:
アイテムのパーマリンク: https://publications.pik-potsdam.de/pubman/item/item_29847 版のパーマリンク: https://publications.pik-potsdam.de/pubman/item/item_29847_1
資料種別: 書籍の一部

ファイル

表示: ファイル
非表示: ファイル
:
Conitzer_2024_2404.10271v1.pdf (全文テキスト（全般）), 3MB
 
ファイルのパーマリンク:
-
ファイル名:
Conitzer_2024_2404.10271v1.pdf
説明:
-
閲覧制限:
非公開
MIMEタイプ / チェックサム:
application/pdf
技術的なメタデータ:
著作権日付:
-
著作権情報:
-
CCライセンス:
-

関連URL

表示:
非表示:
URL:
https://proceedings.mlr.press/v235/conitzer24a.html (出版社版)
説明:
-
URL:
https://doi.org/10.48550/arXiv.2404.10271 (プレプリント)
説明:
-

作成者

表示:
非表示:
 作成者:
Conitzer, Vincent1, 著者
Freedman, Rachel1, 著者
Heitzig, Jobst2, 著者              
Holliday, Wesley H.1, 著者
Jacobs, Bob M.1, 著者
Lambert, Nathan1, 著者
Mossé, Milan1, 著者
Pacuit, Eric1, 著者
Russell, Stuart1, 著者
Schoelkopf, Hailey1, 著者
Tewolde, Emanuel1, 著者
Zwicker, William S.1, 著者
所属:
1External Organizations, ou_persistent22              
2Potsdam Institute for Climate Impact Research, ou_persistent13              

内容説明

表示:
非表示:
キーワード: -
 要旨: Foundation models such as GPT-4 are fine-tuned to avoid unsafe or otherwise problematic behavior, such as helping to commit crimes or producing racist text. One approach to fine-tuning, called reinforcement learning from human feedback, learns from humans’ expressed preferences over multiple outputs. Another approach is constitutional AI, in which the input from humans is a list of high-level principles. But how do we deal with potentially diverging input from humans? How can we aggregate the input into consistent data about “collective” preferences or otherwise use it to make collective choices about model behavior? In this paper, we argue that the field of social choice is well positioned to address these questions, and we discuss ways forward for this agenda, drawing on discussions in a recent workshop on Social Choice for AI Ethics and Safety held in Berkeley, CA, USA in December 2023.

資料詳細

表示:
非表示:
言語: eng - 英語
 日付: 2024-05-02
 出版の状態: 受理 / 印刷中
 ページ: -
 出版情報: -
 目次: -
 査読: 査読あり
 識別子（DOI, ISBNなど）: MDB-ID: No data to archive
PIKDOMAIN: RD4 - Complexity Science
Organisational keyword: RD4 - Complexity Science
Organisational keyword: FutureLab - Game Theory & Networks of Interacting Agents
Research topic keyword: Inequality and Equity
Regional keyword: Global
Model / method: Decision Theory
Model / method: Machine Learning
 学位: -

関連イベント

表示:

訴訟

表示:

Project information

表示:

出版物 1

表示:
非表示:
出版物名: Proceedings of the 41st International Conference on Machine Learning
種別: 書籍
 著者・編者:
Salakhutdinov, Ruslan, 編集者
Kolter, Zico, 編集者
Heller, Katherine, 編集者
Weller, Adrian, 編集者
Oliver, Nuria, 編集者
Scarlett, Jonathan, 編集者
Berkenkamp, Felix, 編集者
所属:
-
出版社, 出版地: Cambridge, MA : MRL Press
ページ: - 巻号: - 通巻号: - 開始・終了ページ: 9346 - 9360 識別子（ISBN, ISSN, DOIなど）: -

出版物 2

表示:
非表示:
出版物名: Proceedings of Machine Learning Research
種別: 連載記事
 著者・編者:
所属:
出版社, 出版地: -
ページ: - 巻号: 235 通巻号: - 開始・終了ページ: - 識別子（ISBN, ISSN, DOIなど）: ISSN: 2640-3498