Deutsch
 
Datenschutzhinweis Impressum
  DetailsucheBrowse

Datensatz

DATENSATZ AKTIONENEXPORT
 
 
DownloadE-Mail
 Lokale TagsFreigabegeschichteDetailsÜbersicht
  Position: Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback

Conitzer, V., Freedman, R., Heitzig, J., Holliday, W. H., Jacobs, B. M., Lambert, N., Mossé, M., Pacuit, E., Russell, S., Schoelkopf, H., Tewolde, E., Zwicker, W. S. (2024): Position: Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback. - In: Salakhutdinov, R., Kolter, Z., Heller, K., Weller, A., Oliver, N., Scarlett, J., Berkenkamp, F. (Eds.), Proceedings of the 41st International Conference on Machine Learning, (Proceedings of Machine Learning Research ; 235), Cambridge, MA : MRL Press, 9346-9360.

Item is

 

einblenden: alle ausblenden: alle

Basisdaten

einblenden: ausblenden:
Datensatz-Permalink: https://publications.pik-potsdam.de/pubman/item/item_29847 Versions-Permalink: https://publications.pik-potsdam.de/pubman/item/item_29847_2
Genre: Buchkapitel

Dateien

einblenden: Dateien
ausblenden: Dateien
:
Conitzer_2024_2404.10271v1.pdf (beliebiger Volltext), 3MB
 
Datei-Permalink:
-
Name:
Conitzer_2024_2404.10271v1.pdf
Beschreibung:
-
Sichtbarkeit:
Privat
MIME-Typ / Prüfsumme:
application/pdf
Technische Metadaten:
Copyright Datum:
-
Copyright Info:
-
Lizenz:
-

Externe Referenzen

einblenden:
ausblenden:
externe Referenz:
https://proceedings.mlr.press/v235/conitzer24a.html (Verlagsversion)
Beschreibung:
-
externe Referenz:
https://doi.org/10.48550/arXiv.2404.10271 (Preprint)
Beschreibung:
-

Urheber

einblenden:
ausblenden:
 Urheber:
Conitzer, Vincent1, Autor
Freedman, Rachel1, Autor
Heitzig, Jobst2, Autor              
Holliday, Wesley H.1, Autor
Jacobs, Bob M.1, Autor
Lambert, Nathan1, Autor
Mossé, Milan1, Autor
Pacuit, Eric1, Autor
Russell, Stuart1, Autor
Schoelkopf, Hailey1, Autor
Tewolde, Emanuel1, Autor
Zwicker, William S.1, Autor
Affiliations:
1External Organizations, ou_persistent22              
2Potsdam Institute for Climate Impact Research, ou_persistent13              

Inhalt

einblenden:
ausblenden:
Schlagwörter: -
 Zusammenfassung: Foundation models such as GPT-4 are fine-tuned to avoid unsafe or otherwise problematic behavior, such as helping to commit crimes or producing racist text. One approach to fine-tuning, called reinforcement learning from human feedback, learns from humans’ expressed preferences over multiple outputs. Another approach is constitutional AI, in which the input from humans is a list of high-level principles. But how do we deal with potentially diverging input from humans? How can we aggregate the input into consistent data about “collective” preferences or otherwise use it to make collective choices about model behavior? In this paper, we argue that the field of social choice is well positioned to address these questions, and we discuss ways forward for this agenda, drawing on discussions in a recent workshop on Social Choice for AI Ethics and Safety held in Berkeley, CA, USA in December 2023.

Details

einblenden:
ausblenden:
Sprache(n): eng - Englisch
 Datum: 2024-05-0220242024
 Publikationsstatus: Final veröffentlicht
 Seiten: -
 Ort, Verlag, Ausgabe: -
 Inhaltsverzeichnis: -
 Art der Begutachtung: Expertenbegutachtung
 Identifikatoren: MDB-ID: No data to archive
PIKDOMAIN: RD4 - Complexity Science
Organisational keyword: RD4 - Complexity Science
Organisational keyword: FutureLab - Game Theory & Networks of Interacting Agents
Research topic keyword: Inequality and Equity
Regional keyword: Global
Model / method: Decision Theory
Model / method: Machine Learning
 Art des Abschluß: -

Veranstaltung

einblenden:

Entscheidung

einblenden:

Projektinformation

einblenden:

Quelle 1

einblenden:
ausblenden:
Titel: Proceedings of the 41st International Conference on Machine Learning
Genre der Quelle: Buch
 Urheber:
Salakhutdinov, Ruslan, Herausgeber
Kolter, Zico, Herausgeber
Heller, Katherine, Herausgeber
Weller, Adrian, Herausgeber
Oliver, Nuria, Herausgeber
Scarlett, Jonathan, Herausgeber
Berkenkamp, Felix, Herausgeber
Affiliations:
-
Ort, Verlag, Ausgabe: Cambridge, MA : MRL Press
Seiten: - Band / Heft: - Artikelnummer: - Start- / Endseite: 9346 - 9360 Identifikator: -

Quelle 2

einblenden:
ausblenden:
Titel: Proceedings of Machine Learning Research
Genre der Quelle: Reihe
 Urheber:
Affiliations:
Ort, Verlag, Ausgabe: -
Seiten: - Band / Heft: 235 Artikelnummer: - Start- / Endseite: - Identifikator: ISSN: 2640-3498