雅书

人机互为镜鉴，对齐是双向教育。印象最深的一句：当你知道自己不知道该怎么做时，你该怎么做？

读完，我们在LLM development这条路上还有很多的事要解决。

很好的作者！看了就知道。有45页注引用的书，认真程度可见一斑。

系统梳理了对齐问题的脉络，也能更好理解AI安全领域的重点课题，以及为什么业界人士在似乎危言耸听地强调AI的“灭绝风险”。值得再梳理笔记。

研究人工智能，并不仅仅是在研究机器，很多时候，我们是以人类社会学为抓手，来进行关于人工智能技术的探索

得到听书 1、人机对齐，就是让AI的价值观和人类的价值观保持一致。更通俗地说，就是怎么让人工智能更像个人； 2、目前训练AI的主流方式有三种：监督学习、无监督学习、强化学习； 3、监督学习需要选择训练集，所以可能会让AI因为视野受限而产生偏见，书中建议，解决的方法是公开AI训练所用的数据集，让别人来监督这个数据集是不是真的具有足够的代表性； 4、无监督学习可以使AI有更广阔的的视野，不过设计这种算法的目的，是捕捉数据中隐藏的相关性，可能会有与初衷不相符的偏见； 5、强化学习可能产生的问题是AI过于专注“动作”，而忽略了背后的“愿景”。为了解决这个问题，计算机科学家正在探索新的方向。

解答了很多关于人工智能的问题，在人工智能的研究和规范上，我们还有很长的路要走。

越看越喜欢深度学习的理念，也越来越喜欢进化。为什么结果永远让人出乎意料，生物又最终成了现在的模样？谁能控制一切？谁又在妄想控制一切？ 人机对齐是一趟辛苦的路，但这值得。 译者翻译的科普作品挺多，读来感觉不错，记在小本本上。 虽然不是技术人，但技术的思路却总能给我启发。

《人机对齐》是一本引人深思的书籍，它有助于普通读者深入理解人工智能对人类社会的影响，并为AI行业的从业者提供了有益的参考。 在探讨人机对齐的道路上，我们还有很长的路要走。而《人机对齐》将成为我们的指南，引领我们走向AI与人类完美共存的未来。无论你是对AI技术充满好奇，还是关注人工智能如何影响我们的生活，这本书都不容错过。

“这些年，机器学习教了人类什么？”的一本书。

AI学习就是照镜子

20231021得到听书

借「自主」这一章，好好梳理了我体内的机器性。还是挺震撼的，感觉被肢解掉了应试教育的背景下的十年，它把规则读得更透，把问题答得更好。越来越不确定，相比它而言，“我”的优势究竟是什么。

只有当AI应用系统与人类的价值观实时双向对齐时，才能开创人机协作共创的柔性化、全面化、科学化、个性化、快速化的全新时代，颠覆劳动力市场结构，实现共赢的可能！

曾几何时GPT已经成为日常工作和生活中不可或缺的工具。然而比起高效便捷的智能化AI更值得人们欣喜的是，背后组织这套学习训练逻辑的技术人员的劳动也在逐渐被看到和被讨论。“人造智慧”这把利刃如何更好地为充满丰富情感和正义信仰的人类本身所用，并造福于社会未来，所谓“对齐”问题的背后，是人性的缰绳，在牢牢牵扯着技术这头猛兽。

代表安远AI参与审校，也读过英文原版，重读中文版又有新的收获，特别是对各章假设的批判部分。 人机对齐(AI Alignment)问题，即机器学习系统的目标是否真正与人类的设计意图相吻合，已成为人类社会面临的最重要和最紧迫的问题之一。 作者Brian Christian深入科研一线同科学家对话，讲述了人机对齐领域鲜为人知的幕后故事，呈现了神经科学、行为主义心理学、工程学、信息论、数学等领域与机器学习的相互交织，围绕着其中一些问题走到一起。 关于这些模型的力量，关于它们失败的方式，关于促进对齐的努力。

得到APP每天听本书分享：人机对齐，就是让AI的价值观和人类的价值观保持一致。更通俗地说，就是怎么让人工智能更像个人；目前训练AI的主流方式有三种：监督学习、无监督学习、强化学习；监督学习需要选择训练集，所以可能会让AI因为视野受限而产生偏见，书中建议，解决的方法是公开AI训练所用的数据集，让别人来监督这个数据集是不是真的具有足够的代表性；无监督学习可以使AI有更广阔的的视野，不过设计这种算法的目的，是捕捉数据中隐藏的相关性，可能会有与初衷不相符的偏见；强化学习可能产生的问题是AI过于专注“动作”，而忽略了背后的“愿景”。为解决这个问题，计算机科学家正在探索新的方向。一种思路是模仿，即让人类示范，AI模仿；再有一种思路，计算机科学家称之为“逆强化学习”，在逆强化学习中，AI琢磨的是规则。

本質上它是機器 你是人 它考規則秩序代碼 人靠情感 對齊是個未知數 只能在此基準上做個取捨

DG SSH Library，不知想讲什么

1、人机对齐，就是让AI的价值观和人类的价值观保持一致。更通俗地说，就是怎么让人工智能更像个人； 2、目前训练AI的主流方式有三种：监督学习、无监督学习、强化学习； 3、监督学习需要选择训练集，所以可能会让AI因为视野受限而产生偏见，书中建议，解决的方法是公开AI训练所用的数据集，让别人来监督这个数据集是不是真的具有足够的代表性； 4、无监督学习可以使AI有更广阔的的视野，不过设计这种算法的目的，是捕捉数据中隐藏的相关性，可能会有与初衷不相符的偏见； 5、强化学习可能产生的问题是AI过于专注“动作”，而忽略了背后的“愿景”。为了解决这个问题，计算机科学家正在探索新的方向。