我的生活随笔随着AI在社会中的作用越来越大，医学院研究生院的JB Brown报告了一种新的AI类型评价方法，可以预测是/是/正确或否/否/错误的答案。
布朗在《分子信息学》发表的论文解构了人工智能的应用，分析了用于报告人工智能程序能力的统计数据的性质。新技术还会在给定评估数据的情况下生成性能水平的概率，并回答以下问题：达到90%以上准确率的概率是多少？
关于人工智能新应用的报道几乎每天都出现在新闻中，包括社会和科学领域、金融、制药、医药和安全。
布朗解释说：“尽管报告的统计数据看起来令人印象深刻，但研究团队和评估结果的团队遇到了两个问题。“首先，我们需要知道AI是否是偶然获得其结果，其次，我们需要从报告的性能统计数据中解释适用性。”
例如，如果建立一个人工智能程序来预测某人是否会获奖，它可能总是预测损失。程序可以达到“99%的准确率”，但解读是决定程序准确结论准确性的关键。
但是，这里有一个问题：在典型的AI开发中，只有当正负结果相等时，才能进行信任评估。如果数据偏向任何值，当前的评估系统将夸大系统的能力。
“这项技术的新颖之处在于，它不依赖于任何AI技术，比如深度学习。”布朗说。“它可以通过观察预测数据中度量和平衡之间的相互作用来帮助开发新的评估度量。然后，我们可以判断结果测量是否有偏差。”
除了准确性指标，Brown还在理论和应用场景中测试了其他六个指标，发现没有一个指标是普遍优越的。他说，搭建一个有用的AI平台，关键是多角度评估。
“人工智能可以帮助我们理解世界上的许多现象，但要为我们提供正确的方向，我们必须知道如何提出正确的问题。我们一定要注意不要过分关注单个数字来衡量人工智能的程度。可靠性。”
