学习的隐藏几何结构：神经网络思维相似

科技

 0  170

积分：13

宾夕法尼亚大学工程师发现神经网络——如今人工智能革命的引擎 —— 学习的一个意外模式，这表明了人工智能中一个最重要的未解问题：为何这些方法如此有效。

研究指出，无论设计、大小或训练配方如何，神经网络在面对分类图像时都会遵循从无知到真相的相同路径。

通过将每个网络视为概率分布，研究人员得以进行真正的苹果对苹果比较，揭示出它们意想不到的共同之处。他们训练了成千上万个各种类型的网络，并发现这些网络的输出概率在巨大空间中紧密聚集在薄流形上。换句话说，表示网络学习的路径是彼此对齐的，显示它们学会以相同方式对图像进行分类。

研究人员提供了两种可能的解释：首先，神经网络永远不会被随机像素集合训练。其次，神经网络使用的标签有些特殊。人类将对象分组成广泛的类别，如狗和猫，而不是每个动物品种的每个特定成员都有单独的词语。"我们相信这些网络正在找到相同的相关特征," Chaudhari补充道，可能是通过识别共同点如耳朵、眼睛、标记等。

这项研究是在宾夕法尼亚大学工程与应用科学学院以及康奈尔大学进行的。研究得到了美国国家科学基金会、国家卫生研究院、海军研究办公室、Eric and Wendy Schmidt AI in Science博士后奖学金以及亚马逊网络服务的云计算学分支持。

0 收藏分享举报