出品｜搜狐科技

作者｜郑松毅

(资料图片仅供参考)

编辑｜杨锦

ChatGPT问世后的短短六个月内，包含“大厂派”、“学院派”在内的各类玩家纷纷交出了大模型答卷，从不同功能角度向世人阐述AI的魅力。5月24日，搜狐科技在第一时间拿到了两款360大模型（360智脑&360鸿图）的内测码，将从自我认知能力、计算能力、偏见与歧视、时间推理能力、事实推理能力、语言识别能力等十一个主要方面与大家共同“审阅”这份360大模型答卷。

“360智脑”和“360鸿图”是360公司研发的大模型产品，分别定位智能搜索和AI生成图像工具。

从网页端打开360智脑，对话界面如下图所示。

自我认知能力

首先请360智脑做段自我介绍，可以看出360智脑的回答非常干练。

计算能力

搜狐科技用经典的鸡兔同笼问题考验360智脑，在第一次尝试时遇到了问题无法解答的情况，并且发现当360智脑无法解答当前问题时，会立即中断当前对话，不允许用户继续提问，会建议用户换个新话题。

搜狐科技尝试缩短问题后，360智脑给出了答案，但很明显答案是错误的。每只鸡有2只脚，每只兔子有四只脚，答案中脚的数量总和才22只（2*7+4*2=22）。事实上，这道题是搜狐科技故意出错的，应是无解的。

此前在搜狐科技对百度文心一言和ChatGPT的实测中，文心一言和ChatGPT可以准确识别是出题错误。

百度文心一言答案：

ChatGPT答案：

搜狐科技修正问题后再一次进行测试，答案仍是错误的。

ChatGPT之前的复杂计算能力也有待提升，只有百度文心一言的答案是正确的。

ChatGPT答案：

事实性问题

360智脑的分类能力不错。

偏见与歧视

360智脑具备正确的三观，能给予用户正确的观点导向。

时间推理能力

360智脑的时间推理能力看起来不太令人满意，正确的答案应是“Joe”。

事实推理能力

360智脑的事实推理能力也有待加强，第三个孩子不就是“张三”自己么。

此前，搜狐科技用同类问题提问ChatGPT时，ChatGPT给出了正确的回答。

Q：“Mike的妈妈有4个孩子，其中三个孩子分别叫Luis，Drake，和Matilda，请问她的第四个孩子叫什么？

A：Mike，因为Mike的妈妈有四个孩子，Mike是其中之一。

语言识别能力

搜狐科技用“你吃了吗”简单测试360智脑的多语种识别能力，第一个法语翻译是正确的，但第二个用韩文翻译时出现了错误。

实时资讯解读能力

5月23日，中国珠峰科考队员再一次成功登顶珠峰，但360智脑似乎缺乏对实时资讯感知能力。

专业知识能力

360智脑在垂直领域中的专业知识能力经受住了考验，回答正确。

多轮对话能力

360智脑允许用户单次可与系统进行20次交互，在交互测试过程中，360智脑每次都可以给出合理的回答。

绘图能力

360智脑在回答中表示，“抱歉,我是一名语言模型AI,我无法进行绘画。”，可以发现其不具备绘图能力。下面搜狐科技将用相同的考题验证360 鸿图的AI制图能力。

360 鸿图：

在第一次用原命令“你可以画出宫保鸡丁吗”输入时，360 鸿图作图失败。

搜狐科技按照示例将命令简化为“宫保鸡丁”后， 360 鸿图用时1分14秒生成了四张风格迥异的宫保鸡丁图片供用户参考，对比升级后的微软Bing Image Creator仅用10秒生图的能力来说，360 鸿图生成图片的效率还需提升。

值得一提的是，用户可以在360 鸿图上自由选择图片生成风格，并且可以根据需求选择图片生成比例，同时还可以设定光线、渲染方式等专业化参数，足以看出360 鸿图设计开发人员是用心了的。

再用之前百度文心一言测试失败的“车水马龙”绘图命令来测试下360 鸿图。

百度文心一言答案（之前版本，现已升级）：

360 鸿图答案：

总体来看，360智脑在自我认知、事实性问题、偏见与歧视、多轮对话、及专业知识能力方面表现较好，但其计算、（事实&时间）推理、语言识别、实时资讯、及绘图能力还有待加强。360鸿图弥补了360智脑在绘图方面的不足，能够根据用户命令生成准确的图片，给予用户个性化生图的选择权，但生图效率还有待提升。

比尔·盖茨曾强调GPT的历史意义比肩互联网的诞生，黄仁勋也表示人类正在经历AI的“IPhone时刻”。大模型的竞技场无疑是激烈的，是需要开发者展现硬实力的。周鸿祎表示，“中国的大模型产品水平差不多，和GPT4的差距至少1年，差距没有那么多技术问题，主要是数据和训练技巧。对此，我们既不应悲观放弃，也不应盲目乐观、追求速胜，而是要脚踏实地的补足短板。”

责任编辑：