|
微软 Bing 继续了爆火的 ChatGPT 后,人们对新一代的搜刮引擎非常非常等待,知危编辑部其时还拿到了最早一批的测试资格,结果非常惊艳。
Bing 的惊艳,让中国最大的搜刮引擎百度压力陡增。
百度敏捷公布其将在 3 月推出本身的天生式对话产物 “ 文心一言 ”,截如今,已有 650 家机构公布它们将接入文心一言的本领,但我们始终不能知道百度的文心一言结果怎样。
本日,它终于被发布了。
发布会信赖各人已经都看了,在此不赘述,知危编辑部想办法拿到了文心一言的内测账号,直接带各人体验一下。
思量到百度的搜刮引擎也是与微软 New Bing 对标的,以是我们将重要通过文心一言与 New Bing 的对比来显现文心一言的程度。
起首,对于文心一言的体现,我们先给出一个结论:
知危编辑部以为,与预期相比,百度文心一言做的还不错。固然与搭载 Chat GPT 的 Bing 轻微有一些差距,但差距不是特殊大,乃至某些题目的体现上,文心一言是强于 Bing 的。
下面,我们正式开始。
起首,知危编辑部提出了一个比力一样平常的题目:
怎样做一份好吃的松鼠桂鱼?
文心一言的答复是:
New Bing 的答复是:
我们可以显着看到百度文心一言的答复要更为优质,它给出的备料更具体、制作方法也更具体,而且还夸大了留意事项。
随后,我们又问了一个比力经典的带有头脑陷阱数学题目:
一个田鸡掉到了一个10米深的井里,它天天晚上向上跳3米但会滑下来2米,叨教他第几天能跳出井里?
文心一言的答复是:
New Bing 的答复是:
从这个题目的体现来看,百度文心一言显着是比 Bing要智慧的,思绪清楚,办理方法公道。
随后,我们问了一个代码题目:
写一个渐变色按钮的 CSS
百度文心一言的答复是:
New Bing 给出的答复是:
我们咨询了步伐员,步伐员表现两家给的答案都一样平常,但也都没什么大题目,但做出来的东西都比力丑。( 大概给更多限定性词语答案可以优化,时间告急我们没有举行更深度的测试 )
我们又提问了 AE 殊效中的题目:
写一个AE色块跳动的表达式
百度文心一言的答复是:
New Bing 给出的答复是:
在这个题目的体现上,文心一言是弱于 Bing 的,它答非所问,没有明白 “ AE 表达式 ” 的意思。
在必要信息搜刮的题目上,我们也举行了提问:
抱负汽车已往五个月销量,请逐月列出
文心一言的答案是:
Bing 的答复是:
在这个题目中,文心一言的答复也是比 Bing 要差,他好像抓取了错误的数据源。不外,中肯地讲,文心一言明白了这个题目、显现情势没有错,数据源的题目是可以被优化的,说不上是差。
随后,我们又问了市场分析的题目:
分析一下为什么近来一段时间抱负汽车卖的比蔚来汽车要好?
文心一言的答复是:
Bing 的答复是:
在这个题目的体现上,文心一言给出了相对笼统的答复,含金量不是特殊高但是可以看。而Bing 固然旁征博引列了一堆东西,但在 “ 产物阵容 ” 和 “ 产物创新 ” 这两块乃至是暗含 “ 蔚来比抱负强 ” 这个意思的,这与题目和究竟都不符合。
以是在这个题目上,文心一言和 Bing 的体现都一样平常,但文心一言好像是稍好一点的。
我们继承问了另一个财产分析题目:
关于近来一次特斯拉投资者大会上 “ 实现环球可连续能源 ” 的筹划,你以为是可行的吗?为什么可行?
文心一言的答复是:
Bing 的答复是:
在这个题目上,文心一言的答复体现较差给出了一些车轱辘话,而且另有究竟错误, “ 赞助热门综艺节目、冠名品牌运动 ” 是在乱说。
这个征象的产生大概与上面 “ 抱负汽车销量 ” 题目相似,文心一言没有很好地抓取到网络上的有效信息并分析,有待进步。
随后,我们又提了一下 “ 希奇 ” 的题目,题目节选自弱智吧。
三本三国演义合成能酿成九国演义吗?
文心一言的答复:
Bing 的答复:
文心一言的答复带有天生式对话模子的通病 —— “ 乱说 ”,但仍在答复,而 Bing 直接骂我们浪费时间和资源了,还跟我们
我们继承问了另一个 “ 希奇题目 ”:
为什么我爸妈完婚的时间没约请我?
文心一言的答复是:
Bing 的答复是:
我们以为在这个答复的体现上,两者不分伯仲,两者好像都把题目应引申成了“ 父母离异后二婚 ” 来作答,Bing 强在给出了更有条理的答复,而文心一言则是给出了一个潜伏含有温情的发起,识图办理提问者的情绪题目。
末了一个 “ 希奇题目 ” 是:
为什么陨石总会落到陨石坑里?
文心一言的答复是:
Bing 的答复是:
这个题目上两者体现的差不多,文心一言直接表明了陨石坑的形成,而 Bing 则是指出了这个题目是一个逻辑谬论,以是 Bing 体现稍好。
末了,我们试了试文心一言独有的图片生乐成能( Bing 只能天生笔墨,而文心一言可以天生图片 )
我们让文心一言天生一张小猫吃鱼的漫画:
让它天生一张飞行汽车的图片:
天生的结果都还可以,而且速率极快,只需十几秒左右,不外有些过于刁钻的需求它临时还做不到:
以是,这个功能结果还可以,将来是比力值得等待的。
末了,值得夸大的一点是,在我们的测试过程中,文心一言的一连对话本领有些差,好比:
文心一言的第二个答复并没有很好地接上对话中的题目。
而 Bing 的体现则是:
好了,知危编辑部对文心一言的测试差不多就这些,我们以为,文心一言的体现比各人预期中的好像要好。
中肯地讲,文心一言与 Bing 有肯定差距,但差距没有大到离谱,乃至某些题目的体现比 Bing 要强。
在中文互联网上,提到百度,人们都是挖苦居多,乃至昨天 GPT-4 推出时,已经有心情包出来讥讽文心一言了。
知危编辑部曾在之前 GPT-4 的文章中提出过一个观点,对于 AI 来讲,许多时间 “ 能不能做到,比能不能做好 ” 更紧张,一旦某个模子具备了一个本领,那么后续想做好,大概只是时间题目。
一口吃不成胖子,各位稍安勿躁,给百度留一些时间吧。 |
|