刘强东数字人直播带货 京东探路AI商业化
21世纪经济报道记者孔海丽 北京报道
图片来源于网络,如有侵权,请联系删除
京东创始人刘强东的“AI分身”下海直播,掀开了数字人大规模商业化的面纱。
4 月 16 日傍晚,采用刘强东形象的“采销东哥”AI数字人出现在京东家电家居、京东超市采销直播间,“大佬”“亲自”带货草莓、玉米、大屏电视。半个小时的直播,观看次数超过了1200万。
据了解,这位“采销东哥”出自京东云言犀之手。截至目前,言犀研发的不同版数字人已被超4000家品牌直播间采纳。
图片来源于网络,如有侵权,请联系删除
AI复刻真人
图片来源于网络,如有侵权,请联系删除
直播间里,“采销东哥”复原了刘强东语速快和连音多的口头习惯,甚至复刻了搓手指、略微仰头的习惯动作和身体姿态。
据京东云言犀技术团队透露,要让数字人逼真,首先需要还原出刘强东的声音,提取出声学特征后,通过言犀语音大模型合成出人工语音。
21世纪经济报道记者了解到,言犀团队已经可以做到最短使用6秒素材复现真人声音,更长的声音素材则有助于捕捉更多丰富的细节。
复现出音色以后,还需要捕捉声音的“副语言”,包括语速、语调、重音、倒吸气等。这些副语言原本分布稀疏,大模型不容易捕捉到规律,言犀团队的方法是把声音样本的重音、语调等拆解成音素,让模型能更清晰地注意到它们。在文本层面,NLP(自然语言处理)模型则会根据真人习惯添加口头语,让声音更像真人。
此外,数字人还可以实现对话。言犀团队通过“多模态话语决策模型”以NLP(自然语言处理)来判断对方语义是否完整,也通过ASR(语音识别)来捕捉语调和语气变化,综合判断何时开始发言。综合以上技术,产生一个能流畅自如交谈的数字人声音。
其实,企业管理者的数字人分身,东哥并不是第一例。
2021年,黄仁勋的数字分身就曾亮相GTC,360周鸿祎和自己的数字人曾在乌镇对谈,商汤的汤晓鸥数字人也曾亮相。但让企业管理者的数字人进入带货直播间的,京东确实是第一家。
京东内部技术人士告诉21世纪经济报道记者,主要是因为言犀团队降低了数字人应用的门槛。“建立真人形象需要建模,如果不考虑成本,最真实的方法是用光线追踪做3D建模。但由于人脸是不规则的平面,需要用上百万个三角形去模拟,建立的模型还需要经过深度学习再做声唇同步,计算量十分庞大。”该人士透露:“如果简单地降低三角形的数量,又会让表情变得呆板。”
言犀团队采用的方法是以3D建模骨骼和肌肉,这样用少量三角形就能还原人体的大姿态动作,人脸则在3D模型上采用2D渲染,能够让人脸保持高分辨率,同时兼顾较低的渲染成本。
数字人直播降本增效
电商行业数据显示,2023年,直播带货在电商的渗透率约为31.9%,成为零售的普遍形态。
但直播带货的成本约为每场数万元,有直播电商资深运营直言:“大部分品牌,过去两年的直播都是亏损状态”。
京东云言犀数字人提供了低成本的直播带货方式。21世纪经济报道记者了解到,数字人可以根据商家提供的商品详情自主学习商品特征,让商家“一键开播”。
有消费者在看完刘强东数字人分身直播带货之后表示,听起来还是理性了些,缺点“带货氛围”。不过,数字人带货终究有其用武之地,有商家表示,数字人直播是高性价比的选择,“至少播了就比不播强。”
截至2024年4月,已经有超过4000个品牌在京东使用数字人完成闲时直播,提升闲时转化率超30%,成本不到真人直播的1/10。
此外,有观点认为,“采销东哥”AI数字人直播间带货,一定程度上也是京东低价战略的一种实现方式。一方面,京东采销直播本身就主打“不收坑位费”,意在减少商家营销成本;另一方面,数字人直播可以有效降低商家开播成本。
今年春节的闲时直播中,京东云言犀数字人曾卖出过4000万元货品,平均提升闲时直播转化率超30%。