“做AI的老师”系列之三：“广目天王”
“做AI的老师”系列之三：“广目天王”
大桃子科技迷
在AI的实际应用层面，我们最新的应用成果是人工智能“广目天王”。广目天王的名称是由佛教护法四大天王中的广目天王由来，佛教广目天王能以清净法眼观察护持三千大千世界，故此圣名；我们的人工智能“广目天王”之所以以此取名，也是愿景依托AI以及DT大数据的能力来推进我们的整个企业以及行业发展。下面将详细介绍人工智能“广目天王”包含的应用以及技术。一、“广目天王”的三个AI方向（一）广目数控方向人工智能“广目天王”的第一个应用方向为广目数控方向，该方向的特长是“以净天眼随时观察三大千世界”，含义是以互联网全网数据源（包含：新闻数据源、论坛数据源、博客数据源、微博数据源、微信数据源）为依托，通过DT大数据和AI领域的自然语言处理技术，来实现洞察整个公网互联网世界。广目数控覆盖的功能有如下：1. DT监察全网实时数据动态采用全网IP网段扫描、全网CDN网段扫描为主的策略，获取出需要采集数据源，然后在加上通过采集导航站的站点为辅的填充策略对数据源做补充数据源；在通过大数据分布式站点采集（云爬虫）进行全网数据采集以及通过大数据服务架构对数据进行存储，实现DT全网实时数据动态监察工作。2. AI语义辨析为基础理解处理海量信息通过自然语言处理中的语义分析和语义理解为基础对采集到的海量全网数据进行分析和挖掘,在广目数控中我们采用了包含句法分析、歧义词判别、反转语境处理、新词识别、情感计算、相似度计算、主题模型算法，分析和挖掘包含了文本主题分析计算、文本情感分析计算以及文本相似度计算。3. AI神经网络动态分析信息群组采用AI神经网络算法实时动态的分析全网数据源，对数据源进行群组圈层分析，在广目数控中我们采用了神经网络算法来识别恶意组织对象、有组织恶意区块、有组织恶意扩散等。4. 社交描绘社交描绘中实现了两个方面：一是意见领袖节点，二是社交网络区块。（1）意见领袖节点①节点激发-扩散-震荡预测模型的机器学习模型算法，对意见在何时做激发、何时做扩散、何时震荡做时间节点预测分析；②内容价值分析模型及节点适配，该方面通过机器学习算法分析出内容的的真实价值，以及把该文章和时间节点的预测做最优匹配。（2）社交网络区块①社交阵地分析，社交阵地分析是通过机器学习算法分析哪些地方是值得我们投放内容的，且对投放的阵地做权重排序；②社交圈层分析,社交圈层分析是通过机器学习算法对所分析有价值的社交阵地做圈层分类。5. 智能舆情智能舆情方面，采用自然语言处理文本分析，实现了以下算法：（1）企业相关文章识别算法：通过该算法可以在全网海量数据源中分析出与企业或者行业相关的内容。（2）文章重复度识别算法：该算法采用基于论文查重算法理论，可以识别出包含整片文章的整体相似度、以及段落的相似度,该算法分析出相同文章便于归类分析。（3）情感分析算法：该算法通过对企业或者行业相关的文章做情感分析，分析出文章的正面、中性以及负面标签；从而实现对负面舆情做预警功能。（4）主题挖掘算法：该算法可以分析出文章的主题标签，便于决策者快速的了解文章的整体主题方向。6. 信息追朔信息追朔方面广目数控可以对数据源进行信息来源和时间的跟踪，可以实现包含恶意组织源的信息追朔，帮助企业快速做来源定位，决策判断。7. 高级数控功能高级数控功能方面，通过Spark以及hadoop等大数据框架对全网数据源做大数据统计分析，其中高级数据功能中包含了月采集量分析、数据分布分析、来源统计分析、关键词命中率分析等。（二）慧剑商情方向人工智能“广目天王”的第二个应用方向为慧剑商情方向，该方向的特长是“广目天王右手持慧剑，以大智慧神通分辨是非曲直”，含义是以互联网全网商品源为依托，通过DT大数据和AI领域的机器学习算法技术，来实现商情的辨别分析；慧剑商情方向覆盖的功能有如下：1. DT监察全网实时商品信息动态爬虫技术对全网商品数据进行实时动态采集。其中全网商品包含了目前市场上主流的电商网站，如：行业排名靠前的TOP站点。同时对这些站点实现了实时新增商品采集、价格更新、商品上下架更新，同时高性能策略突破了反爬虫机制。2. DT 数据巡检为基础清洗海量数据通过大数据技术定时定期的对海量的商品数据做清洗与加工处理。其中包含了商品属性缺失值填充（如：品牌型号缺失值填充）、商品动态属性库分析，进而根据属性的填充与格式化扩展清洗出具备竞争价值的商品。3. AI 深度机器学习动态透析信息通过AI机器学习方法建立商品透彻的数据分析与建模，其中包含了相同商品识别模型、商品利润分析模型、竞品分析模型。4. 切片分析切片分析方向，“慧剑商情”对包含了价格线分析、价格带分析、价格堆积分析。（1）价格线分析：通过商品切片数据分析，分析出指定时间范围内商品销售最高的价格。（2）价格带分析：通过商品切片数据分析，分析哪个价格的范围段是销量最好的。（3）价格堆积分析：是通过商品数据分析，分析出哪些价格范围销量是高的。5. 趋势预测在趋势预测方向，“慧剑商情”对包含了供应趋势识别预测、客户趋势识别预测、利润趋势识别预测。（1）供应趋势识别预测：从商品的供给角度出发，采用机器学习算法预测出商品的未来一段时间的供应情况，服务于商家。（2）客户趋势识别预测：从客户的购买角度出发，采用机器学习算法，预测客户购买购买趋势。（3）利润趋势识别预测：预测出未来一段时间的利润盈亏情况。6. 营销推演在我们分析了商品的价格带线关系、趋势预测后，可以对商品做营销推荐，通过机器学习算法做到达到商品与用户购买的利润最大化。7. 可视化商品预测可视化方向，目前已开发出了可视化的管理界面，助利于管理我们的商情计算结果，便于决策者使用。（三）螭龙云客方向人工智能“广目天王”的第三个应用方向为螭龙云客方向，该方向的特点是“广目天王左手虚握螭龙，环绕盘旋”。含义是以企业各个子系统的内部数据源为依托，通过DT大数据和AI领域的机器学习算法技术与网络对抗技术，来实现用户生命周期管理以及个人用户分析。螭龙云客方向覆盖的功能有如下：1. DT通过私有云及公共云拼合个人消费数据通过DT大数据技术，对我们公共云中用户数据和私用云用户做数据拼合，使能捕获到更多更全的用户相关数据，便于AI学习使用。2. 追踪个人网络行为轨迹通过大数据流式处理方式对用户个人网络行为做流处理，保证了在海量用户访问的情况下也能追踪到每个用户的个人网络行为轨迹。3. AI全方位360度行为模拟通过机器学习算法对用户行为相关数据做机器学习相关建模，分析用户的行为，包含了用户的偏好行为、用户群体、消费习惯行为。4. AI对抗网络指通过AI机器学习中生成对抗网络的方式建立用户消费需求模型，通过AI对抗网络精准的对网络消费者做分析。5. 客户全生命周期在客户全声明周期方向，包含了三大部分：（1）客户牧群管理客户牧群管理是在前期客户还没有消费的时候，我们通过牧群管理把客户给”圈养”起来，让客户不断的使用我们的平台，最终成为我们的消费客户。（2）客户增值客户增值的目标是促进客户产生更多的消费，来达到最大盈利化。其中在客户客户增值方向，通过基于用户的机器学习算法以及商品相关性和因果关系实现了一套自有的商品推荐系统，达到客户“想买即想看”的效果，从而引导客户进行消费，提高下单率。（3）客户跳出客户跳出的目标是分析客户流失的原因、流失的群体以及流失到哪里去了做挖掘分析。其中包含了三块：①跳出因子分析模型：通过机器学习算法分析出用户跳出原因，为管理者决策做依据，减少客户流失。②客群流失切片分析模型：通过机器学习算法分析流失客户的群体，以及为什么流失，同样是从多方面为管理者决策做依据，减少客户流失。③客户跳出目标地研究：通过归纳总结以及实时调研和目标地销量和访问量因子分析，分析出客户跳转的目标地对象。二、 “广目天王”的算法框架每个大的型的应用都有一个基于自身应用特点的框架，用于明确目标，清晰层次结构；其中“广目天王”人工智能应用也结合自身有一套自有的框架，下图为“广目天王”的框架图，基于该框架图的子项完成整个广目天王的应用。三、 百度AI开放平台和阿波罗计划开放部分功能与“广目天王”AI框架的对比以上表格是百度AI开放平台和阿波罗计划开放部分功能与“广目天王”AI框架的对比表。我们根据在完整性、开放性、前瞻性和发展性方面均领跑业界的百度开放平台和“阿波罗”计划开放合作的那一部分，制定了“广目天王”的AI研究框架，其中主要包括自然语言处理和数据智能这两大AI方向。在语法分析、依存句法分析、情感倾向分析、OLAP引擎PALO、Elasticsearch方面，我们已经有了完整的研究成果；在词义相似度、结构化数据抽取、商情分析、百度司南、百度舆情方面，我们正在不断优化已有的成果；在其他方面，我们正在进行研究与开发中。后续我们将持续努力，加强学习，不断完善“广目天王”的AI框架，去构造一个更完整、更全面、更领先的人工智能平台。
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
大桃子科技迷
百家号 最近更新：
简介: 浅谈手机充电安全注意事项与快速充电
作者最新文章&&&&(按左右键翻页)
读者还喜欢读：类别：作者：}