人工智能的核心是机器学习,机器学习的五大环节包括数据获取与清洗,构建模型,验证模型,评估模型和模型调优,其中构建,验证,评估模型分别是在训练集、验证集、测试集的基础上去操作,也就是说对于机器学习,高质量的数据集和算法模型是同样重要的,二者缺一不可。人工智能和机器学习领域国际最权威学者之一的吴达恩教授,认为一个机器学习团队80%的工作应该放在数据准备上,确保数据质量是最重要的工作。
更形象一点来说,如果我们把机器学习比喻为让计算机像孩童一样去学习各种知识,然后形成自己的思考和判断,根据常识给孩童看的知识越多,质量越好,对孩童的教育效果也就越好,如果给孩子看的都是糟粕,那么教育效果会适得其反。同样的道理,喂给机器学习的数据量越多,质量越好,才能训练出足够好的AI模型。一句话,没有高质量的数据,就不会有精准的AI!
由于目前通过网络爬虫的方式获取并出售数据集不符合《网络安全法》的条例,因此企业一般通过定制化项目来获取场景数据集。从AI使用场景来说,包括智能驾驶,智能家居,智慧医疗,新零售等众多数据解决方案,从数据类型来说,包括图像数据采集,语音数据采集,文本数据采集,视频数据采集和3D点云数据采集等,更细分一点的话,则有人脸采集,指纹采集,虹膜采集,步态采集,车牌采集,路况信息采集,语料采集,唤醒词采集,车辆语音采集,小语种采集等等。景联文科技就是这样一家致力于做AI行业客户数据参谋的数据采集与标注服务企业。
优势一.行之有效的数据采集流程
由于定制数据集会收到很多因素影响,因此一家专业的数据采集厂商必须要跑通一套完整的数据采集流程,才能保证大型采集项目的快速高效落地。在采集流程的框架下,再去优化具体数据采集方案,丰富企业的采集资源和采集设备,招募有高度执行力的项目团队,注重数据的安全建设。
优势二.事无巨细的数据采集方案
专业数据采集团队对于采集方案一定是谨慎的,景联文科技要求项目经理在制定采集方案时,仔细查看采集项目书,评估项目中可能存在的风险,测算人力、时间投入是否合理,量化所有采集细节并以数字指标的形式反应出来,最后要将所有疑问列出来和客户逐条做确认。
比如:
图像采集项目,可能会包括人脸采集,指纹采集,虹膜采集,步态采集,手势采集,车牌采集,路况信息采集,食品图像采集,天气图像采集等。
采集设备:例如手机,照相机,普通视野还是广角视野等。
分辨率要求:例如720p,1080p,500*500,文件大小不得超过1M等多种条件。
采集角度:例如低视角,高视角,平视,摄像头高度是否定量等。
光照要求:例如正常光线,强光,暗光等,全部光线一致还是要求光线多样化。
场景要求:例如办公室场景,家庭场景,其他场景等,全部场景一致还是要求场景多样化。
等等。
语音采集项目,包括中文普通话采集,方言采集,英语采集,小语种采集,唤醒词采集,指定语料采集,发音词典采集等,也有很多需要关注的参数。1.底噪:根据客户要求的实时数据或定制数据,控制底噪的嘈杂程度。
2.静音区域:录音前后是否留出静音区域,保留多少秒。
3.音量:录音音量大小。
等等。
通过试采和分批的方式交付数据,待试采数据通过客户验收之后在进行大规模采集,采集与质检同时进行,项目团队中的质检员随时待命,不满足采集要求的数据会被直接驳回,从而保证每一批交到客户手中的数据都是质量极高的。
这势必会花费一些时间与精力,但对于动辄几十万数据量的大型采集项目来说,严谨的做好每一个细节确认,才能保证数据的高质量交付。只需磨合一次,后续的多次合作省心省力,无论是合作多次的互联网大厂,还是初次合作的科技厂商,均对景联文科技的采集方案赞不绝口,
优势三.专业负责的项目执行团队
景联文科技招募和培养了一只强大的项目经理队伍,其中绝大多数参与执行过数次大型采集项目,比如和著名车企合作的车内语音采集项目,和国内高校合作的人脸采集项目,和公安部机构合作的指纹采集项目等,因此他们在协调资源、管理项目、把控进度、和甲方沟通等流程上有着丰富经验,可随时根据项目需求组建专业的采集团队。
针对每个项目,不同项目经理给出各自的数据采集方案,公司内部则从价格,工期,方案三个维度进行评审,能者胜出,这样确保了提供给客户的采集方案是最优质的。景联文科技的项目经理还必须通过项目管理ERP来对整个项目进行监控,可以有效实现目标分解、有序组织、工作协同、过程管控和成果归集等功能。此外,一个没有做PLAN B的项目经理不是好项目经理,项目经理必须提前准备好应对之策,将数据采集过程中可能遇到的逾期交付风险扼杀在摇篮里。
优势四.丰富便捷的数据采集资源
景联文科技在全国执行过大量采集项目,在各个渠道积累了丰富的资源。
生物特征采集在图像采集中是比较常见的,有人脸采集,指纹采集,手势采集,步态采集等,景联文科技在这个领域储备了超过2万人的采集志愿者资源,并且由于最早从事指纹防伪技术的研发,自建数据库中生物特征相关的数据量已是非常庞大。
再比如由于伦理审查制度的存在,一般AI企业对于医疗数据采集是比较头疼的,但这对于景联文科技来说不是什么麻烦的事情,因为长期和全国多所医院保持着长期稳定的合作,在伦理审查方面有丰富的经验。
还有对于采集者身体素质要求较高的运动数据采集项目,景联文科技和多所体育院校,中小学校,健身房,体育场,游泳馆保持长期友好合作,积累了众多体育院校专业运动员和运动爱好者资源,囊括室内健身,球类,武术,舞蹈,田径,游泳等各项运动,涵盖了多个年龄段和有色人种群体,前不久景联文科技刚与某科技大厂签署了运动手环数据采集的大合同。
2021年,景联文科技因优秀的数据服务能力和持续增长的业务成交量,荣登数据标注公司排行榜TOP15,已与华为、阿里巴巴、滴滴、海康威视(002415,股吧)、群晖科技、浙江省公安厅电子科技大学等众多企业、机构、高校达成深入合作。面对一个数据驱动的AI未来,景联文科技将始终秉持做AI行业客户数据参谋的理念,把提高数据的采集和标注质量作为不懈的业务追求,乘风破浪,稳健前行!
有数据采集或数据标注需求请访问景联文科技官网
（责任编辑:刘畅）