本文作者:旧梦不再

无处不在的大数据分析

旧梦不再 11-06 16
无处不在的大数据分析摘要: 大数据分析(Big Data Analysis)为我们揭示隐藏在海量数据背后的行为规律和价值信息,是我们洞察世界的新视角。...

大数据分析(Big Data Analysis)为我们揭示隐藏在海量数据背后的行为规律和价值信息,是我们洞察世界的新视角。

大数据,顾名思义,是指规模庞大、类型复杂多样的数据集合。这些数据的来源广泛,包括互联网、社交媒体、物联网设备、企业业务系统等多个领域产生的数据。特点是数量巨大、类型繁多,包括结构化数据(如数据库中的表格)、半结构化数据(如XML文档——可扩展标记语言文档)和非结构化数据(如文本、图像、音频和视频)。

无处不在的大数据分析

大数据分析步骤:

数据清洗、处理、建模和可视化

大数据分析的核心在于从这些看似杂乱无章的数据中提取有价值的信息和知识。通过运用先进的技术和算法,如数据挖掘、机器学习、统计分析等,对数据进行清洗、处理、建模和可视化,从而发现数据中的趋势、模式、关联和异常。

数据清洗是大数据分析的首要步骤,它旨在去除重复、错误和不完整的数据,确保数据的质量:唯一性和准确性。数据处理则涉及将原始数据转换为适合分析的格式,例如,对数据进行标准化、归一化或标识处理,举个例子,某地址数据:“厦门市政府”,处理后规范的写法变成:“厦门市思明区湖滨北路61号厦门市人民政府”,包含所在区、路、门牌号、单位等完整规范的信息。

建模是大数据分析的关键环节,通过建立合适的数学模型或算法,来预测未来的趋势和行为。例如,利用回归分析预测销售趋势,利用聚类分析对客户进行细分。

可视化则是将分析结果以直观、易懂的方式,在各种显示终端(包括大屏幕显示墙、电脑、平板、手机等)呈现给用户,帮助用户快速理解和做出决策。常见的可视化形式包括图表、地图、仪表盘等。

通俗来讲,大数据分析就是通过科学技术手段,从一大堆信息中找出有用的东西。想象一下,成千上万的人在网上购物、看视频、发消息,这些行为产生的数据都被收集起来。通过分析,商家能知道消费者的面貌、经济状态、个性喜好等,精准营销,向用户推荐适合的商品、服务。比如你在网上买了双运动鞋,接下来可能会有很多运动装备向你推荐。企业可以通过大数据分析了解消费者行为和市场趋势,优化生产计划和营销策略;各行业可以通过大数据分析行业发展趋势。

大数据分析应用经典案例:

医药应用、行政治理

大数据分析应用已经进入成熟阶段、无处不在,如医疗行业利用大数据分析疾病模式,改善医疗服务和研发新药。还有,通过分析病人的病史、症状、生活习惯、环境因素等多方面数据,开展疾病发病来源、预测与防控工作。

大数据医药应用经典案例:大数据病因分析

2017年10月的《科学·转化医学》杂志封面文章报道,来自新加坡、中国台湾的研究人员,收集了1400多例肝癌标本,通过大样本分析研究,发现显著的统计差异,中国台湾两家医院的98例肝癌病人当中,78%具有马兜铃酸诱发的基因突变特征,而在北美和欧洲,这一数字分别只有1.7%和4.8%;这项研究与中国台湾此前的一项统计相呼应,1/3的台湾民众曾经服用过可能含有马兜铃酸的中草药,结论就是含有马兜铃酸的中草药可能导致肝癌病变。

大数据在行政治理也发挥巨大作用,政府可以统计分析、了解公众的需求和意见,鼓励公众参与政策制定和社会治理;大数据也可以用于破案、行政监管等。

大数据行政应用经典案例一:大数据破案

公安部门先后建设了DNA、人脸、指纹、人口登记、车辆登记、卡口、视频影像等许多大数据库,大数据助力警方破获的案件、抓捕的罪犯数不胜数。2013年吉林省对看守所、拘留所及监狱中的在押人员集中进行DNA采集,并进行大数据比对、深度研判,共破获了北京、广东、上海等地悬而未破的28起陈年命案,深挖待破案件1600余起。2019年11月28日,厦门警方通过嫌犯人脸大数据库、人脸识别等综合技术,精准研判,多警种快速反应,高效联动,成功抓获潜逃23年、背负7条人命的重案逃犯劳某枝,受到公安部表彰。

大数据行政应用经典案例二:大数据抓“硕鼠”

资本市场监管也用到大数据,资本市场中的“老鼠仓”犯罪金额大、影响坏、隐藏深,传统监管手段难以打击。2013年深交所、上交所用上了“大数据智能监控平台”,它每天可处理超过1亿笔成交记录,交易中任何数据异动一目了然、及时锁定。依靠这套系统,从2014年到2017年,证监会共启动99起“老鼠仓”违法线索核查,向公安机关移送涉嫌犯罪案件83起,涉案交易金额约800亿元。原博时基金经理马乐案被称为“大数据‘捕鼠’第一单”。该案中,马乐通过不记名电话卡下单,先于、同期或稍晚于其管理的基金账户买入相同股票76只(即 “老鼠仓”),累计成交金额10.5亿元,违法获利1912万余元。“大数据智能监控平台”帮助监管部门锁定这3个涉案账户,揪出这只“硕鼠”。

大数据行政应用经典案例三:大数据打分

“白鹭分”是由厦门市政府发布,厦门市信用办等单位主办、支持和运营的大数据应用项目,它归集来自厦门市各政务、公共事业部门数据,从基础信息、守信正向、失信违约、信用修复、用信行为五个指标设计市民信用评分模型,描绘市民个人信用画像,并计算得出的市民个人信用分数。对于白鹭分较高的市民,给予一定的便捷和鼓励,如信用借阅、信用停车、信用就医等,白鹭分600分以上的市民到图书馆可以免押金借阅40本书,通过白鹭分让厦门市民了解自己的信用度、提升市民荣誉感,营造良好的守信氛围,提升厦门市全社会诚信意识和信用水平,打造信用厦门。同时,免押金等举措,也可以降低相关部门的工作强度。

大数据分析作为数字科技的重要组成部分,正以其强大的洞察力和决策支持能力,改变着我们的生活和工作方式。在未来,随着技术的不断进步和创新,大数据分析将发挥更加重要的作用,为我们创造一个更加智能、高效和美好的世界。

(厦门市老科协 供稿)

责任编辑:

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享