——聚焦数据 · 改变商业
我国将大数据纳入国家发展战略，明确提出提高可再生能源的利用率，都在指向新型、更智慧化的能源体系建设。国网公司紧密响应国家发展战略，特别今年国网提出了“三型两网、世界一流”能源互联网企业的建设目标，“三型”即具有枢纽型、平台型、共享型特征的现代企业，“两网”即坚强智能电网和泛在电力物联网，展现了国家电网以全新形象站立在历史的临界线上，主动适应能源革命和数字革命发展的必由之路，让大数据发挥更大的价值。
实施时间：2018.1-2019.10
应用场景
根据电力公司生产需求及政府社会应用需求，开展数据分析研究和业务应用开发，为推动配用电发展，实现以客户为中心的电力核心价值，有效配置清洁电力资源，推动我国能源结构绿色转型而做出努力。旨在突破供电可靠性、电能质量等诸多配用电运营瓶颈，促进配用电的增值服务，通过大数据技术应用推动电力技术及管理实现飞跃。全面提高供需两侧的能源经济、技术效率，支撑可再生能源的高效接入，为我国能源结构的绿色转型、各类污染物和温室气体排放的减少做出贡献。
应用场景聚焦配用电领域，在配用电及分布式能源和并网技术方面，提升精细化管理的配电大数据挖掘与融合技术；在用电能效、用电行为、节点、用电预测和网架优化等方面，研究典型业务场景下的大数据分析与挖掘技术的应用。
面临挑战
海量的结构化和非结构化数据
经过国网上海市电力公司三十多年的信息化建设，在生产、运行、销售和管理过程中，上海配用电已积累了大量的结构化和非结构化数据。
初步统计，截至2018年底结构化数据达到35T，非结构化和半结构化数据达400T，并且以每年30%以上的复合增长率快速增长。特别是今年，国网提出了泛在电力物联网的建设，数据将呈爆发性增长。如此海量的数据迫切需要充分利用内外部多源数据，挖掘潜在价值，提升配用电发展水平。
多源异构数据集成存储、高效处理、应用挖掘的技术难题
上百TB的数据来源于电网内的各种信息系统，包括：用电信息采集系统、负荷控制系统、营销应用系统、调度自动化系统、配电自动化系统、生产管理系统和电能质量监测系统等，以及外部的非电力数据，包括气象数据、上海社会经济数据等，如何通过大数据技术对多源异构的数据进行集成存储、高效处理以及应用挖掘，成了亟待解决与攻克的首要技术难题。
因此，国网上海电力(600021,股吧)成立电力大数据实验室，聚焦配用电领域，配电网处于电力系统的末端，具有地域分布广、电网规模大、设备种类多、网络连接多样、运行方式多变等鲜明特点。随着城镇化建设和用电需求的增长，配电网一直在不断地改造和扩建，其规模也不断扩大，国网公司系统内大多数县级以上配电网的规模都已达到百条馈线以上，一些中、大型城市的中压馈线已达到或超过千条。随着配电自动化、用电信息采集等应用系统的推广应用，对于有千条馈线的大规模配电网，配电网中会产生指数级增长的海量异构、多态的数据，数据集合的大小可达到当今信息学界所关注的大数据级别。
在配用电领域提出两个明确的研究方向：一是在配用电大数据管理及分析技术方面，研究面向多源异构的配电大数据挖掘与融合技术；二是在用电能效、节电及错峰调度等方面，研究典型业务场景的大数据挖掘与应用技术。
国网上海电力的电力大数据实验室依托国家863课题“智能配用电大数据应用关键技术”， 积极开展电力大数据实验平台建设，以电力大数据的应用为核心，为电力大数据的系统集成、组件研发、模拟验证、数据共享、示范应用等奠定技术和工程基础。
数据支持
在数据条件方面，集成了用户数据、电网数据和社会环境数据，汇集了浦东1210平方千米的236万户的用电数据，其中居民和第三产业用户占比高达97%，最高负荷738万千瓦，年用电量329亿度，这个规模约占上海全网四分之一。
集成的内外部数据源有10个，分别为用电信息采集系统、电能质量监测系统 、配电自动化系统、调度自动化系统 、营销应用系统 、客户服务系统、负荷控制系统、负荷监测系统、生产管理系统、故障抢修系统，整个数据量到现在已经接近8T。台账数据总量29.14万条。
结构化数据包括调度运行、生产管理、故障抢修、电能质量、用电信息、用户信息、营销管理、气象数据、社会数据、经济数据，共26.7T；非结构、半结构化数据包括地理信息图片、客户服务音频、气象云图和规划设计文档共300T。
应用技术／实施过程
硬件配置
在硬件配置方面，实验室搭建了以分布式计算集群为核心，高性能计算集群为辅助的混合并行计算的大数据硬件集群， 集群节点数为42台，其中：8路2台，4路5台，2路34台，GPU服务器1台，可支持分布式和高性能的混合处理；配置了SAS+SATA存储1.3PB，SSD存储30T，内存4T，可支持不同需求的梯级存储。配置可满足未来3-5年电力大数据研发的需要。
软件配置
在软件配置方面，实验室采用了星环信息科技有限公司的大数据平台。拥有Inceptor SQL引擎，支持完整的SQL语法，可降低应用开发难度；支持聚类、回归等通用算法和机器学习算法的调用，开发了面向电力应用算法的组件；基于Hyperbase列式数据库，开发了多种索引技术的组件，可实现范围查询、模糊查询等高速反馈；基于Sophon实现了数据建模及模型管理；通过对数据进行完整的安全管控，支持4A安全管理，实现了行列级安全控制，实现与Oracle一致的安全管理体系。
极致的性能
基于星环大数据平台TDH构建的智能配用电大数据应用系统汇集了浦东1210平方千米的236万户的用电数据，最高负荷738万千瓦，年用电量329亿度，占上海全网四分之一。集成的内外部数据源有10个，整个数据量到现在已经接近8个T了，台账的数据总量有29.14万条。
在多元数据集成及大数据平台基础之上，应用系统实现了用电查询，电力地图等基础功能及用户用电行为分析，节电用电预测网架优化和错峰调度等业务应用。
用电及能耗监测查询
首先基于多源异构数据的关联解析，和海量用电负荷实际数据存储、索引，实现了用电查询的基础应用，包括230万用户，26000个台区，4000余中压馈线的基本台账及用电数据的快速查询，并可以进行用户用电画像、地图定位、供电范围等数据的查询，服务响应时间在三秒以内。
用电查询是大数据平台的基本功能，快速有效的查询，为进一步的业务应用提供了基础。电力地图是应用系统实现的另一基础功能，在这里可以查看浦东每个行业的用电量变化趋势，每个台区每个时刻的负债率，浦东各规划功能区块的用电密度图以及用电热，力图通过用户测到电网侧数据的关联集成，与GIS空间可视化技术融合，实现浦东全景用电监测及能耗监测，为城市及电网发展规划提供服务。
丰富的电力大数据算法及可视化展现
电力大数据分析和建模过程中含有大量的分类分析需求，会用到大量的算法和模型，因此星环科技针对电力大数据开发了通用和专用算法包。通过调研在电力企业中算法主要分为：数据转换类、基础类、通用算法类和电力专用算法类。电力专用算法主要是在现有算法不满足要求的情况下，对现有算法改进或者重写的某个特定算法和利用通用算法训练的解决某个业务问题的专用算法。最终实现了63个电力大数据通用算法包和11个电力大数据专用算法包的研发。
在了解数据分析建模中对组件化、工具化和可视化的需求，使得业务人员可以在不需要复杂培训的条件下，通过简单的鼠标拖拉操作即可实现操作，星环科技研发了电力大数据应用分析和建模工具应用平台，包括数据预处理组件、数据建模组件、数据治理组件、元数据管理组件、通用和专用可视化展现组件，还支持团队协作和共享，可以导入和导出报表。星环科技的电力大数据应用分析和建模工具应用平台作为一个便捷、可视化的大数据分析应用工具，将组件和算法包融合，电力大数据研发人员可以进行图形化的数据导入、数据预处理、数据建模，最终实现数据展示功能。
应用平台将电力大数据的研究成果应用于设备检测、电能质量分析、用户用电行为分析、用电预测、错峰调度等实际场景中，可以有效降低电力投入成本，节约电力投资，帮助电力公司更好的利用电力资源，产生直接和间接的经济效益。
依托智能配用电大数据平台与示范工程，结合电力公司生产需求及政府社会应用需求，开展数据分析研究和业务应用开发，为推动配用电发展，实现以客户为中心的电力核心价值，有效配置清洁电力资源，推动我国能源结构绿色转型而做出努力。
外部合作
根据各单位技术优势进行合理分工，其中国网上海市电力公司侧重工程示范，浪潮电子信息产业股份有限公司、北京邮电大学侧重体系架构研究，中国电力科学研究院与复旦大学、上海交通大学等高校侧重理论研究，国电南瑞(600406,股吧)科技股份有限公司、北京国电通网络技术有限公司等侧重系统研发。
商业变化
经济效益
针对上海电网，减少调峰电站投资52-87亿元、减少配电网建设投资20.88-34.8亿元、用户电费节省支出6.76-11.27亿元 。
拉动国产大数据相关产品的研究、开发和制造，完成产品转化后实现了年产值10亿元。
社会效益
突破供电可靠性、电能质量等诸多配用电运营瓶颈，促进配用电的增值服务，通过大数据技术应用推动电力技术及管理实现飞跃。
全面提高供需两侧的能源经济、技术效率，支撑可再生能源的高效接入，为我国能源结构的绿色转型、各类污染物和温室气体排放的减少做出贡献。
案例所属企业·星环科技：
星环科技专注于企业级容器云计算、大数据和人工智能核心平台的研发,领航大数据与人工智能基础软件新纪元。公司以上海为总部，以北京、广州、新加坡为区域总部，在南京、郑州、成都设有支持中心，同时在深圳、天津、武汉等地设有办事机构，并在美国和加拿大设有海外分支机构。经过多年自主研发，星环科技建立了多个产品系列：基于容器的智能大数据云平台Transwarp Data Cloud ( TDC )、一站式大数据平台Transwarp Data Hub ( TDH )、智子人工智能平台Transwarp Sophon和超融合大数据一体机TxData Appliance，并拥有多项专利技术。2016年被Gartner评为全球最具有前瞻性的数据仓库及数据管理解决方案厂商，2017年被IDC评为中国大数据市场领导者。公司产品已经在二十多个行业应用落地，2018年，星环科技成为12年来全球首个完成TPC-DS测试并通过官方审计的数据库厂商。目前星环科技已完成D2轮融资。
核心技术：
●基于一站式大数据平台构建企业级数据仓库和数据集市●高性能、可扩展的分布式数据库●融合低延时的事件驱动机制和复杂SQL编程模型的流处理引擎●具备统计、机器学习和深度学习完备算法和实践模型的人工智能平台●突破性实现支持生产级大数据的容器操作系统●基于容器技术的多租户PaaS平台
应用行业：
产品已经在金融、交通、电力、能源、政府、物流、公共安全、电信运营商、零售、媒体、制造业、教育、医疗等细分领域落地。
