“工赋新思”是工赋工业互联网开发者社区与工赋学院联合推出的一档聚焦工业互联网新思想、新技术、新应用的直播栏目。我们将募集百位全球领先企业的CEO、CTO等，探讨工业互联网新趋势及制造业管理实践，传播工业互联网方向的政策、热点、思想、知识、经验和最佳实践。分享嘉宾上海麦杰科技股份有限公司杨华（高级咨询顾问）毕业于华中科技大学，是一名高级工程师，也是工业互联网/环保信息化资深行业顾问；主持设计的省级生态大数据分析项目、区级环保物联网项目，连续入选第一届和第二届数字中国环保优秀案例；作为主要编制人员编制《固定污染源工况（过程）监控系统安装及验收技术指南》分享时间年11月26日8:00-9:00pm分享主题如何运用云边协同一体化的数据管理架构来激活工业数据价值精讲要点1.工业企业在建设工业互联网过程中，在数据采集、传输、存储、分析和价值实现五大环节面临的困难；2.如何通过构建云边协同的一体化数据管理架构来提升数据管理能力，激活工业数据价值；3.应用场景分享。分享内容大家好，我今天要分享的是：如何运用云边协同一体化的数据管理架构，来帮助工业企业来激活咱们数据的一个价值的。我分享内容主要包括三块，第一块是我们在工业互联网建设过程中可能会踩到哪些坑，遇到了哪些困难。第二块是我们如何去构建企业的云边协同的一体化数据架构，来帮助我们的工业数据发挥它更好的一些价值。第三块的话介绍一下我们有哪些已经落地的应用场景。首先我们知道在工业企业内是存在两种数据的，基于人的行为来建设的信息化系统，也就是IT系统的数据。另一类是基于机器、设备、传感器的行为产生的生产控制数据。长久以来，这两类数据在工业企业中同时存在，但却不能互通。OT的数据和IT的数据都要通过人的传递才能得到使用。随着工业数字化智能化转型的深入，联网的设备和实时数据也呈现出了百倍增长的一个趋势。在全球知名的数据公司IDC年的预测显示，到年实时数据在全球数据圈中的占比将达到30%，达到一个惊人的49zb的数字。与年相比，设备实时数据将呈现出倍的增长。那如何才能应对海量数据带来的存储、计算、分析、应用的压力，来最大限度发挥我们数据的价值。可以说奋斗在工业互联网的各个企业也好，然后这些从业的公司也好，都做了很多的探索、努力和尝试，同时也遇到了很多的困难，我们知道要实现IT数据和OT数据的融合，各种各样的分析应用，并最终将分析应用数据的价值大致是需要5个步骤，它们分别是数据接入、数据传输、存储处理、业务分析和最终的价值实现。而在每个环节中都会有这样那样的一些难点。首先我们看一下在数据接入这个环节，我们知道工业行业它的种类很多，每一个行业里面，它的设备种类也很多，设备的自动化程度以及它自动化的实现方式也都不尽相同。我们这里以一个汽车制造业的产业链为例，来看一下，比如说汽车零部件的制造业的话，它可能涉及到有钢铁行业，有有色的冶金行业，电子行业，还有橡胶、木材等等这样的一些原材料的加工行业。他们本身的话，由于这样的一些原材料制造形成了汽车各种各样的一些部件，然后再由我们汽车的整个组装的制造，完成了汽车整个的制造。而在这个过程当中，像比如说机床、焊接设备、液压设备等等，像塑料件的一些加工和制造，可能就会用到注塑机，发泡设备等等。还有比如总装环节，我们会用到工业机器人进行涂装的操作，一些他升举一一动，还有螺丝拧紧这样的一些操作，每一个操作的话，用到的工业设备以及他们的自动化的实施方案也都不太一样。我们还是以汽车制造流程中的金属加工来作为例子，比如金属加工，我们会用到一些机床，机床的话其实它会有非常多的种类，包括有切削类的机床，金属成型类的机床以及特殊加工的机床。金属切削类的机床又可以分为车床、洗床、磨床、加工中心，还有雕刻机等等。每一个类型的话，它加工的工件不一样，那么它的设备的型号、吨位、规模都有差别，而它每一种不同类型的机床的话，它的控制器类型也很多，各个控制器厂家对自己的控制器也有不同的支持不同的一些对外的接口和协议。所以情况是非常复杂的。即使是在同一个设备里面，然后不同的子类细分，那也会导致在使用的控制器上面有非常大的差别。比如这个是我们以一个空气压缩机为例，像国内国外的各种品牌，然后他们使用的控制器有不一样，也有普通的通用的PLC，那也有专用的一些控制器，有的厂家的话他还会自己定制一些单片机作为控制器，这个时候我们要将这些设备联网，并将数据一一取出来，就需要针对每一类设备，每一个厂家每一类产品进行逐一的制定相应的一些策略。刚才说到的是设备，其实像在一个工厂里面，它可能有很多的产线，即使是在同一条产线上面的话，设备的一些自动化程度和信息化程度的差别也很大，这样就会导致我们在做工厂整体数据采集的时候就遇到很大的困难，因为有的可能自动化程度高，有的自动化程度会比较差，这个时候我们就需要根据不同的设备，不同的情况来制定相应的一些方案。比如这里我们会有想左边这个图它主要是用信号来对外进行一个输出，右侧的话是采用了高速的一个现场总线的这样的一个控制设备，等于说两种类型的设备的话，我们要去采集它的数据所用到的方案也都是不一样的。这里还是一个例子，就是自动化程度的实现方案不一样，包括很多比如说汽车整车厂，它的设备有上万台，有通用的，也有专用的，还有一些机器视觉识别和控制类的，它的控制器包括有普通的通用的poc还有变频器，还有服务驱动器等等。每一个类型它的厂家也有很多，这就会造成我们的数据采集方案的一个多样性和不确定性。这里是以一个同一个自动化厂家的设备，它的版本迭代更新和一致性的问题。比如说我们这里有一个工业机器人，它其实硬件和软件随着时间的一些推移和产品的一些新产品的研发，老版本和新版本的话，在硬件和软件上都有不一样。比如说三轴的机器人，然后它的扭矩值的话，它寄存的位数和老版本和新版本的话都不一样，这个时候的话就会导致我们在采集的时候发生数据的读取的错误的情况。所以需要根据实际的一个版本来进行我们程序的一些更新和重新开发。除了在接数据采数据这块，人们的精细化的要求其实是越来越丰富的，很多场景下就会要求我们边缘端要进行长时间的一个数据存储，并且要进行模型的训练和实时的运算。这就要求边缘设备具有存储的能力和计算的能力，而现在市面上很多设备是不具备这样的能力的，所以导致人们在建设工业互联网的边缘端的时候，只能忍痛将需求进行简化。第二个环节就是说我们的数据从工业现场，从设备传感器上采出来了以后，要把它传输通过传输环节传输到我们的数据中心，到我们的云端，在传输环节的话也会有一些困难。比如说网络不稳定，造成数据丢包，这样的话数据就不完整了，然后可能会对后续的一些分析和模型的一些运算，造成它的准确度的降低。还有问题的是什么？当我利用现有的一些工业控制网络进行数据传输的时候，可能因为数据传输的数据量过大，如果我们传秒级的毫秒级的数据的话，在这个数据量是很大的，他就会占用正常的我们的通讯的一个带宽。如果说我们采用4G\5G这样的无线传输的方案的时候，使用运营商的一个网络的时候，可能就会有流量费用的一个产生。如果传输的数据量过大，而这些数据又没有得到很好的一个压缩的时候，那么就会造成我们流量费用成本的提升，数据到了中心端了以后，我们需要对这些海量的数据进行存储。由于随着我们人们对于工业数据的一个要求的更加的精细，数据已经从以往的分钟级到秒级甚至到毫秒级和微秒级的这样一个精细化的程度进行改变了。同时这些数据传输到中心了以后，它的整体的体量也从Pb级到Pb级，甚至到zb级，这样的一个提高，由于在中心它的数据量过大，那么就会导致在我们现有的一些技术体系下，这些数据的查询效率就会变得很低。然后为了存储这些数据，那也需要更多的一些硬件的投入才能满足要求。下面的话是我所列到的三个应用场景，就是一个我们已经遇到过的一些大数据的应用场景，比如第一个在地铁列车的实时监测的这样一个场景下，它需要的是什么？每辆车的毫秒传输一次数据，然后数据的话，经过我们的测算，一条线一年的话这个数据量可以达到5t未来5年的话这个数据的总量就会达到5Pb的级别，当你要在5Pb的数据里面去查询到某一些数据，并且把它拿来做模型分析的时候就会发现按现有的一些技术条件查询的效率很低下，所以由于查询的效率低下，导致我们用数据变得很困难，所以去挖掘数据的一些价值也就变得很困难。第二个场景的话是在一个智能制造的大数据分析的场景里面，这个企业的话，他们每一所有的生产线，每一天的日产生的数据总数大约有亿条，然后存下来的话大约会需要占用到1.76tb的这样一个空间。而总的这些数据的话，经过几年的一个存储，将会达到7万亿条这样的一个总量，那么实际上是很难以想象的。要对这些数据做分析，太困难了。后面这个例子的话我们更加的具体一些，我们在一个车辆数据的管理中心去了解到的情况，每天中心平台接收到的数据是两点5tb然后他们现在是用的一个多普的架构去搭建的，我们用来存储历史数据的服务器的话已经超过了台，数据存下来其实是要用的。经过工作人员的一个测算，每导出tb的历史数据需要10个小时，所以这个数据的一个查询的性能就已经完全制约了人们用来用数据来进行分析这样的一个需求。在下一个环节就是刚刚有讲到数据拿存下来就是要进行使用进行分析的。现在有的一些分数据分析的算法和工具的话，他都会非常比较复杂，然后人们使用起来的话也不太方便。最后一点的话就是说中心平台不管是中心也好，边缘也好，我的数据经过运算以后，它是要最终是用来指导我们的工业现场用来指导我们的智能的制造，不管是节拍的一些调节也好，还是我的设备的一些故障的分析和最终的一个设备的预测性的维护也好，他最终是要回到我们的工业现场的。在现在实际上很在传统的一些架构里面的话，它是缺少一个数据价值的下行通道的。也就是说我的数据算好了，没有地方去，它还是需要由人来进行一个数据的传递。这就是我们讲的分析应用和设备的控制，它是割裂的，它依然没有做到IT和OT的数据完美的一个融合。第二部分的话我们来看一下就我们是要怎样建构这样的一个云边协同一体化的一个数据管理架构，来帮助我们的工业企业发挥他们工业数据的这些价值的。刚才也我们有提到，由于接入云端的数据设备越来越多，数据量越来越大。这个时候我们的中心平台就会由于这些海量的数据的接入，造成存储分析和使用上的巨大的压力。因此要建立一个强大的工业互联网平台，必须要建立一个强健的数据管理平台，来夯实我们的数据底座，这就要求我们云端的数据管理平台应该具备以下的能力。第一，我需要应对海量的实时数据并发的读写这个海量数据，我们可以看到除了数据的量很大，比如说我从5台设备的联网到0台设备1万台设备的联网，同时还有一个细颗粒度的变化，那就是以往我可能5分钟发送一个数据，那就可以满足我的要求。第二，但现在在一些精细化管理的场景下，我甚至需要秒级毫秒级甚至是微秒级的这样的数据才能满足我的分析要求了，我们的中心平台是要能够承受这样的一个海量数据的实施读写的压力的就是说我们的数据累计的到了Pb级zb级以后，我依然要能够对它进行快速的检索，只有这样我们才可以去做一些离线的分析，一些模型的分析，然后将分析的结果再应用到我们的工业现场。第三，除了像持续性的数据，就是我们在设备上的那些产生的数据以外，实际上我们还是还需要去整合一些人的行为的数据，比如说我们现有的一些IT的数据，结构化的关系型的数据，以及一些非结构化的文件型的数据，比如说像图片数据、视频数据、音频数据，还有一些频谱数据等等，对于异构数据的整合能力，也是一个优秀的工业互联网的数据管理平台需要具备的能力。第四点，数据它这个平台还需要对数据有一个高压缩的能力，能力的话，主要是体现在我对于平台建设运行维护它的成本考虑的。如果说我的数据不压缩，我可能需要的磁盘空间，比如说是需要个g如果我对它进行压缩的话，我可能只是只需要一个g就能够完成数据的存储，等于说我的磁盘空间直接就扩大了倍。未来我就可以不用去做很设备的扩容，我就能够接纳更多的数据，也是一种变相的成本的节约。第五个能力的话，它需要有强大的数据分析和数据的服务能力。数据分析和服务能力的话主要体现在几个方面，有可视化的一些分析建模的工具，然后有完备的一些数据治理的功能，同时他还需要可以向对外提供一些提供丰富的一些二次开发的接口，最后他还需要能够很方便的运维。这是我们讲到的在云端为了去应对大数据量海量数据的存储分析和使用的压力，我们的云端的数据管理平台应该具备的能力。接下来我们再看一下在边远段要怎样去满足我们工业企业的智能化的一个需求。边缘端的技术和设备的话，它实际上也是伴随着我们用户的需求和技术双重的发展而演进的。这个怎么说呢？首先我们看需求，最早期的时候，我们设备都是在工业现场的，它也没有联网，然后也不能进行远程的管理，也不能远程的对它进行监视。所以人们最早提出来的需求就是我看到需要让我的设备能够联网，我能够对它进行实时的监视，这样的话就是有数据联设备联网和重要数据上传这样的两个需求。然后随着我们对设备管理的一个需求的增加，我可能会有一些数据的预处理了，还有一些逻辑运算的需求也慢慢的呈现出来。然后到现在的话，为了满足一些智能化的应用，我可能还需要通过机器学习和一些人工智能，才能达到我的满，才能满足我精细化、精益化、制造和控制这样的一个目的。最后我还希望智能化的一些应用和指导它的结果能够反馈到我的工业现场，来指导我真正的生产。这是我们说对于边缘端的一个需求，它的一个演化过程。技术的应用主要是包括像阿姆的这样的一些嵌入式技术，还有专用的芯片技术，容器化技术，边缘数据库技术以及人工智能的技术。这些技术的话应用到了我们的工业端的应用到了我们边缘端的设备上来以后，就可以帮我们的边缘端的设备进行能力上的一个演进。首先它是具备有从数据的透传到协议转换的能力的一个演进。这样这样的一个两个阶段的话，我们说这个时候的边缘设备它是不具备边缘计算能力的，它只是做了一个数据的转换和采集，然后我在我的数据库技术加进来了以后，那么我的边缘端就可以有了长时间数据存储这样的一个能力。有了长时间存储的能力了以后，我可以在这个数据的基础之上做一些简单的运算，包括统计学的运算以及逻辑上的简单的逻辑运算。这个时候当我在使用更多的一些容器化技术的以后，我就可以将复杂的一些机理运算和一些机器学习的运算也都放到我们的边缘端。最后我们可以将AI的技术以及深度学习的技术，然后都加入到我们的边缘端，然后让它能够变得很聪明，很智慧，最终把它分析的结果也通过反馈的形式反馈到我们的现场，实现我们的数据价值。从数据的具备存储能力开始，那么我们就说这个边缘端的设备它是具备了边缘计算的能力的，因为边缘端的设备的话它比较特殊，它是一个软件和硬件一体的这样的一个结合体。我们刚才讲到是说边缘是边缘端的一个能力的演进，对于设备本体的它也有一一个演进的过程，它的发展大致有三个阶段，第一个阶段就是说我们说它只有数据采集数据透传这样的一个能力，并且是低频的只是只有这样的一个很简单的一个数据传输的功能。眼睛到第二代的时候，我们可以看到它的功能变得丰富起来了。首先它支持了各种类型的一些不同类型的接口，然后它也可以实现了秒级的采集，并且支持了数据的存储，简单计算和部分标准协议的一个转换，发展到我们的边缘设备发展到第三代的时候，这个时候它的功能就变得更加的强大。它支持秒级、毫秒级、纳秒级这样的一些高等高频的数据的采集，同时也可以支持更多的标准以及非标的协议的转换，并且可以进行灵活的扩展。在边缘计算能力上面，由于容器化技术的一些使用和数据长周期存储的一些能力的提升，以及在边缘边缘端可以进行人工智能的一些计算，可以使我们的边缘端就变得更加的聪明。然后再将运智能运算的一些结果直接反馈到我们的设备PLC或者是控制器上来实现我的整个设备的一个再边缘的智能化，以及它的一个低延迟这样的一个能力，这是我们边缘设备发展到当前在第三代这个产品里面具备的一些很重要的一些能力。工业互联网的发展从早期的众平台，也就是说重存储和算力的集中，到如今的边缘存储、边缘计算、边缘和云端协同这样的一个新兴起越来越有形成云编双核心这样的一个趋势了。而且这种趋势它也并不是偶然形成的。全球著知名的IT咨询机构，扎特做了一个预测，在未来可能有50~75%的数据都是需要在边缘侧进行处理的。因此边缘侧它的技术能力的提升，在未来的工业互联网发展当中是局占有很重要的比重的。同时构建边和云的双核心，加强边和云的协同，以及拓展未来边和边的一些协同，将是未来工业互联网的一个发展趋势，麦杰科技这家公司，实际上在工业领域的话已经耕耘了超过20年的时间了。我们在工业互联网这个领域里面的话，也有提出我们自己的一些理解和一些实践。我们提出来的云边协同的这样的一个一体化的架构的话，它在边缘端是可以实现边缘的一些数据的存储，边缘数据计算以及边缘的应用。在云端的话它可以实现各种异构数据的整合，异构数据存储，一个数据的分析，还有数据服务以及可视化等等这样的一些功能。那边和云之间的话存在着管理的协同，存储的协同以及计算的协同。刚才讲到在工业互联网建立的过程中，5大环节都存在各种困难的地方，这些困难的话麦杰科技也有自己的解决之道，通过我们这样的一个云边和云这样的一个一体化的数据架构，它可以形成数据的一体化闭环。一体化闭环怎么去讲呢？首先我们在接入层面，我们有种大类的一个通讯协议，可以降低咱们在数据接入的难度。同时在边缘端的话，我们就有存储能力和计算的能力，以及设备控制的能力，这就打好了一个数据的基础。在传输的层面的话，我们都有一些高压缩的传传输的压缩的算法，那可以减降低传输过程中的一些流量费用，同时由我们也支持断点续传以及云和边的数据的一致性校验，这样的话就可以有效的防止传输过程中的一些数据的丢包的现象，保证数据的完整性。然后我们还有相应的一些安全策略和数据完整性的策略。在中心端由于百万数据的处理要求更高，麦杰有欧普拉的实时数据库，它可以支持单机每秒钟处理0万条数据，然后每秒钟我们有1.4亿条的历史数据的检索能力，同时我们在中心端的话，我们的大数据平台也有多元易购数据的一些管理能力和数据的分析能力。在业务分析层面，我们提供一体化的一些以AI的引擎地带码的一些建模工具，可以帮助我们的用户来降低代码的一个降低代码量，然后提升开发的效率。同时我们也支持像实时的一些组态分析等等这样的一些工具，来帮助业务很好的一个呈现，最终在价值实现层面的话，我们可以支持远程的一个控制指令和模型运算的指令的一个下发，实现云端和边缘端的一个计算的一个协同。然后也可以进行一些微片的组网，可以直接对设备进行维护，提高设备的一些维护的效率。通过从数据采集到传输到存储，再到分析和最终下发控制指令这样的一个安全可靠的数据闭环，我们是可以能够帮助工业企业去把工业现场的数据经过深度挖掘以后，然后再将它们应用到我们的控制现场，来实现数据的一个能力的提升和价值的实现的。这里的话我们有一些性能会在红色的字上面可以大家可以看，可以

转载请注明:http://www.aideyishus.com/lkyy/8829.html