大数据平台规划

背景

为阳春等地区用户提供了全套网页设计制作服务,及阳春网站建设行业解决方案。主营业务为成都做网站、网站设计、阳春网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

1.“云大开物”,四大热门信息技术

1.1 业务的发展越来越受到技术进步的影响。业务创新离不开技术创新。技术为业务服务?

2.大数据技术栈全景:

分布式编程

分布式文件系统

列数据库(HBase、Cassandra、BigTable)

柱数据库(Greenplum、BigQuery)

键值数据库(redis、Amazon DynamoDB、Bolt)

文档数据库(MongoDB、RethinkDB)

关系数据库

新SQL数据库(HANA)

时间序列数据库

SQL引擎(Hive、PrestoDB、SparkSQL)

数据提取

服务编程

调度

机器学习

基准测试与安全

系统部署

应用程序

搜索引擎与框架

MySQL、PostgreSQL、Memcached

嵌入式数据库

商业智能

数据可视化

物联网数据

流计算引擎

数据管道

Big Data

公共数据集--(数据开放、数据云服务)

Hadoop - 大数据分布式数据存储与处理框架

Data Engineering

Streaming

设计哲学

拥抱开源、平台开放

鼓励自治、数据生态

支持创新、开发生态

数据共享与开放/数据门户/数据生态

使用ckan构建。

大数据众包、大数据运营

数据生态

数据治理 vs 数据自治(搜索引擎是典型的数据自治;自治-->生态)

机器学习

机器学习方法是计算机利用已有的数据,得出(训练)了某种模型,并利用此模型预测未来的一种方法。机器学习可完成直接编程(传统编程)无法完成的功能。

大数据平台规划

机器学习的方法:

1.回归算法

2.神经网络

3.SVM(支持向量机)

4.聚类算法

5.降维算法

6.推荐算法

监督学习算法:线性回归,逻辑回归,神经网络,SVM

无监督学习算法:聚类算法,降维算法

特殊算法:推荐算法

在2010年以前,机器学习的应用在某些特定领域发挥了巨大的作用,如车牌识别,网络***防范,手写字符识别等等。但是,从2010年以后,随着大数据概念的兴起,机器学习大量的应用都与大数据高度耦合,几乎可以认为大数据是机器学习应用的最佳场景。

1.大数据,小分析:即数据仓库领域的OLAP分析思路,也就是多维分析思想。

2.大数据,大分析:这个代表的就是数据挖掘与机器学习分析法。

3.流式分析:这个主要指的是事件驱动架构。

4.查询分析:经典代表是NoSql数据库。

机器学习的子类–深度学习

深度学习就是传统的神经网络发展到了多隐藏层的情况。神经网络在隐藏层扩大到两个以上,其训练速度就会非常慢。

大数据平台规划

人工智能:

大数据平台与IaaS/PaaS

IaaS:OpenStack Keystone(认证服务)、OpenStack Swift(对象存储)

大数据平台与IaaS层配合可以实现大数据平台的自动部署、增减节点、多租户隔离等

PaaS:基于Docker技术

大数据前端(front-end)应用的托管、弹性伸缩

Hadoop as a Service

cloudbreak

面向的用户

数据提供者

数据分析师

开发者

运维工程师

安全

keystone、ldap、oauth与社交账号、基础认证

集成问题,如ckan、owncloud有自己的用户

Api store/data store/app store

开发生态

大数据应用的托管

API商店:体现了技术复用、降低学习门槛、有利于调试

爬虫服务算不算API?

部署

使用通用部署工具

docker部署

vagrant

cloudbreak

apache Ambari

HDP部署

使用ambari部署工具,最好能够是官方源+自制源的模式。对官方源汉化、添加自制服务。

素材

chrome加入人脸识别、印刷体识别OCR、条码识别,一行代码实现上述识别。 IDAP也有人脸识别、OCR、条码识别等行业案例,包装成API服务?

大数据API服务

人脸识别

车牌识别

×××识别

OCR

二维码识别

集成

用户(租户)的统一

数据集(管道)的对接

国际化

frontend-backend(REST API)

云计算模式

运营模式存在差异,如资源管理、收费、租户管理

公有云 计费,虚拟数据中心

共享云 大申请+审批+事后算账

专享云(私有云) 小申请+审批+统计


网站题目:大数据平台规划
标题网址:http://bzwzjz.com/article/pgiedg.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 响应式网站设计 高端网站设计 四川成都网站建设 成都网站建设 成都网站建设 高端网站设计 成都商城网站建设 成都网站设计 网站建设推广 定制级高端网站建设 企业网站设计 攀枝花网站设计 成都网站制作 重庆网站制作 成都网站设计 品牌网站建设 成都品牌网站设计 企业网站设计 网站制作 成都营销网站制作 高端网站设计