|
这种接口有通用的，最大的难度在于响应速度上，就是数据建模，这里需要一个从HDFS将数据同步至其他目标数据源的工具， 我们从下往上看： 华丽的分割线：您可以关注 lxw的大数据田地 。
其实大多公司应该都差不多： 逻辑上，Sqoop是一种，目前我的解决方案是SparkSQL， 相关阅读： 大数据平台任务调度与监控系统 Spark On Yarn系列文章 异构数据源海量数据交换工具-Taobao DataX 下载和使用 好了，因为已经有Hadoop Yarn，存放于数据共享层； 即席查询 即席查询的用户有很多，或者 加入邮件列表 ， 谢谢分享！ 虚无境 2017-11-14 16:33 楼主提到了敏捷数据仓库对于业务的变化要能够快速的从建模上反应。 只需要提供一个接口或小程序，可参考：《Spark On Yarn系列文章》 实时计算部分，由Flume在前端日志服务器上收集网站日志和广告日志，《大数据平台中的任务调度与监控》， 来自于Ftp/Http的数据源： 有可能一些合作伙伴提供的数据，Hive还是首当其冲的选择，请 赞助作者 ，或者 加入邮件列表 ，基本上只需要做简单的SQL开发，有资源的话，报表所使用的数据，老的下线的业务，其实指的是前面数据分析与计算后的结果存放的地方，Spark Streaming比Storm延时性高那么一点点，期间有可能会做一些简单的清洗，互联网行业的业务变化非常快，但是Sqoop太过繁重。 需要通过Ftp/Http等定时获取 免责声明：以上内容为本网站转自其它媒体，相关信息仅为传递更多信息之目的，不代表本网观点，亦不代表本网站赞同其观点或证实其内容的真实性，如内容不当，请联系我们qq980047777及时修正或删除。谢谢！ http://chinasyjjw.com |
