<ol id="wqgen"><output id="wqgen"></output></ol>

      <legend id="wqgen"></legend>

  1. Logo

    • xpleaf

      发布于:2018-04-08 22:36:04

      58

      大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例
      大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例
      阅读 10000+ 评论 142 收藏 27 赞赏 1
    • cs312779641

      发布于:2018-02-07 18:57:15

      24

      详解Linux运维工程师高级篇(大数据安全方向)
      详解linux运维工程师高级篇(大数据安全方向)
      阅读 10000+ 评论 10 收藏 17
    • Slaytanic

      发布于:2017-11-02 19:25:32

      5

      Hadoop运维记录系列(二十一)
      Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思,该客户中国分公司的人为了验证内网安全性,从国外找了一个***测试小组对Zeppelin和其他产品进行***测试,结果发现Zeppelin主要俩问题,一个是在内网没用https,一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题,zeppelin本来就是干这个用的。但是***小组不
      阅读 10000+ 评论 3 收藏 0
    • bingyang87628

      发布于:2017-09-26 23:24:31

      3

      大数据实践总结--两个故障的处理及思路总结
          已经有一段时间没有更新实践内容了,不是因为没有在学习。而是工作上出现一个新的挑战,又在忙论文查重,论文也是大数据方向的,主要是ICT方向的一个技术(若有人感兴趣,我会另开一个帖子来详细谈这个内容)。    而且最近,把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利,但没想到,还是出了许多问题。一些简单的问题就直接解决了,但仍是有两
      阅读 8707 评论 1 收藏 1
    • Slaytanic

      发布于:2016-12-30 15:22:50

      3

      Apache Bigtop再论与卖书求生存
      快一年没写博客了,终于回来了,最近因公司业务需要,要基于cdh发行版打包自定义patch的rpm,于是又搞起了bigtop,就是那个hadoop编译打包rpm和deb的工具,由于国内基本没有相关的资料和文档,所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前,bigtop在1.0.0以前版本吧,是用make进行打包的,其实这个0.9.0以前的版本,搁我觉得就不应该出现在apa
      阅读 8050 评论 3 收藏 0
    • yushaoqing

      发布于:2016-07-07 00:27:38

      3

      hadoop源码解析---INodeReference机制
      本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到其他路径时,该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的
      阅读 5711 评论 0 收藏 1
    • 酱酱酱子啊

      发布于:2016-07-06 11:18:14

      3

      logstash将Kafka中的日志数据订阅到HDFS
      前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会删掉。那么在一些情况下,我需要将日志数据也存一份到我HDFS,积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中
      阅读 10000+ 评论 5 收藏 1
    • gdutccd

      发布于:2016-02-05 11:38:09

      0

      hadoop+zookepper实现namenode的高可用
      Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称,/etc/hosts文件配置主机名和ip的映射关系,将mstaer,slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa(私钥),id_rsa.pu
      阅读 7440 评论 0 收藏 1
    • Slaytanic

      发布于:2015-11-13 19:00:35

      8

      Hadoop运维记录系列(十七)
      上个月通过email,帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题,记录一下。
      阅读 10000+ 评论 5 收藏 0
    • Slaytanic

      发布于:2015-07-13 14:50:53

      1

      使用flume替代原有的scribe服务
      以前很多业务都是用scribe做日志收集的支撑的,后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了,各种坑,正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe,但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.
      阅读 8776 评论 1 收藏 0
    写文章
    2019年066期梅花诗是什么 嵩明县| 辽阳县| 泸西县| 尚义县| 翁源县| 丽江市| 昭通市| 平凉市| 临漳县| 晴隆县| 嵊泗县| 安福县| 台中市| 宜君县| 古田县| 监利县| 鄂尔多斯市| 三门峡市| 闽侯县| 伊宁市| 谢通门县| 万年县| 拉孜县| 金门县| 山东| 甘德县| http://2hksat.com 宣城市| 克什克腾旗| 武安市| 阿拉善右旗| 绥化市| 龙泉市| 张家港市| 宜黄县| 冷水江市| 象山县| 崇仁县| 顺义区| 柞水县| 湖口县| 通道| 温宿县| 永登县| 安福县| 镇原县| 镇康县| 青铜峡市| 梨树县| 安多县| 渭源县| 特克斯县| 宜兰县| 临澧县| 利辛县| 旅游| http://bcnqay.cn 黔西| 汤原县| 利川市| 兴仁县| 浦江县| 长治市| 英山县| 高尔夫| 旬阳县| 鲜城| 八宿县| 石河子市| 宁南县| 松潘县| 肇州县| 青冈县| 深州市| 赣州市| 武定县| 稷山县| 海丰县| 吉木乃县| 邓州市| 桑日县| 辽阳县| 天峨县| 静海县| 宜城市| 东阳市| 巴塘县| 垫江县| 清苑县| 泰和县| 鹤庆县| http://www.jje8663.co 清镇市| 陕西省| 兴和县| 宁夏| 礼泉县| 巴楚县| 平顺县| 游戏| 株洲县| 衡阳市| 迭部县| 顺昌县| 乌鲁木齐县| 桦南县| 塘沽区| 广南县| 鹤山市| 汾西县| 长丰县| 阿勒泰市| 天水市| 沁源县| 伊金霍洛旗| 湖南省| 高唐县| 富宁县| 广元市| 崇仁县| 延寿县| http://jzoxjl.co 宝丰县| 抚松县| 商南县| 依安县| 郴州市| 陇南市| 无棣县| 贵南县| 广水市| 钟山县| 北流市| 海原县| 陆良县| 万全县| 什邡市| 宜宾县| 蕲春县| 中西区| 灵宝市| 卢龙县| 南丰县| 黔西| 神池县| 海南省| 水城县| 新巴尔虎右旗| 应用必备| 周宁县| 弋阳县| http://www.cpb1952.tw 永修县| 高青县| 会理县| 芦溪县| 姜堰市| 阜新市| 唐河县| 惠州市| 芦山县| 台东市| 大庆市| 弥渡县| 恭城| 岱山县| 白山市| 区。| 云南省| 剑川县| 界首市| 本溪市| 德令哈市| 石嘴山市| 贵定县| 龙岩市| 仁寿县| 西峡县| 苏尼特左旗| 泸西县| http://www.kuulzep.tw 和静县| 竹北市| 德格县| 衡阳县| 老河口市| 桃园县| 新宾| 疏勒县| 绿春县| 鲜城| 宣城市| 镇远县| 南京市| 石屏县| 股票| 武威市| 盱眙县|