hadoop - 标签 - 云服务器哪家好开发者社区-云服务器哪家好

云服务器哪家好

开发者社区

文档建议反馈控制台

首页TVP

#hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

Hadoop原理与技术——Hbase实操

FGGIT 7天前2024-10-15 16:24:08

发现只有hello1的数据，但实际上hello数据并没有被覆盖，hello数据也被保存起来了，这两个方式查看表数据的时候只显示这些列的最新数据

5910

Hadoop原理与技术——Hbase的基本操作

FGGIT 7天前2024-10-15 16:23:51

二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8

8510

Hadoop原理与技术——Linus命令行基本操作

FGGIT 7天前2024-10-15 16:22:54

Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作，为顺利开展后续其他实验奠定基础。

7210

Hadoop原理与技术——hdfs命令行基本操作

FGGIT 7天前2024-10-15 16:22:08

（4）把本地路径为/home/hadoop/rg34/input.txt的文件上传到hdfs文件系统路径为/hdfsTest/hdfsFile1的目录下：hdf...

8610

实战｜Kafka集群升级项目实施，打造高效数据处理平台

TASKCTL 任务调度平台

成都塔斯克信息技术有限公司｜运营经理 (已认证)

12天前2024-10-10 10:39:12

我们团队负责维护的Kafka集群承载了公司大部分实时数据的收集与传输任务。然而，目前存在一些问题，严重影响了集群的稳定性、用户体验以及管理员的运维效率：

9810

router启动详解

zeekling

华为｜大数据开发工程师 (已认证)

12天前2024-10-10 07:50:58

为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指...

9420

hadoop 主备倒换控制器：ZKFailoverController详解

zeekling

华为｜大数据开发工程师 (已认证)

29天前2024-09-23 07:52:10

HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java,

10310

【赵渝强老师】基于ZooKeeper实现Hadoop HA

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-09-182024-09-18 17:41:41

由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、b...

12610

建立单机版的hive

顾翔 2024-09-102024-09-10 16:16:10

安装后的hadoop默认为单机配置，无需其他配置即可运行。使用hadoop自带的单词统计的例子体验以下：

16310

【Java】已解决：org.apache.hadoop.hdfs.protocol.QuotaExceededException

屿小夏 2024-09-092024-09-09 09:25:40

已解决：org.apache.hadoop.hdfs.protocol.QuotaExceededException

8410

?【赵渝强老师】大数据主从架构的单点故障

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-09-062024-09-06 07:31:11

大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。

8900

【赵渝强老师】大数据生态圈中的组件

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-09-042024-09-04 21:39:44

大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习...

13010

【赵渝强老师】大数据技术的理论基础

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-09-032024-09-03 15:04:45

大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此...

16210

Hadoop 认证模块详解

zeekling

华为｜大数据开发工程师 (已认证)

2024-09-012024-09-01 19:28:55

客户端的入口函数为 KerberosAuthenticator.authenticate函数

15420

【赵渝强老师】基于RBF的HDFS联邦架构

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-08-182024-08-18 11:01:41

在最新的Hadoop版本中又实现了基于Router的联盟架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来，解...

18710

【赵渝强老师】Hive的体系架构

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-08-122024-08-12 16:10:31

在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据，而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结...

14010

【赵渝强老师】HDFS数据上传和下载的过程

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-08-122024-08-12 15:41:52

在Hadoop的HDFS中客户端的操作请求，无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNo...

19810

【赵渝强老师】部署Hadoop本地模式

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-08-122024-08-12 15:40:08

为了方便操作Hadoop，需要设置HADOOP_HOME的环境变量，并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。

11710

【赵渝强老师】Hadoop生态圈组件

赵渝强老师

京东大学｜大数据学院院长 (已认证)

2024-08-122024-08-12 15:22:32

它的全称是Hadoop Distributed File System，它是Hadoop分布式文件系统，用于解决大数据的存储问题。HDFS源自于Google的G...

11810

#hadoop

Hadoop原理与技术——Hbase实操

Hadoop原理与技术——Hbase的基本操作

Hadoop原理与技术——Linus命令行基本操作

Hadoop原理与技术——hdfs命令行基本操作

实战｜Kafka集群升级项目实施，打造高效数据处理平台

router启动详解

hadoop 主备倒换控制器：ZKFailoverController详解

【赵渝强老师】基于ZooKeeper实现Hadoop HA

建立单机版的hive

【Java】已解决：org.apache.hadoop.hdfs.protocol.QuotaExceededException

?【赵渝强老师】大数据主从架构的单点故障

【赵渝强老师】大数据生态圈中的组件

【赵渝强老师】大数据技术的理论基础

Hadoop 认证模块详解

【赵渝强老师】基于RBF的HDFS联邦架构

【赵渝强老师】Hive的体系架构

【赵渝强老师】HDFS数据上传和下载的过程

【赵渝强老师】部署Hadoop本地模式

【赵渝强老师】Hadoop生态圈组件

相关产品

热门专栏

开源部署

全栈程序员必看

Hadoop实操

大数据成长之路

PPV课数据科学社区

社区

活动

资源

关于

云服务器哪家好开发者

热门产品

热门推荐

更多推荐