Mr. Almost的个人博客-Ever tried , Ever failed ! No matter ,Try again ! Fail again , Fail better !Mr. Almost的个人博客

Ever tried , Ever failed !
No matter ,Try again ! Fail again , Fail better !
Redis命令宝典-Mr. Almost的个人博客
Redis

Redis命令宝典

lemenness阅读(466)评论(0)赞(0)

转载自:http://www.runoob.com/redis/redis-commands.html 更多命令请参考:https://redis.io/commands 一、Redis 键(Key) Redis键命令的基本语法: redi...

编译安装Azkaban3.43-Mr. Almost的个人博客
Hadoop

编译安装Azkaban3.43

lemenness阅读(656)评论(0)赞(1)

1.下载Azkaban源码,下载地址如下: wget https://codeload.github.com/azkaban/azkaban/tar.gz/3.43.0 2.解压 tar –zxvf 3.43.0 3.解压后的目录为azka...

hive内置函数详解-Mr. Almost的个人博客
Hadoop

hive内置函数详解

lemenness阅读(420)评论(0)赞(1)

整理了hive函数大全,以备以后查看 1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败,因为无效的语法。 SQL使用”=”,不使用”==...

hive高级命令-Mr. Almost的个人博客
Hadoop

hive高级命令

lemenness阅读(453)评论(0)赞(1)

1. Hive的Join操作 准备工作 (1)创建表 # studenta表 create table if not exists studenta( id int, name string) row format delimited fi...

Hive命令-Mr. Almost的个人博客
Hadoop

Hive命令

lemenness阅读(533)评论(0)赞(1)

一、DLL操作 数据库 1.创建数据库 create database if not exists hive; 2.查看数据库 show databases; 如果数据库非常多,可以使用正则表达式,例如查看以“h”开头的数据库: show ...

Hive搭建-Mr. Almost的个人博客
Hadoop

Hive搭建

lemenness阅读(487)评论(0)赞(1)

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能, Hive 底层是将 SQL 语句转换为 MapReduce 任务运行 一、前 期准备 1.保证 Hadoop 集群搭...

Mapreduce 中的shuffle机制-Mr. Almost的个人博客
Hadoop

Mapreduce 中的shuffle机制

lemenness阅读(491)评论(0)赞(4)

在Hadoop MapReduce中,框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点 Hadoop的核心思想是MapR...

MapReduce详解及WordCount程序演示-Mr. Almost的个人博客
Hadoop

MapReduce详解及WordCount程序演示

lemenness阅读(532)评论(0)赞(1)

重温Hadoop2.X 重要组件 HDFS:分布式文件系统 MapReduce:分布式运算编程框架 YARN: Hadoop 的资源调度系统(Hadoop 2.x出现,且为核心) Common:以上三大组件底层支撑,提供基础工具包和RPC框...

HDFS 原理解析(二)-Mr. Almost的个人博客
Hadoop

HDFS 原理解析(二)

lemenness阅读(486)评论(0)赞(1)

NameNode 工作机制 一、NameNode工作职责 1.响应客户端请求(读写) 2.元数据管理(元数据三类重要信息) 第一类是文件和目录的属性信息,例如文件名、目录名、父目录信息、文件大小、创建时间、修改时间等。 第二类记录文件内容存...

HDFS原理解析(一)-Mr. Almost的个人博客
Hadoop

HDFS原理解析(一)

lemenness阅读(380)评论(0)赞(3)

HDFS工作机制 1.概述 HDFS集群三大角色 NameNode 负责管理元数据信息 响应客户端请求 DataNode 负责管理用户的文件数据块,即文件内容本身 并且通过心跳机制汇报给 NameNode SecondaryNameNode...