Mr. Almost的个人博客-Ever tried , Ever failed ! No matter ,Try again ! Fail again , Fail better !Mr. Almost的个人博客

Ever tried , Ever failed !
No matter ,Try again ! Fail again , Fail better !

最新发布 第2页

HDFS 核心设计(二)-Mr. Almost的个人博客
Hadoop

HDFS 核心设计(二)

lemenness阅读(423)评论(0)赞(1)

HDFS采用一种称为机架感知的策略来改进数据的可靠性、可用性和网络带宽的利用率,本篇就详细讲解这种策略——副本存放策略 HDFS副本存放策略 一、作用 数据分块存储和副本的存放,是保证可靠性和高性能的关键。 二、方法 1.将每个文件的数据进...

HDFS 核心设计 (一)-Mr. Almost的个人博客
Hadoop

HDFS 核心设计 (一)

lemenness阅读(467)评论(0)赞(1)

HDFS 的四大设计核心:心跳机制,安全模式,副本存放策略,负载均衡 本章将详细讲解安全模式的原理及操作 安全模式 1.简介 问题: 集群启动后,可以查看目录,但是上传文件时报错,打开 web 页面可看到 NameNode 正处于 Safe...

HDFS的JAVA API操作-Mr. Almost的个人博客
Hadoop

HDFS的JAVA API操作

lemenness阅读(941)评论(0)赞(3)

本章将学习利用Java API操作HDFS文件 一、FileSystem 实例获取 在Java中操作HDFS,首先要获取一个客户端实例: Configuration conf=new Configuration(); FileSystem ...

HDFS入门(二)-Mr. Almost的个人博客
Hadoop

HDFS入门(二)

lemenness阅读(583)评论(0)赞(1)

本章将从 Hadoop 集群管理脚本、HDFS 管理命令 fs、常用命令参数介绍三个方面来介绍HDFS 的 Shell(命令行客户端)操作 HDFS 的 Shell(命令行客户端)操作 一、 Hadoop 集群管理脚本 Hadoop 安装目...

HDFS入门(一)-Mr. Almost的个人博客
Hadoop

HDFS入门(一)

lemenness阅读(511)评论(0)赞(1)

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的...

Hadoop集群搭建-Mr. Almost的个人博客
Hadoop

Hadoop集群搭建

lemenness阅读(620)评论(0)赞(2)

HDFS集群搭建 一、Linux系统环境准备 操作系统:CentOS6.8 本文安装包下载:http://www.cqzstation.com:8000/f/e9e92a9370/?raw=1 1.修改主机名 # 在root模式下: vim...

特征选择&降维-Mr. Almost的个人博客
大数据分析

特征选择&降维

lemenness阅读(826)评论(0)赞(0)

一、特征选择是什么 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。 主要方法(三大武器): 1.Filte...

数据的特征处理(sklearn特征处理API)-Mr. Almost的个人博客
大数据分析

数据的特征处理(sklearn特征处理API)

lemenness阅读(837)评论(0)赞(0)

特征处理是什么 通过特定的统计方法(数学方法)将数据转换成算法要求的数据 数值型数据: 标准缩放:(1)归一化 (2)标准化 (3)缺失值 类别型数据:one-hot编码 时间类型:时间的切分时间类型:时间的切分 一、归一化处理 1.特点:...