小白看完都会了,hadoop

2021年09月15日 阅读数:1
这篇文章主要向大家介绍小白看完都会了,hadoop,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

一、解压到指定目录 /usr/local/src?java

二、重命名?node

三、配置环境变量mysql

sudo vim /etc/profile git

export HADOOP_HOME=/usr/local/src/hadoop? 面试

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsql

4. 刷新设置,运行hadoop version 查看是否配置成功数据库

source /etc/profile?apache

5. 修改hadoop的核心配置文件vim

5.1 修改 hadoop-env.sh ? mapred-env.sh ? yarn-env.sh ?后端

vim hadoop-env.sh ?

export JAVA_HOME=/usr/local/jdk

5.2 修改 core-site.xml?


 <property>

?? ??? ??? ?<name>fs.defaultFS</name>

?? ??? ??? ?<value>hdfs://master:9000</value>

?? ??? ?</property>

?? ? ? ?<property>

?? ??? ??? ?<name>hadoop.tmp.dir</name>

?? ??? ??? ?<value>/usr/local/src/hadoop/data_tmp</value>

?? ??? ?</property>

5.3 修改 hdfs-site.xml?

??


 <property>

?? ??? ??? ?<name>dfs.namenode.secondary.http-address</name>

?? ??? ??? ?<value>master:50090</value>

?? ??? ?</property>

5.4 修改 mapred-site.xml?


 <property>

?? ??? ??? ?<name>mapreduce.framework.name</name>

?? ??? ??? ?<value>yarn</value>

?? ??? ?</property>

5.5 修改 yarn-site.xml?


 <property>

?? ??? ??? ?<name>yarn.nodemanager.aux-services</name>

?? ??? ??? ?<value>mapreduce_shuffle</value>

?? ??? ?</property>

5.6 修改 slave

slave1

slave2

六、远程分发

七、格式化

hdfs namenode -format

八、启动hdfs和yarn

start-dfs.sh

start-yarn.sh

6、安装Hive

#一、安装Hive的元数据库 MySQL

一、下载mysql源安装包

sudo wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

二、安装mysql源

sudo yum localinstall mysql57-community-release-el7-8.noarch.rpm

三、安装mysql

sudo yum install mysql-community-server

四、启动MySQL服务

sudo systemctl start mysqld

五、查看mysql初始密码


[ec2-user@master ~]$ sudo grep "password" /var/log/mysqld.log

2021-03-19T07:56:41.030922Z 1 [Note] A temporary password is generated for root@localhost: v=OKXu0laSo;

v=OKXu0laSo;是密码

六、修改mysql登录密码

把初始密码复制下来,在进入mysql须要输入密码时粘贴下来,回车,就能够进入MySQL命令行。

进入命令行

sudo mysql -uroot -p

修改密码,设置MySQL登录密码为1234

新密码设置的时候若是设置的过于简单会报错

修改密码规则:

在mysql命令行中输入


mysql> set global validate_password_policy=0;

Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_length=1;

Query OK, 0 rows affected (0.00 sec)

从新设置密码


mysql> set password for 'root'@'localhost'=password('1234');

Query OK, 0 rows affected, 1 warning (0.00 sec)

七、设置远程登录

先退出MySQL

以新密码登录MySQL


[ec2-user@master ~]$ mysql -uroot -p1234

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 10

Server version: 5.7.33 MySQL Community Server (GPL)

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 

建立用户


mysql> create user 'root'@'172.%.%.%' identified by '1234';

Query OK, 0 rows affected (0.00 sec)

容许远程链接:


mysql> grant all privileges on *.* to 'root'@'172.%.%.%' with grant option;

Query OK, 0 rows affected (0.00 sec)

刷新权限:


mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

到此mysql安装完成

#二、安装Hive(依赖Hadoop)

一、把Hive解压到指定位置

tar -zxvf hadoop/apache-hive-1.1.0-bin.tar.gz -C /usr/local/src/

二、重命名

mv apache-hive-1.1.0-bin/ hive

三、配置全局环境变量

sudo vim /etc/profile

export HIVE_HOME=/usr/local/src/hive

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/src/hive/lib/*

刷新环境变量

source?/etc/profile

四、在src/hive/conf下建立hive-site.xml文件

touch hive-site.xml

在hive-site.xml文件中添加以下内容:


<configuration>

<property>

        <name>hive.metastore.warehouse.dir</name>

        <value>/user/hive/warehouse</value>

</property>

<property>

        <name>javax.jdo.option.ConnectionURL</name>

        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>

</property>

<property>

        <name>javax.jdo.option.ConnectionDriverName</name>

        <value>com.mysql.jdbc.Driver</value>

</property>

<property>

        <name>javax.jdo.option.ConnectionUserName</name>

        <value>root</value>

</property>

<property>

        <name>javax.jdo.option.ConnectionPassword</name>

        <value>1234</value>

</property>

</configuration>

注意:MySQL密码要改为本身设置的密码

五、添加驱动包

把MySQL驱动放到hive的lib目录下

cp /home/ec2-user/hadoop/mysql-connector-java-5.1.44-bin.jar $HIVE_HOME/lib

六、修改hive-env.sh配置文件


[ec2-user@master conf]$ vi hive-env.sh

#在里面添加以下配置

export HADOOP_HOME=/usr/local/src/hadoop

export HIVE_CONF_DIR=/usr/local/src/hive/conf

七、启动Hive

须要确保hdfs、mapreduce、mysql启动

若没启动

start-all.sh

初始化MySQL中的hive的数据库

schematool -dbType mysql -initSchema

启动hive

hive

#安装sqoop

一、解压

tar -zxvf hadoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/

二、重命名为sqoop


[ec2-user@master src]$ ls

hadoop  hive  jdk  sqoop-1.4.7.bin__hadoop-2.6.0

[ec2-user@master src]$ mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

三、添加环境变量


[ec2-user@master src]$ sudo vi /etc/profile

#在里面添加以下代码

export SQOOP_HOME=/usr/local/src/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

#刷新环境变量

[ec2-user@master src]$ source /etc/profile

四、修改sqoop-env.sh配置文件


[ec2-user@master src]$ cd sqoop/conf/

[ec2-user@master conf]$ mv sqoop-env-template.sh sqoop-env.sh

[ec2-user@master conf]$ vi sqoop-env.sh

在里面修改一下配置项,根据本身的环境来修改:



#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/usr/local/src/hadoop

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/usr/local/src/hadoop

#Set the path to where bin/hive is available

export HIVE_HOME=/usr/local/src/hive

# 完结

Redis**基于内存**,经常使用做于**缓存**的一种技术,而且Redis存储的方式是以key-value的形式。Redis是现在互联网技术架构中,使用最普遍的缓存,在工做中经常会使用到。Redis也是中高级后端工程师技术面试中,面试官最喜欢问的问题之一,所以做为Java开发者,Redis是咱们必需要掌握的。

Redis 是 NoSQL 数据库领域的佼佼者,若是你须要了解 Redis 是如何实现高并发、海量数据存储的,那么这份腾讯专家手敲《Redis源码日志笔记》将会是你的最佳选择。

![](https://s2.51cto.com/images/20210901/1630488029733169.jpg)

**感兴趣的朋友能够经过[点赞+戳这里的方式免费获取](https://gitee.com/vip204888/java-p7)腾讯专家手写Redis源码日志笔记pdf版本!**