1.软文推荐

2.软文推荐

3.软文推荐

本篇文章和大家分享一下Linux系统安装大数据数据搬运工具Sqoop的具体教程,有需要的朋友可以参考一下。

?

Sqoop简介:

Sqoop : SQL-to-Hadoop 用途:把关系型数据库的数据转移到HDFS(Hive、Hbase)(重点使用的场景);Hadoop中的数据转移到关系型数据库中。Sqoop是java语言开发的,底层使用mapreduce。

Linux系统安装Sqoop具体步骤:

安装约定

安装目录为/opt/

1) 解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/

2) 重命名:

 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

3) 配置SQOOP_HOME到环境变量中

vim /etc/profile.d/hadoop-etc.sh

export SQOOP_HOME=/opt/sqoop

export PATH=SQOOP_HOME/bin

4) 让配置生效: source /etc/profile.d/hadoop-etc.sh

5) 复制并重命名配置文件$SQOOP_HOME/conf/ sqoop-env-template.sh

cp sqoop-env-template.sh sqoop-env.sh

6) 配置$SQOOP_HOME/conf/sqoop-env.sh

 export HADOOP_COMMON_HOME=/opt/hadoop

 export HBASE_HOME=/opt/hbase

 export HIVE_HOME=/opt/hive

 export ZOOCFGDIR=/opt/zookeeper/conf

注意:因为SQOOP要连接rdbms,所以需要将该数据的驱动jar包添加进sqoop的classpath中,所以将mysql的jar包上传至$SQOOP_HONE/lib,

7) SQOOP安装验证

执行命令sqoop list-databases –connect jdbc:mysql://ip:3306/test –username root –password 123456 ,显示mysql数据库中所有库名称。

以上就是良许教程网为各位朋友分享的Linux系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你!

本文来源:www.lxlinux.net/1148.html,若引用不当,请联系修改。

相关文章 8

1

详解parted命令具体使用方法 36秒前

parted命令是由GNU组织开发的一款功能强大的磁盘分区和分区大小调整工具,与fdisk不同,它支持调整分区的大小。作为一种设计用于Linux的工...

2

云计算工程师工资(云计算工程师的工资) 2分钟前

目录:1、云计算的就业前途怎么样?2、云计算专业就业方向 云计算专业就业方向与前景3、linux云计算工程师工资有多高4、云计算培训出来...

3

讲解一下js中的toString 3分钟前

这篇文章主要给大家分享了js中toString方法的3个作用,文章围绕js中toString方法的相关资料展开全文内容,需要的小伙伴可以参考一下,希望...

4

GitHub遭密码复用攻击,已重置受影响用户密码 6分钟前

近日有人利用最近曝光的失窃账号的电子邮件和密码组合尝试登陆GitHub,获取使用相同电子邮件的用户账号。在遭到暴力破解攻击之后,G...

5

js在线客服代码(js在线客服代码查询) 6分钟前

目录:1、网站怎么添加在线客服?2、在线客服系统源码3、请问怎么在网页里面加入在线客服系统的代码,代码要怎么获得?网站怎么添加在...

6

详解Rust 并发编程 8分钟前

React是一款颠覆式的前端解决方案,其创新的编程思想以及衍生出来的一些生态圈技术可以说是引领了整个前端的发展。 安全高效的处理并...

8

深入理解 Linux磁盘顺序写、随机写 14分钟前

随机写会导致磁头不停地换道,造成效率的极大降低;顺序写磁头几乎不用换道,或者换道的时间很短 本文来讨论一下两者具体的差别以及...