IT培训网更多 收回

IT培训
关注我们
微信公众号 回复"大礼包"享福利 学习交流群 分享IT知识
|

IT在线学习更多 收回

热门课程 更多 >
  • Java开发
  • Web前端
  • Python+人工智能
  • 全链路UI/UE设计
  • VR/AR游戏开发
  • 大数据
  • 室内设计
  • PMP认证
  • 互联网营销
  • 全域电商运营
  • 新媒体与短视频运营
  • 软件测试
  • Linux云计算
  • Office
  • 计算机二级
  • 计算机软考
OAO训练营
不离岗 不离校 学门IT技术
优学VIP
16大类IT课程 提升职场竞争力
关注我们
下载【IT优学】 缓存视频随时随地学 微信扫码关注 回复“大礼包”享福利
| 初高中软件培训| 中公企商培训| 中公联合办学| 优校邦| 中公PMP| 中公软考| 计算机二级培训| 趣码AI
登录 | 注册
400-650-7353

精品课程

您所在的位置:首页 > IT干货资料 > 大数据 > 【大数据基础知识】Sqoop概述及安装配置

【大数据基础知识】Sqoop概述及安装配置

  • 发布: 大数据培训
  • 来源:大数据干货资料
  • 2021-01-06 15:07:25
  • 阅读()
  • 分享
  • 手机端入口
  • 活动 5天IT课程 申请试学
  • 活动 申请免费基地参观
  • 活动 申请中公购书补助

Sqoop是一款开源的数据传输层工具,Sqoop的全称是sql to Hadoop。通过这个名称我们可以看出,Sqoop可以完成把关系型数据库如MySQL,Oracle等数据库中的信息导入到Hadoop文件存储体系中,或者把Hadoop文件导入到关系型数据库中。起到了一个非常好的桥梁作用。

Sqoop最早产生于2012 年 3 月,现在已经是Apache的一个顶级项目。Sqoop能够提供多种数据传输方式并且支持多种数据库,这也是Sqoop被广泛应用的原因。

下面,我们来看Sqoop的安装部署。

首先,我们在Sqoop安装之前,要确保已经安装好了Java和Hadoop。这个我们在前面的文章中已有介绍,不太熟悉的朋友可以先参考安装下哦。

已经安装过其他大数据组件的朋友应该能够看到,大数据生态圈组件的安装不外乎是这样的几步:

1. 下载安装包

2. 解压缩

3. 修改配置文件

对于Sqoop来说,也不例外。

1. 首先我们下载Sqoop的安装包,最新的稳定版本是1.4.7。我们可以从官网(http://sqoop.apache.org)下载,也可以从最近的一个镜像网站下载。我选用的下载地址是:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下载 sqoop-1.4.7.tar.gz压缩包。下载完成后上传到虚拟机。我上传目录是/opt/software。或者直接在虚拟机的客户端通过wget命令下载:

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解压缩

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目录下的conf目录下。配置文件的原有名称是sqooop-env-template.sh,我们拷贝一份,并将名称改为sqoop-env.sh。命令如下:

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中,修改如下内容:

4. 拷贝JDBC驱动

把JDBC驱动拷贝到Sqoop根目录下的lib目录下,命令如下:

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因为到Sqoop-1.4.5及以后版本安装包的lib下就已经没有了sqoop-1.4.5.jar,Sqoop-1.4.7也没有sqoop-1.4.7.jar。对于此jar包我们必须单独下载,将其放到Sqoop根目录的lib目录下。

6. 测试Sqoop是否安装成功,使用Sqoop根目录的bin目录下的sqoop命令来测试。如:

如果能出现上面的信息,就说明Sqoop安装配置成功了。

学习疑问申请解答
您的姓名
您的电话
意向课程
 

中公优就业

IT小助手

扫描上方二维码添加好友,请备注:599,享学习福利。

>>本文地址:
注:本站稿件未经许可不得转载,转载请保留出处及源文件地址。

推荐阅读

优就业:ujiuye

关注中公优就业官方微信

  • 关注微信回复关键词“大礼包”,享学习福利
QQ交流群
在线疑问解答
(加群备注“网站”)
IT培训交流群 加入群聊 +
软件测试 加入群聊 +
全链路UI/UE设计 加入群聊 +
Python+人工智能 加入群聊 +
互联网营销 加入群聊 +
Java开发 加入群聊 +
PHP开发 加入群聊 +
VR/AR游戏开发 加入群聊 +
大前端 加入群聊 +
大数据 加入群聊 +
Linux云计算 加入群聊 +
优就业官方微信
扫码回复关键词“大礼包”
享学习福利

测一测
你适合学哪门IT技术?

1 您的年龄

2 您的学历

3 您更想做哪个方向的工作?

获取测试结果
 
课程资料、活动优惠 领取通道
 
 
  • 申请试听
  • 干货资料
  • 网课咨询
  • 学习交流群
  • 返回顶部