最近再学习spark streaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。
首先确保环境安装了Hadoop和sqoop，安装只需要下载 ，解压 以及配置环境变量，这里不多说了，网上教程很多。
一、配置sqoop以及验证是否成功
切换到配置文件下：cd $SQOOP_HOME/conf
创建配置环境文件： cp sqoop-env-template.sh sqoop-env.sh
修改配置文件：conf/vi sqoop-env.sh:修改内容如下
配置完成后，执行命令sqoop-version ，检查是否成功，如图显示sqoop 1.4.7即成功。
二、添加postgresql驱动jar包
因为这里使用sqoop读取postgresql的数据，所以需要将数据库驱动包放到$SQOOP_HOME/lib 下即可 。
三、导入pg数据库中表到hdfs中
1、首先要启动Hadoop集群，不然会报错
执行语句 $HADOOP_HOME/sbin/./start-all.sh
2、执行sqoop语句进行数据导入到hdfs
sqoop import --connect jdbc:postgresql:localhost:5432/test（数据库的名称） --username postgres (填自己的数据库用户名) --password 888888 （填自己数据库的密码） --table company （自己创建表的名称） --m 1 （mapreduce的个数）
执行结果如图：
3、检查hdfs上是否成功存储到表数据
$HADOOP_HOME/bin hdfs dfs -cat /sqoop/part-m-00000(数据目录改成自己的)
结果如图所示：
显示使用sqoop 将 postgreql上的表格数据成功导入到hdfs中，这算今天也有点收获了！
补充：利用Sqoop从PostgreSQL导入数据时遇到的坑
sqoop import --connect "jdbc:postgresql://10.101.70.169:5432/db_name" --username "postgres" --password "123456" --table "test_user"--target-dir "/user/hive/warehouse/test.db/test_user" --fields-terminated-by '\t' --lines-terminated-by '\n' --hive-drop-import-delims --incremental lastmodified --merge-key id --check-column update_time --last-value "2019-03-25" --m 1 -- --schema "schema_name" --null-string '\\N' --null-non-string '\\N'
1、-- --schema 一定要放在后面，否则可能导致无运行日志或无法导入数据到指定目录且无法重新执行（报目录已存在）
2、PostgreSQL 须设置SET standard_conforming_strings = on;，否则--null-string和--null-non-string不起作用；
3、--null-string和--null-non-string放在-- --schema后面，否则执行时报Can't parse input data: '\N'
以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果（九）》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]