大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决
沉沙 2019-04-22 来源 : 阅读 1705 评论 0

摘要:本篇文章探讨了大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

本篇文章探讨了大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

大数据技术之将mongodb 数据指定字段导出,然后指定字段导入mysql 实例 及相关问题解决

需求:将mongodb 数据指定字段导出,然后再指定字段导入mysql  表中

直接上图吧,

最后 会将遇到几个问题及解决方案贴出,以便遇到类似问题可以迅速解决(期间所用命令具体用法不在本文详解之内)

  1. 将mongodb 数据指定字段导出,所用命令Mongoexport ,具体查阅官方文档;

导出指定二级字段 Mongodb 

/opt/mongodb/bin/mongoexport  --host yourip  --port yourport   -d app_form -c application_data  --csv  --out export2.csv  --fields   applicant.name,applicant.id_card_num,applicant.cell_phone_num,applicant.home_addr

2. 在mysql 机器上 rsync 传输过来,rysnc 用法就不讲了,带过

rsync -chavzP --stats yourusername@yourip:/home/mongodata/export.csv   /data/mysql/

3.导入mysql,这里有两种情况,一种是导入全新的表,另一种则是导入已存在的表,但是需要指定该表具体字段

  1. 新表:

  2. LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test  CHARACTER SET utf8  FIELDS TERMINATED BY ',' ENCLOSED BY '"';

  3. 老表指定字段:

  4. LOAD DATA INFILE '/data/mysql/export2.csv'  INTO TABLE temp_test2  CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' (name,idcard,tellnumber, address);

结果验证:

导入成功;

4.疑难杂症1:mongo 导出时二级字段的正确导出方法

4.疑难杂症2:mysql导入时 ERROR 1366 (HY000): Incorrect string value: '\xF0\xA5\x8C\x93\xE5\x85...' for column 'address' at row 45293 解决 方法

这个问题很难解决,一般是认为utf8mb4 所导致,具体原因看下面,需要修改表的默认字符集,并以指定utf8mb4 导入;

ALTER TABLE temp_test2  CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;  修改即可1

4.疑难杂症3:mongo 导入时ERROR 1262 (01000): Row 1066659 was truncated; it contained more data than there were input columns 解决方法,sql_mode 的问题,需要修改;

5.其他问题,比如主键重复,字段大小不满足要求,等等小问题自行琢磨解决


      本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程