大数据技术 Hadoop简易处理solr date 时区问题
沉沙 2018-09-25 来源 : 阅读 1093 评论 0

摘要:本篇教程探讨了大数据技术 Hadoop简易处理solr date 时区问题,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 Hadoop简易处理solr date 时区问题,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<


 


     在cdh集成的solr cloud中,我们可以通过solr管理界面进行查询,也可以通过java的api进行查询,但查询过程中,如果是时间类型的,可能会存在两者在界面上看上去不一致的问题,两者时间刚好相差本地的时区。

创建collection

一:上传配置文件
  为了模拟现象,我们设置如下solr文档结构


solrctl instancedir --create date_demo /data/solr_s

二:创建collection

solrctl collection --create date_demo -s 2 -m 2 -r 2

创建完后solr的collection如下


模拟程序

一:编写程序
  编写模拟插入程序。为了容易查看,只插入2条数据。
  这里我们使用的solr版本为4.10.3。


    private void insert() throws SolrServerException, IOException,
            ParseException {
        String zhHost = "master1/solr";

        CloudSolrServer cloudSolrServer = new CloudSolrServer(zhHost);

        cloudSolrServer.setDefaultCollection("date_demo");

        String id_1 = UUID.randomUUID().toString().replaceAll("-", "")
                .toUpperCase();
        String name_1 = "1点前+8";
        Date createDate_1 = sdfDate.parse("2016-12-30 00:11:12");
        String day_1 = sdfDay.format(createDate_1);

        String id_2 = UUID.randomUUID().toString().replaceAll("-", "")
                .toUpperCase();
        String name_2 = "1点后+8";
        Date createDate_2 = sdfDate.parse("2016-12-30 10:13:14");
        String day_2 = sdfDay.format(createDate_2);

        SolrInputDocument solrInputDocument1 = create(id_1, name_1, day_1,
                createDate_1);
        SolrInputDocument solrInputDocument2 = create(id_2, name_2, day_2,
                createDate_2);

        cloudSolrServer.add(solrInputDocument1);
        cloudSolrServer.add(solrInputDocument2);
        cloudSolrServer.commit();

        System.out.println("success");
    }

View Code
二:运行程序
  可以看到我们已经插入2条数据。

三:程序查询
  在程序查询的结果如下。

  可以看到solr自己的查询界面使用的时间格式是UTC的,会有时差,我们这里是8小时。CREATEDAY和CREATEDATE有时候不一致。
四:处理
  所以为了3方的统一,要么自己改solr界面查询的。要么自己改下时差,使得3方结果一致,方便使用。
  这里我们采用自己修改时差来同步。
  但工具量挺大,得在solr插入的时候转换下时间格式程utc。还的在每次查询的时候转换回来。所以这里就自己恶心下自己,改下solr源码,在源码中找到对应的位置,固定的修改成自己这里的时差。这样就间接的使3方同步了。
  找到solr相关的处理代码类

org.apache.solr.common.util.JavaBinCodec.java

  在readVal下

return new Date(dis.readLong()-28800000l);//因为存储的时候solr的时间格式是utc的,所以这里减掉当前时区的值

  在writePrimitive下

daos.writeLong(((Date) val).getTime()+28800000l);//存入的时候为了同day string同步 加8小时

  这样就可以了。
  我们查看效果。  为了对比 将数据的名称加备注+8

  solr查询页面


本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程