大数据技术 SSIS处理NULL
沉沙 2018-09-29 来源 : 阅读 1991 评论 0

摘要:本篇教程探讨了大数据技术 SSIS处理NULL,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 SSIS处理NULL,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<

不同于SQL Server中NULL表示值是未知的(Unknown Value),没有数据类型,但是,在SSIS中,NULL是有数据类型的,要获取某一个NULL值,必须指定数据类型,例如,变量 Int32的“NULL值”是 NULL(DT_I4),默认值是0。对于变量和参数,不允许有NULL值,因此,NULL值是指默认值,如果变量或参数的值未被显式设置时,SSIS使用默认值。对于Data Flow组件,SSIS保持源数据的NULL值。
一,Variable和Parameter的默认值
在SSIS中,变量不能被设置为NULL,在缺少值时,每种数据类型的变量都会使用默认值:

字符类型的默认值是空字符“”,数据类型是DT_WSTR;
数值类型的默认值是0;
Boolean类型的默认值是False;
DateTime的默认值是 “12/30/1899 12:00:00 AM”;

例如,变量varIntNull的Data Type是Int32,使用Expression:NULL(DT_I4) 为其赋值,则该变量的默认值是0。
如果需要测试变量是否缺失值,可以将变量的值和变量数据类型对应的默认值进行比较,
例如:@[User::MyStringVar]=="",如果表达式返回True,说明变量缺失值;如果表达式返回False,说明变量有值。
二,在Data Flow Task中处理NULL值
在Data Flow中,NULL有Data Type,必须使用NULL(Data_Type)来获取某个Data Type的NULL。要确定某个值是不是NULL,使用ISNULL(Data_Column),这个函数返回值是boolean,如果返回值是True,说明该数据是NULL。如果当ISNULL(Data_Column)返回true时,替换该数据,可以使用如下语句实现TSQL Isnull 函数相同的功能:ISNULL(Data_Column)? DEFAULT_VALUE : Data_Column
例如,列City是varchar(10),当该列为null时,将其替换为字符串"Unknown",在Derived Column转换组件中,增加一个新列,设置Expression是:
(DT_STR,10,1252)(ISNULL(City) ? "Unknown" : City) 

三,故障排除
楼主曾经遇到一个错误:在向OLE DB Destination的中Columns[FullName]插入数据时,违反了完整性约束。
[OLE DB Destination [12]] Error: There was an error with OLE DB Destination.Inputs[OLE DB Destination Input].Columns[FullName] on OLE DB Destination.Inputs[OLE DB Destination Input]. The column status returned was: "The value violated the integrity constraints for the column.".
Integrity Constraint包括:域完整性约束,实体完整性和参考完整性,Columns[FullName] 不具有实体完整性约束(PK) 和参考完整性约束(FK),因此,违反的是域完整性约束。域完整性约束包括:CHECK Constraint,DEFAULT Constraint、NOT NULL Constraint(非空约束),Unique Constraint,排除 check,default,unique约束,违反的Integrity Constraint 就是 Not Null Constraint,即,违反Target Column不能为NULL 的约束。
Data Flow组件不会处理数据列的nullability,错误的Root Cause是OLE DB Source Component 返回的列FullName 存在Null值,但是在OLE DB Destination 组件中,Target Table的列FullName不允许插入Null值,因此,违反了非NULL约束。SSIS在调用 bulk insert 命令插入数据时,SQL Server 检测到数据插入操作违反了表的nullability,停止事务的运行,并向SSIS 报错。
解决方法:

在数据源中修改,在数据源中,将NULL值替换成默认值;推荐做法,避免NULL值进入Data Flow;
在数据流中使用Derived Column转换组件,检测到NULL值后,将其替换成默认值;
修改Target Table Column的Nullability,使该列允许为NULL

     

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved