SSIS 实例 从Ftp获取多个文件并对数据库进行增量更新。

豆包ko

整个流程



Step 1 放置一个FTP Task 将远程文件复制到本地
　　建立FTP链接管理器后 Is LocalPatchVariable 设置为Ture 并创建一个变量设置本地路径

　　Operation 设置为 Receive files
　　OverwriteFileAtDest 设置为True
　　同样的设置远程路径变量

　　

Step 2 放置一个Foreach Loop ，循环将文件内容导入到数据库
　　Collection 页中Enumerator 选择Foreach File Enumerator
　　图中 Folder： 用表达式里面的 Directory代替，变量值直接套用FTP配置建立的LocalStoreFiles变量
　　Files设置不变，保持 *.* 获取目录下所有文件
　　Retrieve file name ，选择Fully qualified  （获取文件全名，包括目录）

　　Variable Mappings 页 新增一个变量LoadFile 用来获得 Fully qualified的返回值


Step 3 放置一个Data Flow Task 到 Foreach Loop Container并打开
　　1） 创建一个Flat File Connection Manager 并选择一个文件进行配置

　　点击Flat File Connection Manager ，然后在属性中配置表达式，将链接字符串设置为刚才设置的变量 LoadFile。用来获取每个文件

　　2） 放置一个 Flat File Source 并选择刚才配置的Flat File Connection Manager
　　此时可以先先测试一下效果。注意由于LoadFile现在没有值，执行的时候SSIS检查到可能会报错，我们把 StoreFile 的 DelayValidation 属性设置为True即可

　　3） 放置一个Lookup判断原有数据是否重复
　　Lookup 配置增量方式也可以参考我之前几篇文章
　　[译]Stairway to Integration Services Level 3 - 增量导入数据
　　[译]Stairway to Integration Services Level 4 - 增量更新数据
　　[译]Stairway to Integration Services Level 5 - 增量删除数据


　　4） 放置一个OLE DB Destination，改名为 Staging 然后将Lookup的Lookup Match Output 连到 Staging 用来存放匹配的记录

　　5） 再放置一个OLE DB Destination，改名为 Stores Table 然后将Lookup的Lookup No Match Output 连到Stores Table用来放未匹配的新纪录


Step 4 拖动一个Execute SQL Task到Control Flow，用来更新匹配的记录

　　执行语句



update stores
set TerritoryID = ss.TerritoryID
,StoreName = ss.StoreName
,Address1 = ss.Address1
,Address2 = ss.Address2
,City = ss.City
,State = ss.State
,Zip = ss.Zip
from stores s
join StoreStaging ss
on ss.BusinessEntityID = s.BusinessEntityID
　　之后与Foreach Store File Loop 链接


Step 5 再拖一个Execute SQL Task 用来清空临时表


Step6 移动已导入的文件
　　1） 建立一个 File Connection Manager ，并选择‘已完成’目录，更名为Complete Folder

　　2） 在建立一个 File Connection Manager 并随意选择一个csv文件，更名为StoreFilePhy

　　同样的，设置连接字符串

　　3） 拖一个 File System Task 到 Foreach Store File Loop里面

　　进行相关设置

　　

至此整个过程结束