sql 中的Bulk和C# 中的SqlBulkCopy批量插入数据 （ 回顾 and 粗谈 ）

zwd

　　通常，我们会对于一个文本文件数据导入到数据库中，不多说，上代码。
　　首先，表结构如下.

　　其次，在我当前D盘中有个文本文件名为2.txt的文件。

　　在数据库中，可以这样通过一句代码插入。



Bulk  insert  T_Demo
From  'D:\2.txt'
With
(   fieldterminator=',',
rowterminator='\n'
)
　　1） bulk insert:  为Sql server 中一个批量插入的操作
　　2）T_Demo:   要插入的表
　　3）'D:\2.txt':   数据源文件所在磁盘上的物理路径
　　4）with 相当于一些插入的附属条件，可以起这里添加一些约束限制条件等
　　5） fieldterminator=’,’字段的分割符为”，”一般的txt文本数据源的字段分隔都为逗号，当然也可以为其他，比如”|”
　　6）rowterminator=’\n’各条信息间的分割符为’\n’,一般的txt文本数据源的信息间的分割都是换行符，即一条信息占一行，也可以用其他格式如：”|\n”
　　在微软官方给的详细如下：



BULK INSERT  
[ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]  
FROM 'data_file'  
[ WITH  
(  
[ [ , ] BATCHSIZE = batch_size ]  
[ [ , ] CHECK_CONSTRAINTS ]  
[ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]  
[ [ , ] DATAFILETYPE =  
{ 'char' | 'native'| 'widechar' | 'widenative' } ]  
[ [ , ] FIELDTERMINATOR = 'field_terminator' ]  
[ [ , ] FIRSTROW = first_row ]  
[ [ , ] FIRE_TRIGGERS ]  
[ [ , ] FORMATFILE = 'format_file_path' ]  
[ [ , ] KEEPIDENTITY ]  
[ [ , ] KEEPNULLS ]  
[ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]  
[ [ , ] LASTROW = last_row ]  
[ [ , ] MAXERRORS = max_errors ]  
[ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]  
[ [ , ] ROWS_PER_BATCH = rows_per_batch ]  
[ [ , ] ROWTERMINATOR = 'row_terminator' ]  
[ [ , ] TABLOCK ]  
[ [ , ] ERRORFILE = 'file_name' ]  
)]  
　　这里我们主要看with中的一些参数：(部分)
　　1)       BATCHSIZE : 指定批处理中的行数
　　2)       CHECK_CONSTRAINTS:启用约束检查，指定在大容量导入操作期间，必须检查所有对目标表或视图的约束。若没有 CHECK_CONSTRAINTS 选项，则忽略所有 CHECK 和 FOREIGN KEY 约束，并在该操作后将表的约束标记为不可信。始终强制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 约束。
　　3)       FIRE_TRIGGERS
　　指定将在大容量导入操作期间执行目标表中定义的所有插入触发器。如果为针对目标表的 INSERT 操作定义了触发器，则每次完成批处理操作时均激发触发器。
　　4)       KEEPNULLS
　　指定空列在大容量导入操作期间应保留 Null 值，而不插入列的任何默认值
　　5)       ORDER ( { column [ ASC | DESC ] } [ ,...n ] )
　　指定如何对数据文件中的数据排序。如果根据表中的聚集索引（如果有）对要导入的数据排序，则可提高大容量导入的性能
　　6)       ERRORFILE ='file_name'
　　指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。这些行将按原样从数据文件复制到此错误文件中。
　　--------------------------------------------------------------SqlBulkCopy分割线---------------------------------------------------------------------
　　在C#中，我们可以使用sqlBulkCopy去批量插入数据，其他批量插入方法不在讨论。
　　上代码......



/// <summary>
/// SqlBulkCopy批量插入数据
/// </summary>
/// <param name="connectionStr">链接字符串</param>
/// <param name="dataTableName">表名</param>
/// <param name="sourceDataTable">数据源</param>
/// <param name="batchSize">一次事务插入的行数</param>
public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000)
{
using (SqlConnection connection=new SqlConnection(connectionStr))
{
using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction))
{
try
{
sqlBulkCopy.DestinationTableName = dataTableName;
sqlBulkCopy.BatchSize = batchSize;
for (int i = 0; i < sourceDataTable.Columns.Count; i++)
{
sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns.ColumnName,sourceDataTable.Columns.ColumnName);
}
sqlBulkCopy.WriteToServer(sourceDataTable);
}
catch (Exception ex)
{
throw ex;
}
}
}
}
　　使用方式如下，这里我将插入100万条数据，
　　在SqlBulkCopyByDataTable方法中每次插入10万条，
　　其插入方式SqlBulkCopyOptions.UseInternalTransaction （即事务插入，可用其他方式。）



            DataTable dt = new DataTable("测试");
dt.Columns.Add("ID",typeof(int));
dt.Columns.Add("Name", typeof(string));
dt.Columns.Add("Age", typeof(int));
for (int i = 1; i <= 1000000; i++)
{
DataRow row = dt.NewRow();
row["ID"] =  i;
row["Name"] = "名字"+i;
row["Age"] = i;
dt.Rows.Add(row);
}
string connStr = System.Configuration.ConfigurationManager.ConnectionStrings["connStr"].ConnectionString;
Stopwatch stopWatch = new Stopwatch();
stopWatch.Start();

SqlBulkCopyByDataTable(connStr, "T_Demo", dt);
Console.WriteLine(stopWatch.Elapsed);  
Console.ReadKey();
　　用时为如下。

　　参考： http://blog.csdn.net/xuemoyao/article/details/8506338
　　本文到此结束。  
　　纯属回顾与粗谈，并没有细说。
　　请各位见谅。