기본 콘텐츠로 건너뛰기

C#에서 Bulk Insert(대량 삽입) 방법

 


C#에서 Bulk Insert(대량 삽입) 최적화하기 – SQL Server & Oracle 완벽 가이드 


데이터베이스에서 대량 데이터를 삽입할 때, 개별 INSERT 문을 반복 실행하는 방식은 성능이 매우 떨어지고, 네트워크 및 데이터베이스 리소스를 비효율적으로 사용할 수 있습니다.

Bulk Insert(대량 삽입) 기술을 활용하면 대량 데이터를 더 빠르게 처리할 수 있으며, 데이터베이스 성능을 크게 향상시킬 수 있습니다. 이번 글에서는 C#에서 SQL Server 및 Oracle을 대상으로 효율적인 Bulk Insert 방법을 설명하고, 최적의 성능을 내기 위한 팁을 공유하겠습니다.

1. C#에서 Bulk Insert를 수행하는 다양한 방법

C#에서 Bulk Insert를 수행하는 대표적인 방법은 다음과 같습니다.

✅ SQL Server

  1. SqlBulkCopy 활용 (가장 빠름)
  2. Table-Valued Parameter (TVP) + Stored Procedure 활용
  3. Dapper의 Execute를 이용한 다중 삽입
  4. Entity Framework의 AddRange와 SaveChangesAsync 사용

✅ Oracle

  1. OracleBulkCopy 활용 (가장 빠름)
  2. PL/SQL의 FORALL 문을 활용한 대량 삽입
  3. Stored Procedure + TABLE 타입을 이용한 대량 삽입

각 방법의 특징과 코드 예제를 살펴보겠습니다.

2. SQL Server에서 Bulk Insert 수행 방법

SQL Server는 대량 삽입을 최적화하기 위해 다양한 기능을 제공합니다.

2-1. SqlBulkCopy를 활용한 대량 삽입 (SQL Server 전용)

SqlBulkCopy는 .NET에서 SQL Server로 데이터를 한 번에 전송할 수 있는 가장 빠른 방법입니다.

🔹 특징

  • SQL Server에서 가장 빠른 대량 삽입 방법
  • 네트워크 오버헤드를 줄이고 직접 데이터베이스로 스트리밍
  • 트랜잭션을 사용하여 안정적인 데이터 삽입 가능

🔹 C# 코드 예제

using System;
using System.Data;
using System.Data.SqlClient;
using System.Collections.Generic;

class Program
{
    static void Main()
    {
        string connectionString = "Server=your_server;Database=your_db;User Id=your_user;Password=your_password;";
        List<Person> people = new List<Person>
        {
            new Person { FirstName = "John", LastName = "Doe", Age = 30 },
            new Person { FirstName = "Jane", LastName = "Smith", Age = 25 },
        };

        BulkInsert(people, connectionString);
        Console.WriteLine("SQL Server Bulk Insert 완료!");
    }

    static void BulkInsert(List<Person> people, string connectionString)
    {
        using (SqlConnection connection = new SqlConnection(connectionString))
        {
            connection.Open();
            using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = "Persons";

                DataTable table = new DataTable();
                table.Columns.Add("FirstName", typeof(string));
                table.Columns.Add("LastName", typeof(string));
                table.Columns.Add("Age", typeof(int));

                foreach (var person in people)
                {
                    table.Rows.Add(person.FirstName, person.LastName, person.Age);
                }

                bulkCopy.WriteToServer(table);
            }
        }
    }
}

class Person
{
    public string FirstName { get; set; }
    public string LastName { get; set; }
    public int Age { get; set; }
}

✅ 장점

  • SQL Server에서 가장 빠름
  • 최소한의 네트워크 오버헤드로 최적화됨

⚠️ 단점

  • SQL Server에서만 사용 가능
  • 테이블 매핑을 직접 관리해야 함

2-2. Table-Valued Parameter (TVP) + Stored Procedure 활용

SQL Server에서 **Table-Valued Parameter(TVP)**를 활용하면 다중 행을 한 번에 삽입할 수 있어 성능이 더욱 향상됩니다.

🔹 SQL Server에서 Table Type 생성

CREATE TYPE PersonTableType AS TABLE
(
    FirstName NVARCHAR(50),
    LastName NVARCHAR(50),
    Age INT
);

🔹 저장 프로시저 생성

CREATE PROCEDURE BulkInsertPersons
    @Persons PersonTableType READONLY
AS
BEGIN
    INSERT INTO Persons (FirstName, LastName, Age)
    SELECT FirstName, LastName, Age FROM @Persons;
END

🔹 C# 코드에서 실행

using System;
using System.Collections.Generic;
using System.Data;
using System.Data.SqlClient;

class Program
{
    static void Main()
    {
        string connectionString = "Server=your_server;Database=your_db;User Id=your_user;Password=your_password;";
        List<Person> people = new List<Person>
        {
            new Person { FirstName = "Alice", LastName = "Johnson", Age = 28 },
            new Person { FirstName = "Bob", LastName = "Lee", Age = 35 },
        };

        BulkInsertWithTVP(people, connectionString);
        Console.WriteLine("TVP를 이용한 Bulk Insert 완료!");
    }

    static void BulkInsertWithTVP(List<Person> people, string connectionString)
    {
        using (SqlConnection connection = new SqlConnection(connectionString))
        {
            connection.Open();

            using (SqlCommand cmd = new SqlCommand("BulkInsertPersons", connection))
            {
                cmd.CommandType = CommandType.StoredProcedure;

                DataTable table = new DataTable();
                table.Columns.Add("FirstName", typeof(string));
                table.Columns.Add("LastName", typeof(string));
                table.Columns.Add("Age", typeof(int));

                foreach (var person in people)
                {
                    table.Rows.Add(person.FirstName, person.LastName, person.Age);
                }

                SqlParameter param = cmd.Parameters.AddWithValue("@Persons", table);
                param.SqlDbType = SqlDbType.Structured;

                cmd.ExecuteNonQuery();
            }
        }
    }
}

✅ 장점

  • SqlBulkCopy보다 유연함
  • TVP를 사용하여 네트워크 오버헤드를 줄일 수 있음

⚠️ 단점

  • SQL Server에서만 사용 가능

3. Oracle에서 Bulk Insert 수행 방법

Oracle에서는 대량 삽입을 최적화하기 위해 OracleBulkCopy, PL/SQL FORALL, 그리고 Stored Procedure를 활용할 수 있습니다.

3-1. OracleBulkCopy를 활용한 대량 삽입

OracleBulkCopy는 Oracle에서 SQL Server의 SqlBulkCopy와 유사한 방식으로 작동합니다.

🔹 C# 코드 예제

using System;
using System.Data;
using Oracle.ManagedDataAccess.Client;
using System.Collections.Generic;

class Program
{
    static void Main()
    {
        string connectionString = "User Id=your_user;Password=your_password;Data Source=your_oracle_db";
        List<Person> people = new List<Person>
        {
            new Person { FirstName = "John", LastName = "Doe", Age = 30 },
            new Person { FirstName = "Jane", LastName = "Smith", Age = 25 },
        };

        BulkInsertOracle(people, connectionString);
        Console.WriteLine("Oracle Bulk Insert 완료!");
    }

    static void BulkInsertOracle(List<Person> people, string connectionString)
    {
        using (OracleConnection connection = new OracleConnection(connectionString))
        {
            connection.Open();

            using (OracleBulkCopy bulkCopy = new OracleBulkCopy(connection))
            {
                bulkCopy.DestinationTableName = "Persons";

                DataTable table = new DataTable();
                table.Columns.Add("FirstName", typeof(string));
                table.Columns.Add("LastName", typeof(string));
                table.Columns.Add("Age", typeof(int));

                foreach (var person in people)
                {
                    table.Rows.Add(person.FirstName, person.LastName, person.Age);
                }

                bulkCopy.WriteToServer(table);
            }
        }
    }
}

✅ 장점

  • Oracle에서 가장 빠른 대량 삽입 방법

⚠️ 단점

  • ODP.NET 설치 필요

결론

SQL Server와 Oracle에서 최적의 Bulk Insert 방법을 선택하세요! 🚀

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

실버테크(Silver-Tech)

고령화 시대의 새로운 혁신, 실버테크(Silver Tech) 1. 실버테크란 무엇인가? 현대 사회는 빠른 속도로 고령화되고 있으며, 이에 따라 노년층을 위한 기술과 서비스가 더욱 중요해지고 있습니다. **실버테크(Silver Tech)**는 노년층의 삶의 질을 향상시키기 위해 개발된 기술과 서비스를 의미합니다. 건강 관리, 안전, 생활 편의성, 사회적 연결 등을 지원하는 다양한 혁신적인 기술이 포함됩니다. 2. 실버테크의 주요 분야 1) 헬스케어 및 원격 의료 스마트워치나 피트니스 트래커를 활용한  건강 모니터링 온라인 진료를 통해 병원 방문 없이 상담이 가능한  원격 의료 서비스 건강 상태를 분석하고 관리해주는  AI 기반 건강 관리 시스템 2) 스마트홈 및 생활 보조 기술 음성 인식으로 조작이 가능한  스마트 가전 낙상 감지 및 응급 호출 기능이 포함된  스마트 센서 노년층을 위한  자동화된 조명, 난방 시스템 3) 커뮤니케이션 및 소셜 기술 사용하기 쉬운 UI를 적용한  실버폰 및 태블릿 가족 및 친구와 소통을 쉽게 해주는  화상 통화 및 메시징 앱 노인 대상의  디지털 리터러시 교육 프로그램 4) 여가 및 엔터테인먼트 노년층을 위한  VR(가상현실) 체험 프로그램 온라인으로 제공되는  문화, 교육 콘텐츠 손쉽게 즐길 수 있는  전용 게임 및 앱 5) 이동성 및 모빌리티 솔루션 편리한 이동을 돕는  전동 휠체어 및 스쿠터 실시간 위치 추적이 가능한  스마트 네비게이션 시스템 고령자를 위한  자율주행 차량 및 호출 서비스 3. 실버테크가 가져오는 변화 - 삶의 질 향상 기술의 발전으로 인해 노년층이 더욱 독립적으로 생활할 수 있도록 도와주며, 건강하고 편리한 삶을 지원합니다. - 사회적 고립 해소 화상 통화, 소셜 네트워크, 온라인 커뮤니티 등을 통해 사회적 관계를 유지할 수 있도록 돕습니다. - 경제적 기회 창출 실버테크 산...
댓글 쓰기
자세한 내용 보기

로또 번호 생성기

댓글 쓰기
자세한 내용 보기

키움증권 Open API를 활용하여 갭 매매 전략 구현- C#

  1. 갭 매매 전략이란? 갭 매매란 주가가 전일 종가 대비 큰 폭으로 상승(갭업)하거나 하락(갭다운)하여 개장할 때, 발생한 갭의 움직임을 활용하여 수익을 내는 전략입니다. 이번에 소개할 전략은 다음 조건에 해당하는 종목을 대상으로 합니다. 조건검색 : 전일 대비 오늘 시가가 5% 이상 갭업으로 시작한 종목 전략 실행 : 개장 후 30분 이내에 주가가 전일 종가 수준까지 회귀하면 매수 진입 후, 갭이 완전히 메워질 때 매도합니다. 손절매 : 진입 가격에서 갭 상승분의 50% 하락 시 손절 익절매 : 갭 상승분의 50% 이상 추가 상승 시 익절합니다. 2. 구현 환경 및 준비사항 키움증권 API+ 설치 (영웅문 API) Visual Studio Community Edition (C#) 키움증권 계좌 (모의투자 계좌 추천) 3. C# 코드 전체 구현 (주석 포함) 다음 코드에는 갭 매매 전략, 주문 실행, 체결 확인 및 정정 주문까지 포함되어 있습니다. using System; using System.Collections.Generic; using AxKHOpenAPILib; public class GapTrading { private AxKHOpenAPI axKHOpenAPI; private string accountNumber; // 매수 후 체결된 정보를 저장할 Dictionary (종목코드, (체결가격, 체결수량)) private Dictionary< string , ( int price, int qty)> positions = new Dictionary< string , ( int , int )>(); public GapTradingStrategy (AxKHOpenAPI api, string accountNo) { axKHOpenAPI = api; accountNumber = accountNo; ...
댓글 쓰기
자세한 내용 보기

Log4Net vs. Serilog 비교

🔍 Log4Net vs. Serilog 간단 비교 기준Log4NetSerilog 성능 중간 (충분하지만, 최신 라이브러리보단 느림) 빠르고 효율적 설정 방식 XML 기반 (전통적) JSON 기반 (모던함) 구조적 로깅 미지원 (기본 텍스트 로그) 강력한 구조적 로깅 지원 ASP.NET Core 통합 가능하지만 설정이 좀 복잡 간단하고 직관적 Sink(대상) 다양성 적당한 편 매우 다양하고 확장성 높음 생태계 & 유지보수 전통적, 유지보수 상태는 다소 정체 활발한 개발과 업데이트 🎯 어떤 프레임워크가 좋을까? Serilog를 추천하는 이유: 최신 기술 : ASP.NET Core와 완벽히 통합, 구조적 로깅이 뛰어나 JSON 로그 처리, 분석에 최적화됨. 높은 생산성 : 설정과 유지보수가 쉬움. 코드 기반 및 JSON 설정으로 직관적이고 빠른 개발이 가능. 확장성 : 파일, 콘솔, DB, Elasticsearch, Seq 등 다양한 Sink를 제공해 향후 확장성이 좋음. 🚀 결론 요약 Log4Net을 추천할 때Serilog를 추천할 때 기존 시스템과 호환이 필수 최신 ASP.NET Core 프로젝트 XML 설정 선호 JSON, 코드 기반 설정 선호 구조적 로깅 필요 없음 구조적 로깅과 분석 필요
댓글 쓰기
자세한 내용 보기

C#으로 아두이노와의 시리얼 통신

  1. 들어가며 최근 IoT와 임베디드 시스템 개발이 증가하면서 PC와 아두이노 간의 통신을 효율적으로 처리하는 방법이 중요해졌습니다. 그중에서도 가장 널리 쓰이는 방법 중 하나가 바로  시리얼(Serial) 통신 입니다. 이번 글에서는 C#을 이용해 아두이노와의 시리얼 통신을 완벽히 이해하고 구현하는 방법을 자세히 소개하겠습니다. 2. 시리얼 통신이란? 시리얼 통신은 데이터를 한 번에 한 비트씩 순차적으로 전송하는 방식입니다. USB 포트를 통해 아두이노와 PC 간 데이터를 주고받을 때 주로 사용됩니다. 3. 준비물 아두이노(UNO, MEGA 등) PC 및 Visual Studio USB 케이블 4. 아두이노에서의 시리얼 통신 설정 아두이노 IDE에서 다음과 같은 코드를 작성하여 아두이노 보드에 업로드합니다. void setup () { Serial . begin ( 9600 ); // Baud rate 설정 } void loop () { if ( Serial . available ()) { char c = Serial . read (); // PC에서 받은 데이터 읽기 Serial . print ( "Received: " ); Serial . println (c); // 읽은 데이터를 다시 PC로 전송 } } 5. C#에서의 시리얼 통신 설정 C#에서는 System.IO.Ports 네임스페이스의 SerialPort 클래스를 사용합니다. 예제 코드 using System; using System.IO.Ports; class Program { static SerialPort port; static void Main () { port = new SerialPort( "COM3" , 9600 ); // 포트번호와 Baud rate 설정 port.Open(); port.DataReceived +...
댓글 쓰기
자세한 내용 보기