파이썬 SQLite 프로그래밍, 인메모리 DB와 공유 캐시 활용법

🧩 SQLite 인메모리 데이터베이스란?

SQLite는 가볍고 독립적인 관계형 데이터베이스로, 파일 기반으로 동작하는 것이 특징입니다.
하지만 파일을 만들지 않고도 메모리상에서만 유지되는 임시 데이터베이스를 만들 수 있는데, 이를 인메모리 데이터베이스라 부릅니다.
파이썬에서 SQLite를 사용할 때 :memory: 키워드를 지정하면 디스크 파일이 아닌 메모리에 즉시 데이터베이스가 생성됩니다.

이 방식의 가장 큰 장점은 속도입니다.
디스크 I/O 과정을 거치지 않기 때문에 데이터 읽기와 쓰기가 훨씬 빠릅니다.
그렇기 때문에 테스트 환경 구축, 임시 데이터 처리, 캐싱 용도 등에 많이 활용됩니다.
반대로, 프로그램이 종료되거나 연결이 닫히면 데이터가 사라지기 때문에 영구 저장에는 적합하지 않습니다.

📌 인메모리 DB의 주요 특징

• ⚡빠른 속도 – 디스크 접근 없이 메모리에서만 처리
• 🗑️비영구성 – 연결 종료 시 모든 데이터 삭제
• 🛠️테스트 및 개발 환경에서 이상적
• 📊데이터 분석 시 임시 가공용으로 적합

즉, SQLite 인메모리 데이터베이스는 영구 데이터 저장을 목적으로 하기보다는 빠른 연산과 임시 처리에 집중할 때 최적화된 도구라 할 수 있습니다.

⚡ :memory: 데이터베이스 활용 방법

SQLite에서 :memory: 키워드를 사용하면 물리적인 파일이 아닌 메모리에만 데이터베이스가 생성됩니다.
이 방식은 테스트 코드 실행, 임시 계산, 데이터 처리 중간 단계 저장 등 다양한 상황에서 효율적으로 활용됩니다.
또한 서버 애플리케이션의 캐시 용도로도 쓰일 수 있으며, 데이터가 프로세스 종료와 함께 삭제된다는 특성을 이용해 보안성도 어느 정도 확보할 수 있습니다.

예를 들어, 파이썬 애플리케이션에서 대규모 데이터를 가공하는 중간 단계에서는 디스크에 기록할 필요 없이 메모리에서만 연산하는 것이 훨씬 빠릅니다.
또한 데이터베이스 파일을 따로 생성하지 않으므로 파일 관리 부담도 줄어듭니다.

📌 대표적인 활용 사례

🔗 파이썬에서 인메모리 DB 연결하기

파이썬에서 SQLite 인메모리 데이터베이스를 생성하려면 sqlite3 모듈을 사용합니다.
기본적으로 데이터베이스 이름에 :memory:를 지정하면 즉시 메모리 기반 DB가 열립니다.
이는 파일 입출력을 거치지 않기 때문에 개발 및 테스트에서 빠른 속도를 제공합니다.

import sqlite3

# 인메모리 데이터베이스 연결
conn = sqlite3.connect(":memory:")

# 커서 생성
cur = conn.cursor()

# 테이블 생성
cur.execute("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT)")
cur.execute("INSERT INTO users (name) VALUES (?)", ("홍길동",))

# 데이터 조회
cur.execute("SELECT * FROM users")
print(cur.fetchall())

conn.close()

위 예시처럼 :memory:를 지정하면 디스크 파일이 생성되지 않고, 연결이 유지되는 동안에만 데이터가 존재합니다.
연결을 닫으면 모든 데이터가 즉시 사라집니다.

📌 특별한 URI 방식 연결

SQLite는 파일 경로 대신 URI 형식을 이용한 연결도 지원합니다.
예를 들어 다음과 같이 작성하면 메모리 DB를 공유 모드로 열 수 있습니다.

# 공유 가능한 메모리 DB
conn = sqlite3.connect("file:shared_memdb?mode=memory&cache=shared", uri=True)

이렇게 하면 같은 이름을 가진 메모리 DB에 여러 연결이 접근할 수 있으며, 이는 뒤에서 설명할 공유 캐시 기능과 함께 자주 활용됩니다.

📂 공유 캐시(shared cache) 이해하기

SQLite는 기본적으로 각 연결(Connection)마다 독립적인 캐시를 사용합니다.
하지만 경우에 따라 여러 연결이 동일한 데이터베이스의 캐시를 공유하도록 설정할 수도 있습니다.
이를 공유 캐시(shared cache) 모드라고 부릅니다.

공유 캐시 기능을 활성화하면 동일한 데이터베이스 파일(혹은 메모리 DB)에 대한 여러 연결이 하나의 캐시를 함께 사용합니다.
이로 인해 메모리 사용량을 줄이고, 연결 간 데이터 일관성을 강화하는 효과가 있습니다.
다만 동시성 제어가 필요해지는 만큼, 특정 상황에서는 충돌 가능성도 존재합니다.

📌 공유 캐시의 장점과 단점

공유 캐시는 임시 분석 환경이나 멀티 스레드 기반 애플리케이션에서 특히 유용합니다.
하지만 모든 상황에서 이점만 있는 것은 아니므로, 데이터베이스 구조와 사용 목적에 따라 선택적으로 적용해야 합니다.

💡 인메모리 DB와 공유 캐시 실전 활용

이제까지 살펴본 인메모리 데이터베이스와 공유 캐시 기능을 실제로 어떻게 활용할 수 있는지 알아보겠습니다.
파이썬 환경에서 두 기능을 적절히 조합하면, 빠른 데이터 처리와 멀티 연결 지원을 동시에 만족시킬 수 있습니다.

대표적인 활용 사례는 다음과 같습니다.
데이터 분석가가 대규모 CSV 데이터를 전처리할 때, 인메모리 DB를 활용하면 중간 결과를 빠르게 처리할 수 있습니다.
또한 웹 서버에서 여러 요청이 동시에 같은 데이터를 참조할 경우, 공유 캐시 모드를 사용하면 중복 연산을 줄이고 응답 속도를 개선할 수 있습니다.

📌 실전 예제 코드

import sqlite3

# 공유 가능한 인메모리 DB 연결
conn1 = sqlite3.connect("file:shared_memdb?mode=memory&cache=shared", uri=True)
conn2 = sqlite3.connect("file:shared_memdb?mode=memory&cache=shared", uri=True)

cur1 = conn1.cursor()
cur2 = conn2.cursor()

# 첫 번째 연결에서 테이블 생성
cur1.execute("CREATE TABLE products (id INTEGER PRIMARY KEY, name TEXT)")
cur1.execute("INSERT INTO products (name) VALUES (?)", ("Laptop",))

# 두 번째 연결에서도 같은 데이터 조회 가능
cur2.execute("SELECT * FROM products")
print(cur2.fetchall())  # [('1', 'Laptop')]

conn1.close()
conn2.close()

위 예제에서는 두 개의 연결이 동일한 인메모리 데이터베이스를 공유합니다.
첫 번째 연결에서 데이터를 입력하면, 두 번째 연결에서도 동일한 데이터를 조회할 수 있음을 확인할 수 있습니다.
이처럼 공유 캐시는 여러 프로세스 또는 스레드에서 동일한 데이터베이스를 활용해야 할 때 강력한 기능을 제공합니다.

❓ 자주 묻는 질문 (FAQ)