chat테이블은 일별 파티셔닝 되어있음.
구현 이유:
대화 기록 테이블은 음성 데이터도 저장하기에 테이블 크기가 큼
“상담 내역”이라는 개인정보를 다루기 때문에 과거 데이터를 운영디비에 올려두는 것은 개인정보 보호법 위반
인덱스를 온라인 상태를 유지하면서 과거 파티션을 drop하기 위해 pk에 의도적으로 파티션 키 컬럼인 (시작일시)를 포함 시킴
따라서 2년이 지난 데이터는 자동으로 drop partition 배치처리를 통해 삭제될 수 있음
상황: 상담 시연 이후가 적절할 것 같음
대본:
방금 보신 것처럼 저희 서비스는
텍스트 대화뿐 아니라 음성까지 포함된
"개인 상담 정보"라는 고위험 민감 데이터를 다루고 있습니다.
그래서 대화 기록을 단순 로그가 아닌
개인정보 관점에서 설계했습니다.
먼저, chat 테이블은 일별 파티셔닝 구조로 되어 있습니다.
상담 데이터에는 음성 파일 메타데이터가 포함되기 때문에
테이블 크기가 빠르게 증가하고,
일반적인 단일 테이블 구조로는 운영 부담이 큽니다.
두 번째로, 더 중요한 이유는 개인정보보호법 준수입니다.
상담 내역은 개인정보보호법 제15조, 제17조에 따라
수집·이용 목적과 보관 기간을 명시해야 하고,
정보주체가 동의한 범위 내에서만 보관할 수 있습니다.
따라서 과거 상담 데이터를
운영 DB에 계속 보관하는 것은
법적 리스크가 될 수 있다고 판단했습니다.
이를 해결하기 위해,
chat 테이블은 시작일시를 기준으로 일별 파티셔닝을 적용했고,
기본 키에도 파티션 키인 시작일시 컬럼을 의도적으로 포함시켰습니다.
이 구조를 통해
인덱스를 온라인 상태로 유지하면서도
과거 파티션을 drop하는 것이 가능해졌습니다.
결과적으로,
보관 기간이 지난 데이터는
별도의 delete 작업 없이
2년이 경과하면 자동으로 drop partition 배치 처리를 통해
물리적으로 삭제됩니다.
이 방식은
성능 관리 측면과 개인정보 보호 측면을 동시에 만족시키는
구조라고 볼 수 있습니다.
저희는 텍스트 대화뿐만 아니라 음성까지 포함된
‘개인 상담 정보’라는 고위험 민감 데이터를 다루고 있습니다.
최근 개인정보 유출 사고가 빈번한 사회적 배경을 고려했을 때,
과거 상담 데이터를 운영 DB에 장기간 보관하는 것은 위험 부담이 크다고 판단했습니다.
그래서 2년이 지난 상담 기록은 배치 처리를 통해 자동 삭제되도록 구현했습니다.
다만 일반적으로 많이 사용하는 non-partitioned index 구조를 사용할 경우,
파티션 DROP 시 PK 인덱스가 DISABLED 되고,
이로 인해 인덱스 rebuild가 필요하며,
rebuild 동안 쿼리 성능 저하와 서비스 대기시간 증가가 발생합니다.
저희는 의도적으로 PK에 파티션 키 컬럼을 포함시켜 local-partitioned-index 구조를 적용하였습니다.