Privacy & Copyright — Trustworthy AI

데이터를 불러오는 중시드

01 / Memorization

Overview

Memorization(암기)은 생성 모델이 입력에 있던 특정 문자열을 강하게 선호하는 현상이다. 공개 법령 일부와 명시적으로 만든 가짜 카나리아로 작은 문자 모델을 직접 학습한다.

기호: n은 문자 문맥 길이, R은 후보 문자열 집합, rank는 후보 안에서의 순위다.

Concept

문자 n-gram은 직전 n개 문자가 주어졌을 때 다음 문자 빈도를 센다. 0 빈도에도 확률을 주기 위해 0.1 가산 평활을 쓴다. 이 모델은 의미를 이해하는 LLM(Large Language Model)이 아니다.

가짜 비밀 코드는 7391이다. 후보 공간은 7000–7999의 1,000개이며 일부 경쟁 문자열도 합성으로 섞는다. 카나리아를 1·5·20번 넣고 접두사 뒤의 점수와 greedy 이어쓰기를 비교한다.

Exposure(노출 점수)는 후보 공간 크기와 순위를 비트로 비교한다. 동점이 생기면 가장 나쁜 순위로 계산해 과대평가를 피한다. 짧은 문맥에서는 숫자 조각이 섞일 수 있어 반복이 증가해도 완전한 이어쓰기를 보장하지 않는다.

$$P(c\mid h)=\frac{N(h,c)+0.1}{N(h)+0.1|V|}$$

$$\operatorname{exposure}=\log_2|R|-\log_2\operatorname{rank}_{worst}$$

Hands-on

반복 횟수와 문자 문맥 길이를 바꾼다. 노출 점수, 동점 수, 실제 이어쓰기 문자열을 함께 확인한다.

법령 본문은 출처가 명시된 문자 자료로만 사용하며 해석하지 않는다. 카나리아는 실제 개인정보가 아니다.

데이터를 불러오는 중

Summary

암기는 모델·문맥·반복에 의존한다.
후보 공간을 정해야 노출 점수를 해석할 수 있다.
동점 처리 방식을 공개한다.
이 결과를 LLM 유출률로 일반화하지 않는다.

Notation

Symbol	Meaning	Unit
n	문자 문맥 길이	characters
\|R\|	후보 문자열 수	1,000
rank	가능도 순위	index
exposure	노출 점수	bits

References

02 / Membership Inference

Overview

Membership Inference(학습 포함 추론)는 한 표본이 학습에 쓰였는지 구분하려는 공격이다. 공개 콘크리트 자료에서 손실만 쓰는 단순 공격을 재현한다.

기호: ℓ은 표본별 제곱 손실, s=−ℓ은 공격 점수다. 높은 점수일수록 학습 포함으로 간주한다.

Concept

원래 학습 집합 중 160행만 사용해 은닉 노드 32개의 MLP를 학습한다. 평가 집합에서 같은 수의 미사용 표본을 고른다. 모델 용량과 작은 학습 표본이 과적합을 관찰하기 쉬운 조건을 만든다.

손실 분포가 다르면 기준값으로 포함 여부를 추측할 수 있다. AUC(Area Under the ROC Curve)는 임의의 포함 표본이 미포함 표본보다 높은 공격 점수를 갖는 비율이며 동점은 절반으로 센다.

0.5는 이 방향의 순위 공격이 무작위 수준이라는 뜻이다. 과적합과 공격 성공은 관련될 수 있지만 모든 모델에서 반복 횟수와 AUC가 단조 증가하지 않는다. 공개 재료 데이터의 결과를 개인 재식별로 해석하지 않는다.

$$\ell(x,y)=(y-f(x))^2,\quad s=-\ell$$

$$\operatorname{AUC}=P(s_{member}>s_{non})+\tfrac12P(s_{member}=s_{non})$$

Hands-on

학습 반복을 늘려 포함·미포함 RMSE와 AUC를 비교한다. 히스토그램은 공통 구간을 쓰며 마지막 구간에 큰 손실도 합친다.

성능 차이가 작아도 다른 공격이 가능할 수 있다. 이 체험은 손실 점수 공격 하나만 평가한다.

데이터를 불러오는 중

Summary

공격 점수와 예측 점수를 구분한다.
AUC는 특정 기준값의 정확도가 아니다.
학습하지 않은 표본은 분리해 둔다.
반복 증가가 항상 공격 성공 증가를 뜻하지 않는다.

Notation

Symbol	Meaning	Unit
ℓ	제곱 손실	MPa²
s	공격 점수	−MPa²
AUC	공격 순위 성능	0–1
E	학습 반복 수	count

References

03 / Differential Privacy

Overview

Differential Privacy(차등 개인정보보호)는 한 기록의 포함 여부가 결과 분포를 너무 많이 바꾸지 못하도록 제한한다. 잡음의 크기는 민감도와 ε로 결정된다.

기호: D·D′는 한 기록이 다른 이웃 데이터, Δ는 질의의 최대 변화, ε는 개인정보보호 예산이다.

Concept

공개 콘크리트 강도 100개를 0–100 MPa로 잘라 사용한다. 개수 질의는 40 MPa 이상인 기록 수다. 평균 질의는 공개된 100개 슬롯의 합을 100으로 나누며, 빠진 슬롯은 0으로 둔다. 일반적인 가변 분모 평균과 다르다.

한 기록을 추가·삭제할 때 개수의 민감도는 1, 제한 평균의 민감도는 100/100=1 MPa다. Laplace(0,Δ/ε) 잡음을 더한다. 작은 ε는 더 큰 잡음을 뜻하고 평균 절대 오차는 이론적으로 Δ/ε다.

같은 ε로 k번 독립 공개하면 기본 합성 상한은 kε다. 화면의 반복은 고정 시드로 결과를 재현하는 시뮬레이션이다. 공개 시드와 일반 난수 생성기는 실제 비밀 데이터에 차등 개인정보보호를 제공하지 않는다.

$$\Pr[M(D)\in S]\le e^\epsilon\Pr[M(D\prime)\in S]$$

$$M(D)=q(D)+\operatorname{Lap}(0,\Delta/\epsilon),\quad\epsilon_{total}\le k\epsilon$$

Hands-on

질의 종류와 ε를 바꾸고 두 이웃 데이터의 정확한 Laplace 밀도를 비교한다. 반복 공개 횟수는 예산과 오차 기록을 함께 늘린다.

밀도 곡선은 수식에서 직접 계산하며 노이즈 포함 답은 역누적분포 방식으로 생성한다.

데이터를 불러오는 중

Summary

민감도는 이웃 관계와 질의 정의에 의존한다.
작은 ε는 일반적으로 더 큰 잡음을 요구한다.
반복 공개에는 예산이 누적된다.
재현용 공개 시드를 보호 기능으로 쓰지 않는다.

Notation

Symbol	Meaning	Unit
ε	질의당 예산	1
Δ	전역 민감도	count or MPa
b	Laplace 척도 Δ/ε	count or MPa
k	독립 공개 수	count

References

04 / Data & Model Licenses

Overview

라이선스는 데이터·모델·코드에 허용된 사용과 조건을 정한다. 같은 파일 묶음에서도 구성요소마다 다른 조건이 남을 수 있다.

기호: BY는 표시, SA는 동일조건, NC는 비상업, ND는 변경물 공유 제한을 가리킨다. 법률 자문이 아니다.

Concept

CC BY 4.0은 표시와 변경 고지를 조건으로 공유·수정을 허용한다. BY-SA는 공유하는 변경물에 동일 또는 호환 라이선스 조건을 더한다. BY-NC는 상업 이용을 허용하지 않으며 별도 허락 가능성은 따로 확인한다.

단순 묶음과 분리할 수 없는 변경물 결합은 다르다. SA와 NC·ND가 같은 변경물에 걸리면 조건 충돌 검토가 필요하다. 데이터 라이선스가 학습된 가중치나 생성 결과에 자동으로 전파되는지는 사용 사실과 권리에 따라 달라 단정하지 않는다.

Hands-on

데이터·모델·코드 라이선스, 상업 이용, 변경물 공유, 결합 방식을 고른다. 아래 공개 규칙표와 선택 결과를 대조한다.

알 수 없음은 허락으로 해석하지 않는다. 라이선스 조건 밖의 개인정보·상표·특허·계약도 별도로 남을 수 있다.

데이터를 불러오는 중

Summary

구성요소별 원문과 버전을 확인한다.
수정과 변경물 공유는 다르다.
단순 묶음에 SA가 일괄 전파된다고 가정하지 않는다.
이 표는 법률 적합성 인증이 아니다.

Notation

Symbol	Meaning	Unit
BY	출처·권리자 표시	condition
SA	동일·호환 조건	condition
NC	비상업 목적 제한	condition
ND	변경물 공유 제한	condition