Busan Data Guide
📚 부산 지역 인문학 데이터 편찬 입문 가이드
『부산을 빛낸 인물』·『부산의 자연마을』 디지털 아카이브 구축
📖 들어가며: 우리가 만들 디지털 지식 창고
안녕하세요! 오늘은 『부산을 빛낸 인물』과 『부산의 자연마을』이라는 소중한 부산의 문화유산을 디지털 데이터로 변환하는 첫걸음을 함께 시작하려고 합니다.
📚 프로젝트 규모 및 팀 구성
작업 대상 자료
- 『부산의 자연마을』: 총 2,400페이지 (1,200페이지 × 2권)
- 『부산을 빛낸 인물』: 총 800페이지
👥 팀 구성 (총 24명)
A
자연마을 1팀
- 인원: 9명 (인문계 학생)
- 담당: 『부산의 자연마을』 1,200페이지
- 총괄: 디지털인문학센터 운영위원
B
자연마을 2팀
- 인원: 9명 (인문계 학생)
- 담당: 『부산의 자연마을』 1,200페이지
- 총괄: 디지털인문학센터 계약교수
C
부산을 빛낸 인물 팀
- 인원: 6명 (인문계 학생)
- 담당: 『부산을 빛낸 인물』 800페이지
- 총괄: 디지털인문학센터 운영위원
🔧 기술 지원팀 (이공계 학생 6명)
파이썬 스크립트 개발 및 XML 자동 변환 지원
왜 이 작업이 필요할까요?
책장에 꽂혀 있는 책은 한 번에 한 사람만 읽을 수 있지만, 디지털 데이터로 변환된 지식은:
- 💡 검색 가능: "1950년대 부산 영도구"라고 검색하면 관련된 모든 내용이 한눈에!
- 🔗 연결 가능: 인물과 장소, 사건이 서로 연결되어 새로운 통찰 발견
- 📊 분석 가능: 빈도, 패턴, 관계를 통해 보이지 않던 역사적 의미 발견
- 🌐 공유 가능: 전 세계 연구자들과 부산의 이야기를 나눌 수 있어요
🔥 전체 로드맵: 3단계 여정
1
데이터 편찬 (4-6주)
현재 단계
- PDF → 텍스트 추출
- 구조화 → CSV 정리
- 태깅 → XML 변환
목표: 원천 자료를 DB에 업로드 가능한 형태로 구조화
2
데이터 분석 (2-3주)
- 빈도 분석 & 키워드 추출
- 관계 파악
- 의미 해석
목표: 구축된 데이터에서 학문적 의미와 패턴 도출
3
데이터 설계 (2-3주)
- 온톨로지 설계
- 지식 그래프 구상
- 활용 방안 기획
목표: 플랫폼 구축을 위한 데이터 모델링
오늘의 초점: 1단계 데이터 편찬을 중심으로, 2-3단계의 개요를 함께 살펴볼게요!
🏷️ XML 태깅: 데이터에 의미 부여하기
CSV로 정리한 텍스트에 의미론적 태그(Semantic Tags)를 붙여서 컴퓨터가 "누가", "어디서", "언제" 같은 정보를 이해할 수 있게 만드는 작업입니다.
🎯 왜 XML 태깅이 필요한가요?
태깅 전 (일반 텍스트)
최치원은 857년에 경주에서 태어났다.
→ 컴퓨터는 그냥 글자로만 인식
태깅 후 (XML)
<persName>최치원</persName>은
<date when="857">857년</date>에
<placeName>경주</placeName>에서 태어났다.
→ 인물, 시간, 장소를 구분해서 인식!
📋 온톨로지 설계를 위한 5대 태깅 요소
기초 데이터 작업 단계에서는 다음 5가지 핵심 요소만 태깅합니다:
| 요소 | XML 태그 | 설명 | 예시 |
|---|---|---|---|
| 1. 인명 | <persName> |
사람 이름 | 최치원, 정현석, 윤용구 |
| 2. 지명 | <placeName> |
장소, 지역, 건물명 | 영도구, 동래, 해운대, 부산항 |
| 3. 시간 | <date> |
날짜, 연도, 시대 | 1876년, 조선시대, 일제강점기 |
| 4. 서명 | <title> |
책, 문서, 작품명 | 동래부지, 경상도읍지 |
| 5. 기관명 | <orgName> |
단체, 조직, 관청 | 동래부, 부산부청, 동래향교 |
💡 왜 이 5가지인가요?
이 5가지 요소는 지역 인문학 온톨로지의 핵심 구성 요소입니다:
- 인명 + 지명 → "누가 어디서 활동했는가"
- 인명 + 시간 → "언제 살았는가"
- 지명 + 시간 → "특정 시기의 지역 특성"
- 서명 + 기관명 → "출전 및 기록 맥락"
이러한 관계망을 통해 지식 그래프(Knowledge Graph)를 구축할 수 있습니다!
🔍 태깅 실전 예시
예시 1: 『부산을 빛낸 인물』
원문:
최치원은 857년(헌안왕 원년)에 신라의 서울 경주에서 태어났다.
868년(경문왕 8)에 12세의 나이로 당나라에 들어갔다.
태깅 결과:
<p>
<persName ref="per_101_001">최치원</persName>은
<date when="857">857년</date>
(<date>헌안왕 원년</date>)에
<orgName>신라</orgName>의 서울
<placeName>경주</placeName>에서 태어났다.
<date when="868">868년</date>
(<date>경문왕 8</date>)에
12세의 나이로
<placeName>당나라</placeName>에 들어갔다.
</p>
예시 2: 『부산의 자연마을』
원문:
영도구 동삼동은 조선시대에는 절영도의 일부였다.
1876년 개항 이후 일본인들이 거주하기 시작했으며,
1942년 부산부에 편입되었다.
태깅 결과:
<p>
<placeName type="구">영도구</placeName>
<placeName type="동">동삼동</placeName>은
<date period="조선시대">조선시대</date>에는
<placeName>절영도</placeName>의 일부였다.
<date when="1876">1876년</date> 개항 이후
일본인들이 거주하기 시작했으며,
<date when="1942">1942년</date>
<orgName>부산부</orgName>에 편입되었다.
</p>
👥 역할 분담: 인문계 ↔ 이공계 협업
📝
인문계 학생 (18명) - 요소 식별
역할: 텍스트를 읽고 태깅할 요소 표시하기
방법:
- 스프레드시트의
text_original열 읽기 - 5가지 요소를 형광펜 방식으로 표시
- 🟡 인명: [P]최치원[/P]
- 🔵 지명: [L]경주[/L]
- 🟢 시간: [D]857년[/D]
- 🟠 서명: [T]동래부지[/T]
- 🟣 기관: [O]부산부[/O]
- 새 열
text_tagged에 표시된 텍스트 입력
예시:
[P]최치원[/P]은 [D]857년[/D]에 [L]경주[/L]에서 태어났다.
💻
이공계 학생 (6명) - 자동 변환
역할: 파이썬 스크립트로 [P] 표시를 <persName> XML 태그로 자동 변환
방법:
- CSV 파일 읽기 (
text_tagged열) - 정규식(regex)으로 마커 → XML 태그 변환
- [P]...[/P] → <persName>...</persName>
- [L]...[/L] → <placeName>...</placeName>
- [D]...[/D] → <date>...</date>
- XML 파일로 출력
파이썬 스크립트 예시:
import re
import pandas as pd
def convert_to_xml(tagged_text):
# [P]...[/P] → <persName>...</persName>
text = re.sub(r'\[P\](.*?)\[/P\]', r'<persName>\1</persName>', tagged_text)
# [L]...[/L] → <placeName>...</placeName>
text = re.sub(r'\[L\](.*?)\[/L\]', r'<placeName>\1</placeName>', text)
# [D]...[/D] → <date>...</date>
text = re.sub(r'\[D\](.*?)\[/D\]', r'<date>\1</date>', text)
# [T]...[/T] → <title>...</title>
text = re.sub(r'\[T\](.*?)\[/T\]', r'<title>\1</title>', text)
# [O]...[/O] → <orgName>...</orgName>
text = re.sub(r'\[O\](.*?)\[/O\]', r'<orgName>\1</orgName>', text)
return text
# CSV 읽기
df = pd.read_csv('busan_data.csv')
# XML 변환
df['text_xml'] = df['text_tagged'].apply(convert_to_xml)
# XML 파일 저장
with open('output.xml', 'w', encoding='utf-8') as f:
f.write('<?xml version="1.0" encoding="UTF-8"?>\n')
f.write('<teiCorpus>\n')
for _, row in df.iterrows():
f.write(f' <p id="{row["id"]}">{row["text_xml"]}</p>\n')
f.write('</teiCorpus>')
🔄 협업 워크플로우
1단계: 인문계 학생 작업
스프레드시트에 태깅 마커 표시 (1~2주)
→ text_tagged 열 완성
2단계: 이공계 학생 작업
파이썬 스크립트로 일괄 변환 (1~2일)
→ XML 파일 생성
3단계: 검수 및 수정
팀 총괄이 XML 파일 검토 후 피드백
→ 필요시 재작업
⚠️ 태깅 시 주의사항
- 일관성 유지: 같은 대상은 항상 같은 방식으로 태깅
- 중첩 금지: [P][L]김해[/L][/P] (X) → 하나만 선택
- 불확실하면 표시 안 함: 확실한 것만 태깅
- 속성 추가 가능: [L type="구"]영도구[/L]
📊 태깅 진도 체크리스트
- 5가지 요소(인명/지명/시간/서명/기관)를 구분할 수 있나요?
- 마커 표기법([P], [L], [D], [T], [O])을 이해했나요?
- 스프레드시트에 text_tagged 열을 추가했나요?
- 샘플 10개 문단을 태깅해보았나요?
- 팀원들과 태깅 기준을 통일했나요?
📊 우리 팀 데이터 구조 이해하기
우리가 사용하는 구글 시트는 18개의 필드(열)로 구성되어 있어요. 각 필드가 왜 필요한지 함께 살펴볼까요?
💡 작업 단계별 사용 필드
- 1단계 (기본 입력): id, book_title, person_id, text_original, text_type
- 2단계 (XML 태깅): text_tagged (새로 추가!)
- 3단계 (자동화): 이공계 학생이 text_tagged → XML 변환
🔑 핵심 필드 설명
| 필드명 | 예시 | 설명 | 작업자가 할 일 |
|---|---|---|---|
id |
txt_10001 | 텍스트 고유 번호 | 필수 반드시 부여 (중복 금지!) |
book_id |
lightuppeople01 | 책 식별자 | 책마다 고정값 사용 |
book_title |
부산을_빛낸_인물 | 책 제목 | 언더바(_)로 연결 |
sub_title |
20세기_이전_인물편 | 부제목 | 있는 경우만 입력 |
publisher |
부산광역시_문화유산과_시사편찬실 | 발행처 | 책 정보 그대로 |
pub_date |
2004.06 | 출판일 | YYYY.MM 형식 |
chapter |
001 | 장 번호 | 3자리 숫자 (001, 002...) |
page |
005 | 페이지 | 3자리 숫자 (005, 006...) |
person_id |
per_101_001 | 인물 고유 번호 | 필수 새 인물마다 부여 |
name_ko |
최치원 | 인물 한글 이름 | 정확하게 입력 |
name_ch |
崔致遠 | 인물 한자 이름 | 있는 경우만 입력 |
topic |
해운대의_유래 | 소주제 | 섹션 제목 그대로 |
author |
정경주_경성대교수 | 글쓴이 | 이름_소속 형식 |
text_original |
(본문 내용) | 원문 텍스트 | 필수 가장 중요! |
text_type |
normal / citation / poem | 텍스트 유형 | 필수 반드시 구분 |
relation_note |
txt_10008 | 관련 텍스트 ID | 연결된 경우만 |
img_caption |
최치원_영정 | 이미지 설명 | 이미지 있을 때만 |
remark |
번역문 / 원문 | 비고 | 필요시 메모 |
📖 실전 예시로 배우기
사례 1: 일반 텍스트 처리하기
PDF 원문 (5페이지)
해운대의 유래
사람은 땅의 정기를 받아 태어나고, 땅은 사람으로 인하여 이름을 얻게 된다.
한반도 동남쪽 끝 바닷가의 한 모퉁이에 있는 해운대는 천년 전 신라의 학사
최치원이 머물며 자취를 남긴 곳이다.
스프레드시트 입력 결과
| id | book_title | chapter | page | person_id | name_ko | topic | text_type |
|---|---|---|---|---|---|---|---|
| txt_10001 | 부산을_빛낸_인물 | 001 | 005 | per_101_001 | 최치원 | 해운대의_유래 | normal |
💡 체크포인트
- ✅ id는 연속된 번호: txt_10001, txt_10002, txt_10003...
- ✅ person_id는 새 인물 등장시에만 변경
- ✅ 한 문단 = 한 행: 문단 단위로 나누어 입력
- ✅ text_type은 'normal': 일반 서술 텍스트
사례 2: 인용문(citation) 처리하기
PDF 원문 (6페이지)
제 나이 열 두살 때 집을 떠나 서쪽으로 갔습니다. 배를 탈 적에 돌아가신
아버지께서 타이르시기를, '십 년 안에 진사(進士)에 급제하지 못하면 내 아들이라
하지 말라. 나도 아들을 두었다 아니하리라. 가라! 부지런히 하여 네 힘을
게을리 말라'고 하셨습니다.
스프레드시트 입력 결과
| id | text_original | text_type | relation_note |
|---|---|---|---|
| txt_10006 | (최치원이 쓴 글 중에서) | normal | |
| txt_10007 | 제 나이 열 두살 때 집을 떠나... 게을리 말라'고 하셨습니다. | citation | txt_10006 |
💡 체크포인트
- ✅ text_type을 'citation'으로: 직접 인용문임을 표시
- ✅ relation_note 활용: 앞 문장(txt_10006)과 연결됨을 표시
- ✅ 따옴표 포함: 원문의 인용 부호 그대로 유지
사례 3: 시(poem) 처리하기 - 가장 까다로운 부분!
PDF 원문 (11페이지) - 정서의 시
狂奔疊石吼重巒
人語難分咫尺間
常恐是非聲到耳
故敎流水盡籠山
(번역)
미친 물 바위 치며 겹겹 산을 뒤흔드니
지척 사이에도 사람 소리 모르겠네.
스프레드시트 입력 결과 - 원문과 번역문을 분리!
| id | person_id | name_ko | text_original | text_type | relation_note | remark |
|---|---|---|---|---|---|---|
| txt_10013 | per_101_002 | 정서 | 狂奔疊石吼重巒 / 人語難分咫尺間 / 常恐是非聲到耳 / 故敎流水盡籠山 | poem | txt_10014 | 원문 |
| txt_10014 | per_101_002 | 정서 | 미친 물 바위 치며 겹겹 산을 뒤흔드니 / 지척 사이에도 사람 소리 모르겠네. / 세상의 시비 소리 들릴까 두려워서 / 짐짓 흐르는 물로 산을 온통 가두었네. | poem | txt_10013 | 번역문 |
💡 체크포인트
- ✅ 한문 원문과 번역문 = 2개 행: 별도로 입력!
- ✅ 연(구절) 구분은 슬래시(/): 狂奔疊石吼重巒 / 人語難分咫尺間
- ✅ relation_note로 연결: 원문과 번역이 서로를 가리킴
- ✅ remark에 명시: '원문' 또는 '번역문'
사례 4: 가사(歌辭) 처리하기
PDF 원문 (19페이지) - <삼진작 三眞勺>
내 님믈 그리와 우니다니
山졉동새 난 이슷요이다
아니시며 거츠르신 아으
잔월효성(殘月曉星)이 아시리이다
(번역)
내 임을 그리워하여 울고 있더니
두견새와 나와는 비슷합니다 그려
💡 체크포인트
- ✅ 고어도 poem으로 처리: 가사는 시(poem)로 분류
- ✅ remark에 작품명: 가사 제목 명시
- ✅ 특수문자 처리: 깨진 부분은 !! 나 -- 로 표시
🔢 ID 부여 규칙 마스터하기
1. 텍스트 ID (id) 규칙
txt_10001, txt_10002, txt_10003...
규칙
- 형식:
txt_+ 5자리 숫자 - 시작: 10001부터 시작
- 연속성: 중간에 번호를 건너뛰지 않음
- 고유성: 전체 데이터베이스에서 중복되면 안 됨!
⚠️ 흔한 실수
❌ 잘못된 예시
- txt_1 (자릿수 부족)
- txt_100001 (자릿수 초과)
- txt_10001을 두 번 사용 (중복)
✅ 올바른 예시
- txt_10001
- txt_10002
- txt_10003
2. 인물 ID (person_id) 규칙
per_101_001, per_101_002, per_102_001...
규칙
- 형식:
per_+ 책번호(3자리) +_+ 인물번호(3자리) - 책번호:
- 101 = 『부산을 빛낸 인물』 권1
- 102 = 『부산을 빛낸 인물』 권2
- 201 = 『부산의 자연마을』 권1
- 인물번호: 책 내에서 등장 순서대로 001부터 부여
실전 예시
| 상황 | person_id | 설명 |
|---|---|---|
| 최치원이 5페이지에서 처음 등장 | per_101_001 |
첫 번째 인물 |
| 정서가 11페이지에서 처음 등장 | per_101_002 |
두 번째 인물 |
| 최치원이 다시 15페이지에 등장 | per_101_001 |
동일 ID 재사용! |
💡 팁
- 📌 인물 등장 순서대로 번호 부여: 페이지 순서가 아니라 등장 순서
- 📌 같은 인물은 같은 ID: 여러 페이지에 등장해도 ID는 하나
- 📌 엑셀 필터 활용: 이미 부여된 인물 ID 확인하기
🛠️ 단계별 작업 프로세스
STEP 1: PDF에서 텍스트 추출
방법 1: Adobe Acrobat (추천)
- PDF 파일 열기
- 편집 → 복사할 텍스트 선택
- 마우스 드래그로 문단 선택
- Ctrl+C (복사)
- 메모장/VS Code에 붙여넣기
방법 2: 온라인 도구
- Smallpdf: https://smallpdf.com/kr/pdf-to-text
- iLovePDF: https://www.ilovepdf.com/ko/pdf_to_text
⚠️ 추출 전 체크리스트:
- 한자가 깨지지 않았나요?
- 줄바꿈이 이상하지 않나요?
- 특수문자(◦, ●, ※)가 제대로 나왔나요?
STEP 2: 텍스트 전처리
해야 할 일
- 문단 나누기: Enter로 문단 구분
- 공백 정리: 불필요한 띄어쓰기 제거
- 페이지 번호 제거: -5-, [5] 같은 표시 삭제
- 각주 처리: 1), 2) 같은 각주 번호 처리
예시: 전처리 전후
Before (원본)
사람은 땅의 정기를 받아 태어나고, 땅은 사람으로
-5-
인하여 이름을 얻게 된다.
After (전처리 완료)
사람은 땅의 정기를 받아 태어나고, 땅은 사람으로 인하여 이름을 얻게 된다.
STEP 3: 스프레드시트 입력
입력 순서
- 메타데이터 먼저: book_title, publisher, pub_date, chapter
- 페이지 확인: page 필드에 정확한 페이지 입력
- 인물 정보: person_id, name_ko, name_ch 확인
- 본문 입력: text_original에 텍스트 붙여넣기
- 유형 지정: text_type 선택 (normal/citation/poem)
💡 빠른 입력 팁
- Ctrl+D: 위 셀 내용 복사 (같은 값 반복 입력시 유용)
- Ctrl+Enter: 셀 내 줄바꿈
- F2: 셀 편집 모드
📝 text_type 판단 가이드
| text_type | 사용 시점 | 예시 키워드 |
|---|---|---|
| normal | 일반 서술 텍스트 | "~이다", "~되었다", "~라고 한다" |
| citation | 직접 인용문 | "~하셨습니다", 따옴표(' " ") 있음 |
| poem | 시, 가사, 한시 | 4행시, 율문, 운문 |
💻 실습 스프레드시트
아래는 우리 팀이 실제로 작업하는 구글 시트입니다. 실시간으로 데이터를 확인하고 입력할 수 있어요.
📊 PNU_DHC 플랫폼 데이터 작업 시트
새 탭에서 열기 →
💡 스프레드시트 사용 팁
- 위 임베드 창에서 바로 데이터를 확인할 수 있어요
- 실제 입력은 "새 탭에서 열기" 버튼을 클릭해서 진행하세요
- 여러 사람이 동시에 작업할 수 있어요 (실시간 공동 편집)
- 변경 이력은 자동으로 저장됩니다
✅ 최종 체크리스트
작업 완료 전에 꼭 확인하세요!
- id가 연속되어 있나요? (txt_10001 → txt_10002 → txt_10003)
- person_id가 올바르게 부여되었나요?
- 같은 인물이 여러 곳에 나오면 같은 person_id를 사용했나요?
- text_type이 정확한가요? (normal/citation/poem)
- 시의 원문과 번역문을 분리했나요?
- relation_note로 관련 텍스트를 연결했나요?
- 한자 이름이 있는 경우 name_ch에 입력했나요?
- 띄어쓰기와 문장부호가 원문과 일치하나요?
🔧 자주 발생하는 오류와 해결법
오류 1: ID 중복
❌ 문제: txt_10005가 두 개 있어요!
✅ 해결: 전체 열을 선택 → 데이터 → 중복 항목 삭제
오류 2: person_id 혼동
❌ 문제: 최치원이 등장할 때마다 새 ID를 부여했어요
✅ 해결: 같은 인물은 첫 등장시의 ID를 계속 사용 (per_101_001)
오류 3: 시 처리 실수
❌ 문제: 원문과 번역을 한 행에 넣었어요
✅ 해결: 두 개 행으로 분리하고 relation_note로 연결
오류 4: text_type 오입력
❌ 문제: citation을 citaion으로 오타
✅ 해결: 드롭다운 메뉴 만들기
- 열 선택 → 데이터 → 데이터 확인
- 조건: 목록(항목) → normal, citation, poem
💬 자주 묻는 질문 (Q&A)
Q1. 인물이 명확하지 않은 경우는?
A. person_id를 비워두고, remark에 "인물 미상" 표시
Q2. 여러 인물이 한 문단에 나오면?
A. 주요 인물의 person_id를 사용하고, remark에 "김철수, 이영희 등장" 메모
Q3. 페이지 번호가 불분명하면?
A. 앞뒤 맥락으로 유추하고, remark에 "페이지 추정" 표시
Q4. 작업 중 막힐 때는?
A.
- 팀 슬랙 채널에 질문
- 매주 화요일 오후 2시 정기 모임
- 작업 메뉴얼 재확인
📊 작업 일정 계획 (2026년 1월~2월)
📚 전체 분량
- 『부산을 빛낸 인물』: 총 800여 페이지 → 1개 팀 (6명) 담당
- 『부산의 자연마을』: 총 2,400여 페이지 → 2개 팀 (각 9명) 분담
- 1팀: 1,200페이지
- 2팀: 1,200페이지
※ 각 팀원은 담당 권/장을 선정하여 2개월간 데이터 편찬 작업을 진행합니다.
| 기간 | 목표 | 세부 과제 |
|---|---|---|
| 1월 1~2주 (1/1~1/14) |
작업 준비 및 기초 입력 |
|
| 1월 3~4주 (1/15~1/31) |
본격 데이터 입력 + XML 태깅 시작 |
|
| 2월 1~2주 (2/1~2/14) |
복잡한 텍스트 처리 + 본격 XML 태깅 |
|
| 2월 3~4주 (2/15~2/28) |
완료 및 품질 검수 + XML 변환 |
|
💡 작업 진도 관리 팁
- 일일 목표: 하루 10~15개 문단 입력 (약 1시간)
- 주간 목표: 주 5일 기준 50~75개 문단
- 정기 모임: 매주 화요일 오후 2시 진도 점검 및 질의응답
- 비상 연락: 팀 슬랙 채널 실시간 지원
🎯 마무리
기억해야 할 핵심 3가지
- 일관성이 생명: 같은 항목은 항상 같은 방식으로
- ID는 신중하게: 한번 부여한 ID는 계속 사용
- 협업이 중요: 막힐 때는 팀원에게 물어보기
다음 교육 예고
- 2주차: XML 태깅과 TEI 표준
- 3주차: Neo4j 그래프 데이터베이스 입문
- 4주차: 데이터 시각화 실습
📎 참고 자료
- 작업 스프레드시트: 구글 시트 바로가기
- TEI 가이드라인: https://tei-c.org/guidelines/
- 광주인문도시스토리플랫폼: 사례 참고
"한 줄 한 줄이 모여 부산의 역사가 데이터로 살아납니다."
작업 중 궁금한 점은 언제든지 팀 슬랙 또는 이메일로 연락주세요!
