"Busan Data Guide"의 두 판 사이의 차이
| 1번째 줄: | 1번째 줄: | ||
| − | + | ||
<html lang="ko"> | <html lang="ko"> | ||
<head> | <head> | ||
| 463번째 줄: | 463번째 줄: | ||
<li><a href="#intro">들어가며</a></li> | <li><a href="#intro">들어가며</a></li> | ||
<li><a href="#roadmap">전체 로드맵</a></li> | <li><a href="#roadmap">전체 로드맵</a></li> | ||
| + | <li><a href="#xml-tagging">XML 태깅</a></li> | ||
<li><a href="#structure">데이터 구조</a></li> | <li><a href="#structure">데이터 구조</a></li> | ||
<li><a href="#examples">실전 예시</a></li> | <li><a href="#examples">실전 예시</a></li> | ||
| 478번째 줄: | 479번째 줄: | ||
<p>안녕하세요! 오늘은 『부산을 빛낸 인물』과 『부산의 자연마을』이라는 소중한 부산의 문화유산을 디지털 데이터로 변환하는 첫걸음을 함께 시작하려고 합니다.</p> | <p>안녕하세요! 오늘은 『부산을 빛낸 인물』과 『부산의 자연마을』이라는 소중한 부산의 문화유산을 디지털 데이터로 변환하는 첫걸음을 함께 시작하려고 합니다.</p> | ||
| + | |||
| + | <h3>📚 프로젝트 규모 및 팀 구성</h3> | ||
| + | |||
| + | <div class="info-box"> | ||
| + | <strong>작업 대상 자료</strong> | ||
| + | <ul> | ||
| + | <li><strong>『부산의 자연마을』</strong>: 총 2,400페이지 (1,200페이지 × 2권)</li> | ||
| + | <li><strong>『부산을 빛낸 인물』</strong>: 총 800페이지</li> | ||
| + | </ul> | ||
| + | </div> | ||
| + | |||
| + | <div class="roadmap" style="margin-top: 20px;"> | ||
| + | <h4 style="color: #2b5a7a; margin-bottom: 15px;">👥 팀 구성 (총 24명)</h4> | ||
| + | |||
| + | <div class="roadmap-step"> | ||
| + | <div class="roadmap-number">A</div> | ||
| + | <div class="roadmap-content"> | ||
| + | <h3 style="margin-top: 0;">자연마을 1팀</h3> | ||
| + | <ul> | ||
| + | <li><strong>인원:</strong> 9명 (인문계 학생)</li> | ||
| + | <li><strong>담당:</strong> 『부산의 자연마을』 1,200페이지</li> | ||
| + | <li><strong>총괄:</strong> 디지털인문학센터 운영위원</li> | ||
| + | </ul> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <div class="roadmap-step"> | ||
| + | <div class="roadmap-number">B</div> | ||
| + | <div class="roadmap-content"> | ||
| + | <h3 style="margin-top: 0;">자연마을 2팀</h3> | ||
| + | <ul> | ||
| + | <li><strong>인원:</strong> 9명 (인문계 학생)</li> | ||
| + | <li><strong>담당:</strong> 『부산의 자연마을』 1,200페이지</li> | ||
| + | <li><strong>총괄:</strong> 디지털인문학센터 계약교수</li> | ||
| + | </ul> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <div class="roadmap-step"> | ||
| + | <div class="roadmap-number">C</div> | ||
| + | <div class="roadmap-content"> | ||
| + | <h3 style="margin-top: 0;">부산을 빛낸 인물 팀</h3> | ||
| + | <ul> | ||
| + | <li><strong>인원:</strong> 6명 (인문계 학생)</li> | ||
| + | <li><strong>담당:</strong> 『부산을 빛낸 인물』 800페이지</li> | ||
| + | <li><strong>총괄:</strong> 디지털인문학센터 운영위원</li> | ||
| + | </ul> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <div class="success-box" style="margin-top: 20px;"> | ||
| + | <strong>🔧 기술 지원팀 (이공계 학생 6명)</strong> | ||
| + | <p>파이썬 스크립트 개발 및 XML 자동 변환 지원</p> | ||
| + | </div> | ||
| + | </div> | ||
<h3>왜 이 작업이 필요할까요?</h3> | <h3>왜 이 작업이 필요할까요?</h3> | ||
| 540번째 줄: | 596번째 줄: | ||
<div class="success-box"> | <div class="success-box"> | ||
<strong>오늘의 초점:</strong> 1단계 데이터 편찬을 중심으로, 2-3단계의 개요를 함께 살펴볼게요! | <strong>오늘의 초점:</strong> 1단계 데이터 편찬을 중심으로, 2-3단계의 개요를 함께 살펴볼게요! | ||
| + | </div> | ||
| + | </section> | ||
| + | |||
| + | <!-- XML 태깅 가이드 --> | ||
| + | <section id="xml-tagging"> | ||
| + | <h2>🏷️ XML 태깅: 데이터에 의미 부여하기</h2> | ||
| + | |||
| + | <p>CSV로 정리한 텍스트에 <strong>의미론적 태그(Semantic Tags)</strong>를 붙여서 컴퓨터가 "누가", "어디서", "언제" 같은 정보를 이해할 수 있게 만드는 작업입니다.</p> | ||
| + | |||
| + | <h3>🎯 왜 XML 태깅이 필요한가요?</h3> | ||
| + | |||
| + | <div class="comparison"> | ||
| + | <div class="comparison-item before"> | ||
| + | <strong>태깅 전 (일반 텍스트)</strong> | ||
| + | <p style="margin-top: 10px;">최치원은 857년에 경주에서 태어났다.</p> | ||
| + | <p style="margin-top: 10px; font-size: 0.9em; color: #666;">→ 컴퓨터는 그냥 글자로만 인식</p> | ||
| + | </div> | ||
| + | <div class="comparison-item after"> | ||
| + | <strong>태깅 후 (XML)</strong> | ||
| + | <p style="margin-top: 10px; font-family: monospace; font-size: 0.9em;"> | ||
| + | <persName>최치원</persName>은<br> | ||
| + | <date when="857">857년</date>에<br> | ||
| + | <placeName>경주</placeName>에서 태어났다. | ||
| + | </p> | ||
| + | <p style="margin-top: 10px; font-size: 0.9em; color: #666;">→ 인물, 시간, 장소를 구분해서 인식!</p> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <h3>📋 온톨로지 설계를 위한 5대 태깅 요소</h3> | ||
| + | |||
| + | <div class="info-box"> | ||
| + | <p>기초 데이터 작업 단계에서는 다음 <strong>5가지 핵심 요소</strong>만 태깅합니다:</p> | ||
| + | </div> | ||
| + | |||
| + | <div class="table-wrapper"> | ||
| + | <table> | ||
| + | <thead> | ||
| + | <tr> | ||
| + | <th>요소</th> | ||
| + | <th>XML 태그</th> | ||
| + | <th>설명</th> | ||
| + | <th>예시</th> | ||
| + | </tr> | ||
| + | </thead> | ||
| + | <tbody> | ||
| + | <tr> | ||
| + | <td><span class="badge badge-primary">1. 인명</span></td> | ||
| + | <td><code class="code-inline"><persName></code></td> | ||
| + | <td>사람 이름</td> | ||
| + | <td>최치원, 정현석, 윤용구</td> | ||
| + | </tr> | ||
| + | <tr> | ||
| + | <td><span class="badge badge-primary">2. 지명</span></td> | ||
| + | <td><code class="code-inline"><placeName></code></td> | ||
| + | <td>장소, 지역, 건물명</td> | ||
| + | <td>영도구, 동래, 해운대, 부산항</td> | ||
| + | </tr> | ||
| + | <tr> | ||
| + | <td><span class="badge badge-primary">3. 시간</span></td> | ||
| + | <td><code class="code-inline"><date></code></td> | ||
| + | <td>날짜, 연도, 시대</td> | ||
| + | <td>1876년, 조선시대, 일제강점기</td> | ||
| + | </tr> | ||
| + | <tr> | ||
| + | <td><span class="badge badge-primary">4. 서명</span></td> | ||
| + | <td><code class="code-inline"><title></code></td> | ||
| + | <td>책, 문서, 작품명</td> | ||
| + | <td>동래부지, 경상도읍지</td> | ||
| + | </tr> | ||
| + | <tr> | ||
| + | <td><span class="badge badge-primary">5. 기관명</span></td> | ||
| + | <td><code class="code-inline"><orgName></code></td> | ||
| + | <td>단체, 조직, 관청</td> | ||
| + | <td>동래부, 부산부청, 동래향교</td> | ||
| + | </tr> | ||
| + | </tbody> | ||
| + | </table> | ||
| + | </div> | ||
| + | |||
| + | <div class="tip-box"> | ||
| + | <strong>💡 왜 이 5가지인가요?</strong> | ||
| + | <p>이 5가지 요소는 <strong>지역 인문학 온톨로지</strong>의 핵심 구성 요소입니다:</p> | ||
| + | <ul> | ||
| + | <li><strong>인명 + 지명</strong> → "누가 어디서 활동했는가"</li> | ||
| + | <li><strong>인명 + 시간</strong> → "언제 살았는가"</li> | ||
| + | <li><strong>지명 + 시간</strong> → "특정 시기의 지역 특성"</li> | ||
| + | <li><strong>서명 + 기관명</strong> → "출전 및 기록 맥락"</li> | ||
| + | </ul> | ||
| + | <p style="margin-top: 10px;">이러한 관계망을 통해 <strong>지식 그래프(Knowledge Graph)</strong>를 구축할 수 있습니다!</p> | ||
| + | </div> | ||
| + | |||
| + | <h3>🔍 태깅 실전 예시</h3> | ||
| + | |||
| + | <div class="example"> | ||
| + | <h4>예시 1: 『부산을 빛낸 인물』</h4> | ||
| + | |||
| + | <strong>원문:</strong> | ||
| + | <div class="code-block"> | ||
| + | 최치원은 857년(헌안왕 원년)에 신라의 서울 경주에서 태어났다. | ||
| + | 868년(경문왕 8)에 12세의 나이로 당나라에 들어갔다. | ||
| + | </div> | ||
| + | |||
| + | <strong>태깅 결과:</strong> | ||
| + | <div class="code-block"> | ||
| + | <p> | ||
| + | <persName ref="per_101_001">최치원</persName>은 | ||
| + | <date when="857">857년</date> | ||
| + | (<date>헌안왕 원년</date>)에 | ||
| + | <orgName>신라</orgName>의 서울 | ||
| + | <placeName>경주</placeName>에서 태어났다. | ||
| + | <date when="868">868년</date> | ||
| + | (<date>경문왕 8</date>)에 | ||
| + | 12세의 나이로 | ||
| + | <placeName>당나라</placeName>에 들어갔다. | ||
| + | </p> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <div class="example"> | ||
| + | <h4>예시 2: 『부산의 자연마을』</h4> | ||
| + | |||
| + | <strong>원문:</strong> | ||
| + | <div class="code-block"> | ||
| + | 영도구 동삼동은 조선시대에는 절영도의 일부였다. | ||
| + | 1876년 개항 이후 일본인들이 거주하기 시작했으며, | ||
| + | 1942년 부산부에 편입되었다. | ||
| + | </div> | ||
| + | |||
| + | <strong>태깅 결과:</strong> | ||
| + | <div class="code-block"> | ||
| + | <p> | ||
| + | <placeName type="구">영도구</placeName> | ||
| + | <placeName type="동">동삼동</placeName>은 | ||
| + | <date period="조선시대">조선시대</date>에는 | ||
| + | <placeName>절영도</placeName>의 일부였다. | ||
| + | <date when="1876">1876년</date> 개항 이후 | ||
| + | 일본인들이 거주하기 시작했으며, | ||
| + | <date when="1942">1942년</date> | ||
| + | <orgName>부산부</orgName>에 편입되었다. | ||
| + | </p> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <h3>👥 역할 분담: 인문계 ↔ 이공계 협업</h3> | ||
| + | |||
| + | <div class="roadmap"> | ||
| + | <div class="roadmap-step"> | ||
| + | <div class="roadmap-number">📝</div> | ||
| + | <div class="roadmap-content"> | ||
| + | <h3 style="margin-top: 0;">인문계 학생 (18명) - 요소 식별</h3> | ||
| + | <p><strong>역할:</strong> 텍스트를 읽고 태깅할 요소 표시하기</p> | ||
| + | <p><strong>방법:</strong></p> | ||
| + | <ol> | ||
| + | <li>스프레드시트의 <code class="code-inline">text_original</code> 열 읽기</li> | ||
| + | <li>5가지 요소를 형광펜 방식으로 표시 | ||
| + | <ul> | ||
| + | <li>🟡 인명: [P]최치원[/P]</li> | ||
| + | <li>🔵 지명: [L]경주[/L]</li> | ||
| + | <li>🟢 시간: [D]857년[/D]</li> | ||
| + | <li>🟠 서명: [T]동래부지[/T]</li> | ||
| + | <li>🟣 기관: [O]부산부[/O]</li> | ||
| + | </ul> | ||
| + | </li> | ||
| + | <li>새 열 <code class="code-inline">text_tagged</code>에 표시된 텍스트 입력</li> | ||
| + | </ol> | ||
| + | <p><strong>예시:</strong></p> | ||
| + | <div class="code-block" style="font-size: 0.85em;"> | ||
| + | [P]최치원[/P]은 [D]857년[/D]에 [L]경주[/L]에서 태어났다. | ||
| + | </div> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <div class="roadmap-step"> | ||
| + | <div class="roadmap-number">💻</div> | ||
| + | <div class="roadmap-content"> | ||
| + | <h3 style="margin-top: 0;">이공계 학생 (6명) - 자동 변환</h3> | ||
| + | <p><strong>역할:</strong> 파이썬 스크립트로 [P] 표시를 <persName> XML 태그로 자동 변환</p> | ||
| + | <p><strong>방법:</strong></p> | ||
| + | <ol> | ||
| + | <li>CSV 파일 읽기 (<code class="code-inline">text_tagged</code> 열)</li> | ||
| + | <li>정규식(regex)으로 마커 → XML 태그 변환 | ||
| + | <ul> | ||
| + | <li>[P]...[/P] → <persName>...</persName></li> | ||
| + | <li>[L]...[/L] → <placeName>...</placeName></li> | ||
| + | <li>[D]...[/D] → <date>...</date></li> | ||
| + | </ul> | ||
| + | </li> | ||
| + | <li>XML 파일로 출력</li> | ||
| + | </ol> | ||
| + | <p><strong>파이썬 스크립트 예시:</strong></p> | ||
| + | <div class="code-block" style="font-size: 0.8em;"> | ||
| + | import re | ||
| + | import pandas as pd | ||
| + | |||
| + | def convert_to_xml(tagged_text): | ||
| + | # [P]...[/P] → <persName>...</persName> | ||
| + | text = re.sub(r'\[P\](.*?)\[/P\]', r'<persName>\1</persName>', tagged_text) | ||
| + | # [L]...[/L] → <placeName>...</placeName> | ||
| + | text = re.sub(r'\[L\](.*?)\[/L\]', r'<placeName>\1</placeName>', text) | ||
| + | # [D]...[/D] → <date>...</date> | ||
| + | text = re.sub(r'\[D\](.*?)\[/D\]', r'<date>\1</date>', text) | ||
| + | # [T]...[/T] → <title>...</title> | ||
| + | text = re.sub(r'\[T\](.*?)\[/T\]', r'<title>\1</title>', text) | ||
| + | # [O]...[/O] → <orgName>...</orgName> | ||
| + | text = re.sub(r'\[O\](.*?)\[/O\]', r'<orgName>\1</orgName>', text) | ||
| + | return text | ||
| + | |||
| + | # CSV 읽기 | ||
| + | df = pd.read_csv('busan_data.csv') | ||
| + | |||
| + | # XML 변환 | ||
| + | df['text_xml'] = df['text_tagged'].apply(convert_to_xml) | ||
| + | |||
| + | # XML 파일 저장 | ||
| + | with open('output.xml', 'w', encoding='utf-8') as f: | ||
| + | f.write('<?xml version="1.0" encoding="UTF-8"?>\n') | ||
| + | f.write('<teiCorpus>\n') | ||
| + | for _, row in df.iterrows(): | ||
| + | f.write(f' <p id="{row["id"]}">{row["text_xml"]}</p>\n') | ||
| + | f.write('</teiCorpus>') | ||
| + | </div> | ||
| + | </div> | ||
| + | </div> | ||
| + | </div> | ||
| + | |||
| + | <h3>🔄 협업 워크플로우</h3> | ||
| + | |||
| + | <div class="info-box"> | ||
| + | <strong>1단계: 인문계 학생 작업</strong> | ||
| + | <p>스프레드시트에 태깅 마커 표시 (1~2주)</p> | ||
| + | <p>→ <code class="code-inline">text_tagged</code> 열 완성</p> | ||
| + | </div> | ||
| + | |||
| + | <div class="info-box"> | ||
| + | <strong>2단계: 이공계 학생 작업</strong> | ||
| + | <p>파이썬 스크립트로 일괄 변환 (1~2일)</p> | ||
| + | <p>→ XML 파일 생성</p> | ||
| + | </div> | ||
| + | |||
| + | <div class="info-box"> | ||
| + | <strong>3단계: 검수 및 수정</strong> | ||
| + | <p>팀 총괄이 XML 파일 검토 후 피드백</p> | ||
| + | <p>→ 필요시 재작업</p> | ||
| + | </div> | ||
| + | |||
| + | <div class="warning-box"> | ||
| + | <strong>⚠️ 태깅 시 주의사항</strong> | ||
| + | <ul> | ||
| + | <li><strong>일관성 유지:</strong> 같은 대상은 항상 같은 방식으로 태깅</li> | ||
| + | <li><strong>중첩 금지:</strong> [P][L]김해[/L][/P] (X) → 하나만 선택</li> | ||
| + | <li><strong>불확실하면 표시 안 함:</strong> 확실한 것만 태깅</li> | ||
| + | <li><strong>속성 추가 가능:</strong> [L type="구"]영도구[/L]</li> | ||
| + | </ul> | ||
| + | </div> | ||
| + | |||
| + | <h3>📊 태깅 진도 체크리스트</h3> | ||
| + | |||
| + | <div class="checklist"> | ||
| + | <ul> | ||
| + | <li>5가지 요소(인명/지명/시간/서명/기관)를 구분할 수 있나요?</li> | ||
| + | <li>마커 표기법([P], [L], [D], [T], [O])을 이해했나요?</li> | ||
| + | <li>스프레드시트에 text_tagged 열을 추가했나요?</li> | ||
| + | <li>샘플 10개 문단을 태깅해보았나요?</li> | ||
| + | <li>팀원들과 태깅 기준을 통일했나요?</li> | ||
| + | </ul> | ||
</div> | </div> | ||
</section> | </section> | ||
| 548번째 줄: | 869번째 줄: | ||
<p>우리가 사용하는 구글 시트는 <strong>18개의 필드(열)</strong>로 구성되어 있어요. 각 필드가 왜 필요한지 함께 살펴볼까요?</p> | <p>우리가 사용하는 구글 시트는 <strong>18개의 필드(열)</strong>로 구성되어 있어요. 각 필드가 왜 필요한지 함께 살펴볼까요?</p> | ||
| + | |||
| + | <div class="tip-box"> | ||
| + | <strong>💡 작업 단계별 사용 필드</strong> | ||
| + | <ul> | ||
| + | <li><strong>1단계 (기본 입력):</strong> id, book_title, person_id, text_original, text_type</li> | ||
| + | <li><strong>2단계 (XML 태깅):</strong> text_tagged (새로 추가!)</li> | ||
| + | <li><strong>3단계 (자동화):</strong> 이공계 학생이 text_tagged → XML 변환</li> | ||
| + | </ul> | ||
| + | </div> | ||
<h3>🔑 핵심 필드 설명</h3> | <h3>🔑 핵심 필드 설명</h3> | ||
| 1,203번째 줄: | 1,533번째 줄: | ||
<strong>📚 전체 분량</strong> | <strong>📚 전체 분량</strong> | ||
<ul> | <ul> | ||
| − | <li><strong>『부산을 빛낸 인물』</strong>: 총 800여 페이지</li> | + | <li><strong>『부산을 빛낸 인물』</strong>: 총 800여 페이지 → 1개 팀 (6명) 담당</li> |
| − | <li><strong>『부산의 자연마을』</strong>: 총 1, | + | <li><strong>『부산의 자연마을』</strong>: 총 2,400여 페이지 → 2개 팀 (각 9명) 분담 |
| + | <ul> | ||
| + | <li>1팀: 1,200페이지</li> | ||
| + | <li>2팀: 1,200페이지</li> | ||
| + | </ul> | ||
| + | </li> | ||
</ul> | </ul> | ||
<p style="margin-top: 10px;">※ 각 팀원은 담당 권/장을 선정하여 2개월간 데이터 편찬 작업을 진행합니다.</p> | <p style="margin-top: 10px;">※ 각 팀원은 담당 권/장을 선정하여 2개월간 데이터 편찬 작업을 진행합니다.</p> | ||
| 1,235번째 줄: | 1,570번째 줄: | ||
<tr> | <tr> | ||
<td><strong>1월 3~4주</strong><br>(1/15~1/31)</td> | <td><strong>1월 3~4주</strong><br>(1/15~1/31)</td> | ||
| − | <td>본격 데이터 입력</td> | + | <td>본격 데이터 입력 + XML 태깅 시작</td> |
<td> | <td> | ||
<div class="checklist"> | <div class="checklist"> | ||
| 1,242번째 줄: | 1,577번째 줄: | ||
<li>인용문(citation) 처리 숙달</li> | <li>인용문(citation) 처리 숙달</li> | ||
<li>person_id 규칙 완전 이해</li> | <li>person_id 규칙 완전 이해</li> | ||
| + | <li><strong>XML 태깅 교육 및 연습</strong></li> | ||
| + | <li><strong>샘플 10~20개 문단 태깅 ([P], [L], [D] 표시)</strong></li> | ||
<li>1차 중간 점검 및 피드백</li> | <li>1차 중간 점검 및 피드백</li> | ||
</ul> | </ul> | ||
| 1,249번째 줄: | 1,586번째 줄: | ||
<tr> | <tr> | ||
<td><strong>2월 1~2주</strong><br>(2/1~2/14)</td> | <td><strong>2월 1~2주</strong><br>(2/1~2/14)</td> | ||
| − | <td>복잡한 텍스트 처리</td> | + | <td>복잡한 텍스트 처리 + 본격 XML 태깅</td> |
<td> | <td> | ||
<div class="checklist"> | <div class="checklist"> | ||
| 1,256번째 줄: | 1,593번째 줄: | ||
<li>시(poem) 원문-번역 분리 작업</li> | <li>시(poem) 원문-번역 분리 작업</li> | ||
<li>relation_note 활용 능숙화</li> | <li>relation_note 활용 능숙화</li> | ||
| + | <li><strong>인문계: text_tagged 열 작업 진행</strong></li> | ||
| + | <li><strong>이공계: 파이썬 스크립트 개발 시작</strong></li> | ||
<li>2차 중간 점검 및 오류 수정</li> | <li>2차 중간 점검 및 오류 수정</li> | ||
</ul> | </ul> | ||
| 1,263번째 줄: | 1,602번째 줄: | ||
<tr> | <tr> | ||
<td><strong>2월 3~4주</strong><br>(2/15~2/28)</td> | <td><strong>2월 3~4주</strong><br>(2/15~2/28)</td> | ||
| − | <td>완료 및 품질 검수</td> | + | <td>완료 및 품질 검수 + XML 변환</td> |
<td> | <td> | ||
<div class="checklist"> | <div class="checklist"> | ||
<ul> | <ul> | ||
<li>담당 분량 100% 완료</li> | <li>담당 분량 100% 완료</li> | ||
| + | <li><strong>인문계: 전체 text_tagged 완성</strong></li> | ||
| + | <li><strong>이공계: XML 자동 변환 실행</strong></li> | ||
<li>전체 데이터 통합</li> | <li>전체 데이터 통합</li> | ||
<li>팀원 간 교차 검토</li> | <li>팀원 간 교차 검토</li> | ||
2025년 12월 19일 (금) 18:40 판
📚 부산 지역 인문학 데이터 편찬 입문 가이드
『부산을 빛낸 인물』·『부산의 자연마을』 디지털 아카이브 구축
📖 들어가며: 우리가 만들 디지털 지식 창고
안녕하세요! 오늘은 『부산을 빛낸 인물』과 『부산의 자연마을』이라는 소중한 부산의 문화유산을 디지털 데이터로 변환하는 첫걸음을 함께 시작하려고 합니다.
📚 프로젝트 규모 및 팀 구성
- 『부산의 자연마을』: 총 2,400페이지 (1,200페이지 × 2권)
- 『부산을 빛낸 인물』: 총 800페이지
👥 팀 구성 (총 24명)
자연마을 1팀
- 인원: 9명 (인문계 학생)
- 담당: 『부산의 자연마을』 1,200페이지
- 총괄: 디지털인문학센터 운영위원
자연마을 2팀
- 인원: 9명 (인문계 학생)
- 담당: 『부산의 자연마을』 1,200페이지
- 총괄: 디지털인문학센터 계약교수
부산을 빛낸 인물 팀
- 인원: 6명 (인문계 학생)
- 담당: 『부산을 빛낸 인물』 800페이지
- 총괄: 디지털인문학센터 운영위원
파이썬 스크립트 개발 및 XML 자동 변환 지원
왜 이 작업이 필요할까요?
책장에 꽂혀 있는 책은 한 번에 한 사람만 읽을 수 있지만, 디지털 데이터로 변환된 지식은:
- 💡 검색 가능: "1950년대 부산 영도구"라고 검색하면 관련된 모든 내용이 한눈에!
- 🔗 연결 가능: 인물과 장소, 사건이 서로 연결되어 새로운 통찰 발견
- 📊 분석 가능: 빈도, 패턴, 관계를 통해 보이지 않던 역사적 의미 발견
- 🌐 공유 가능: 전 세계 연구자들과 부산의 이야기를 나눌 수 있어요
🔥 전체 로드맵: 3단계 여정
데이터 편찬 (4-6주)
현재 단계
- PDF → 텍스트 추출
- 구조화 → CSV 정리
- 태깅 → XML 변환
목표: 원천 자료를 DB에 업로드 가능한 형태로 구조화
데이터 분석 (2-3주)
- 빈도 분석 & 키워드 추출
- 관계 파악
- 의미 해석
목표: 구축된 데이터에서 학문적 의미와 패턴 도출
데이터 설계 (2-3주)
- 온톨로지 설계
- 지식 그래프 구상
- 활용 방안 기획
목표: 플랫폼 구축을 위한 데이터 모델링
🏷️ XML 태깅: 데이터에 의미 부여하기
CSV로 정리한 텍스트에 의미론적 태그(Semantic Tags)를 붙여서 컴퓨터가 "누가", "어디서", "언제" 같은 정보를 이해할 수 있게 만드는 작업입니다.
🎯 왜 XML 태깅이 필요한가요?
최치원은 857년에 경주에서 태어났다.
→ 컴퓨터는 그냥 글자로만 인식
<persName>최치원</persName>은
<date when="857">857년</date>에
<placeName>경주</placeName>에서 태어났다.
→ 인물, 시간, 장소를 구분해서 인식!
📋 온톨로지 설계를 위한 5대 태깅 요소
기초 데이터 작업 단계에서는 다음 5가지 핵심 요소만 태깅합니다:
| 요소 | XML 태그 | 설명 | 예시 |
|---|---|---|---|
| 1. 인명 | <persName> |
사람 이름 | 최치원, 정현석, 윤용구 |
| 2. 지명 | <placeName> |
장소, 지역, 건물명 | 영도구, 동래, 해운대, 부산항 |
| 3. 시간 | <date> |
날짜, 연도, 시대 | 1876년, 조선시대, 일제강점기 |
| 4. 서명 | <title> |
책, 문서, 작품명 | 동래부지, 경상도읍지 |
| 5. 기관명 | <orgName> |
단체, 조직, 관청 | 동래부, 부산부청, 동래향교 |
이 5가지 요소는 지역 인문학 온톨로지의 핵심 구성 요소입니다:
- 인명 + 지명 → "누가 어디서 활동했는가"
- 인명 + 시간 → "언제 살았는가"
- 지명 + 시간 → "특정 시기의 지역 특성"
- 서명 + 기관명 → "출전 및 기록 맥락"
이러한 관계망을 통해 지식 그래프(Knowledge Graph)를 구축할 수 있습니다!
🔍 태깅 실전 예시
예시 1: 『부산을 빛낸 인물』
원문:예시 2: 『부산의 자연마을』
원문:👥 역할 분담: 인문계 ↔ 이공계 협업
인문계 학생 (18명) - 요소 식별
역할: 텍스트를 읽고 태깅할 요소 표시하기
방법:
- 스프레드시트의
text_original열 읽기 - 5가지 요소를 형광펜 방식으로 표시
- 🟡 인명: [P]최치원[/P]
- 🔵 지명: [L]경주[/L]
- 🟢 시간: [D]857년[/D]
- 🟠 서명: [T]동래부지[/T]
- 🟣 기관: [O]부산부[/O]
- 새 열
text_tagged에 표시된 텍스트 입력
예시:
이공계 학생 (6명) - 자동 변환
역할: 파이썬 스크립트로 [P] 표시를 <persName> XML 태그로 자동 변환
방법:
- CSV 파일 읽기 (
text_tagged열) - 정규식(regex)으로 마커 → XML 태그 변환
- [P]...[/P] → <persName>...</persName>
- [L]...[/L] → <placeName>...</placeName>
- [D]...[/D] → <date>...</date>
- XML 파일로 출력
파이썬 스크립트 예시:
🔄 협업 워크플로우
스프레드시트에 태깅 마커 표시 (1~2주)
→ text_tagged 열 완성
파이썬 스크립트로 일괄 변환 (1~2일)
→ XML 파일 생성
팀 총괄이 XML 파일 검토 후 피드백
→ 필요시 재작업
- 일관성 유지: 같은 대상은 항상 같은 방식으로 태깅
- 중첩 금지: [P][L]김해[/L][/P] (X) → 하나만 선택
- 불확실하면 표시 안 함: 확실한 것만 태깅
- 속성 추가 가능: [L type="구"]영도구[/L]
📊 태깅 진도 체크리스트
- 5가지 요소(인명/지명/시간/서명/기관)를 구분할 수 있나요?
- 마커 표기법([P], [L], [D], [T], [O])을 이해했나요?
- 스프레드시트에 text_tagged 열을 추가했나요?
- 샘플 10개 문단을 태깅해보았나요?
- 팀원들과 태깅 기준을 통일했나요?
📊 우리 팀 데이터 구조 이해하기
우리가 사용하는 구글 시트는 18개의 필드(열)로 구성되어 있어요. 각 필드가 왜 필요한지 함께 살펴볼까요?
- 1단계 (기본 입력): id, book_title, person_id, text_original, text_type
- 2단계 (XML 태깅): text_tagged (새로 추가!)
- 3단계 (자동화): 이공계 학생이 text_tagged → XML 변환
🔑 핵심 필드 설명
| 필드명 | 예시 | 설명 | 작업자가 할 일 |
|---|---|---|---|
id |
txt_10001 | 텍스트 고유 번호 | 필수 반드시 부여 (중복 금지!) |
book_id |
lightuppeople01 | 책 식별자 | 책마다 고정값 사용 |
book_title |
부산을_빛낸_인물 | 책 제목 | 언더바(_)로 연결 |
sub_title |
20세기_이전_인물편 | 부제목 | 있는 경우만 입력 |
publisher |
부산광역시_문화유산과_시사편찬실 | 발행처 | 책 정보 그대로 |
pub_date |
2004.06 | 출판일 | YYYY.MM 형식 |
chapter |
001 | 장 번호 | 3자리 숫자 (001, 002...) |
page |
005 | 페이지 | 3자리 숫자 (005, 006...) |
person_id |
per_101_001 | 인물 고유 번호 | 필수 새 인물마다 부여 |
name_ko |
최치원 | 인물 한글 이름 | 정확하게 입력 |
name_ch |
崔致遠 | 인물 한자 이름 | 있는 경우만 입력 |
topic |
해운대의_유래 | 소주제 | 섹션 제목 그대로 |
author |
정경주_경성대교수 | 글쓴이 | 이름_소속 형식 |
text_original |
(본문 내용) | 원문 텍스트 | 필수 가장 중요! |
text_type |
normal / citation / poem | 텍스트 유형 | 필수 반드시 구분 |
relation_note |
txt_10008 | 관련 텍스트 ID | 연결된 경우만 |
img_caption |
최치원_영정 | 이미지 설명 | 이미지 있을 때만 |
remark |
번역문 / 원문 | 비고 | 필요시 메모 |
📖 실전 예시로 배우기
사례 1: 일반 텍스트 처리하기
PDF 원문 (5페이지)
스프레드시트 입력 결과
| id | book_title | chapter | page | person_id | name_ko | topic | text_type |
|---|---|---|---|---|---|---|---|
| txt_10001 | 부산을_빛낸_인물 | 001 | 005 | per_101_001 | 최치원 | 해운대의_유래 | normal |
- ✅ id는 연속된 번호: txt_10001, txt_10002, txt_10003...
- ✅ person_id는 새 인물 등장시에만 변경
- ✅ 한 문단 = 한 행: 문단 단위로 나누어 입력
- ✅ text_type은 'normal': 일반 서술 텍스트
사례 2: 인용문(citation) 처리하기
PDF 원문 (6페이지)
스프레드시트 입력 결과
| id | text_original | text_type | relation_note |
|---|---|---|---|
| txt_10006 | (최치원이 쓴 글 중에서) | normal | |
| txt_10007 | 제 나이 열 두살 때 집을 떠나... 게을리 말라'고 하셨습니다. | citation | txt_10006 |
- ✅ text_type을 'citation'으로: 직접 인용문임을 표시
- ✅ relation_note 활용: 앞 문장(txt_10006)과 연결됨을 표시
- ✅ 따옴표 포함: 원문의 인용 부호 그대로 유지
사례 3: 시(poem) 처리하기 - 가장 까다로운 부분!
PDF 원문 (11페이지) - 정서의 시
스프레드시트 입력 결과 - 원문과 번역문을 분리!
| id | person_id | name_ko | text_original | text_type | relation_note | remark |
|---|---|---|---|---|---|---|
| txt_10013 | per_101_002 | 정서 | 狂奔疊石吼重巒 / 人語難分咫尺間 / 常恐是非聲到耳 / 故敎流水盡籠山 | poem | txt_10014 | 원문 |
| txt_10014 | per_101_002 | 정서 | 미친 물 바위 치며 겹겹 산을 뒤흔드니 / 지척 사이에도 사람 소리 모르겠네. / 세상의 시비 소리 들릴까 두려워서 / 짐짓 흐르는 물로 산을 온통 가두었네. | poem | txt_10013 | 번역문 |
- ✅ 한문 원문과 번역문 = 2개 행: 별도로 입력!
- ✅ 연(구절) 구분은 슬래시(/): 狂奔疊石吼重巒 / 人語難分咫尺間
- ✅ relation_note로 연결: 원문과 번역이 서로를 가리킴
- ✅ remark에 명시: '원문' 또는 '번역문'
사례 4: 가사(歌辭) 처리하기
PDF 원문 (19페이지) - <삼진작 三眞勺>
- ✅ 고어도 poem으로 처리: 가사는 시(poem)로 분류
- ✅ remark에 작품명: 가사 제목 명시
- ✅ 특수문자 처리: 깨진 부분은 !! 나 -- 로 표시
🔢 ID 부여 규칙 마스터하기
1. 텍스트 ID (id) 규칙
- 형식:
txt_+ 5자리 숫자 - 시작: 10001부터 시작
- 연속성: 중간에 번호를 건너뛰지 않음
- 고유성: 전체 데이터베이스에서 중복되면 안 됨!
- txt_1 (자릿수 부족)
- txt_100001 (자릿수 초과)
- txt_10001을 두 번 사용 (중복)
- txt_10001
- txt_10002
- txt_10003
2. 인물 ID (person_id) 규칙
- 형식:
per_+ 책번호(3자리) +_+ 인물번호(3자리) - 책번호:
- 101 = 『부산을 빛낸 인물』 권1
- 102 = 『부산을 빛낸 인물』 권2
- 201 = 『부산의 자연마을』 권1
- 인물번호: 책 내에서 등장 순서대로 001부터 부여
실전 예시
| 상황 | person_id | 설명 |
|---|---|---|
| 최치원이 5페이지에서 처음 등장 | per_101_001 |
첫 번째 인물 |
| 정서가 11페이지에서 처음 등장 | per_101_002 |
두 번째 인물 |
| 최치원이 다시 15페이지에 등장 | per_101_001 |
동일 ID 재사용! |
- 📌 인물 등장 순서대로 번호 부여: 페이지 순서가 아니라 등장 순서
- 📌 같은 인물은 같은 ID: 여러 페이지에 등장해도 ID는 하나
- 📌 엑셀 필터 활용: 이미 부여된 인물 ID 확인하기
🛠️ 단계별 작업 프로세스
STEP 1: PDF에서 텍스트 추출
방법 1: Adobe Acrobat (추천)
- PDF 파일 열기
- 편집 → 복사할 텍스트 선택
- 마우스 드래그로 문단 선택
- Ctrl+C (복사)
- 메모장/VS Code에 붙여넣기
방법 2: 온라인 도구
- Smallpdf: https://smallpdf.com/kr/pdf-to-text
- iLovePDF: https://www.ilovepdf.com/ko/pdf_to_text
- 한자가 깨지지 않았나요?
- 줄바꿈이 이상하지 않나요?
- 특수문자(◦, ●, ※)가 제대로 나왔나요?
STEP 2: 텍스트 전처리
해야 할 일
- 문단 나누기: Enter로 문단 구분
- 공백 정리: 불필요한 띄어쓰기 제거
- 페이지 번호 제거: -5-, [5] 같은 표시 삭제
- 각주 처리: 1), 2) 같은 각주 번호 처리
예시: 전처리 전후
STEP 3: 스프레드시트 입력
입력 순서
- 메타데이터 먼저: book_title, publisher, pub_date, chapter
- 페이지 확인: page 필드에 정확한 페이지 입력
- 인물 정보: person_id, name_ko, name_ch 확인
- 본문 입력: text_original에 텍스트 붙여넣기
- 유형 지정: text_type 선택 (normal/citation/poem)
- Ctrl+D: 위 셀 내용 복사 (같은 값 반복 입력시 유용)
- Ctrl+Enter: 셀 내 줄바꿈
- F2: 셀 편집 모드
📝 text_type 판단 가이드
| text_type | 사용 시점 | 예시 키워드 |
|---|---|---|
| normal | 일반 서술 텍스트 | "~이다", "~되었다", "~라고 한다" |
| citation | 직접 인용문 | "~하셨습니다", 따옴표(' " ") 있음 |
| poem | 시, 가사, 한시 | 4행시, 율문, 운문 |
💻 실습 스프레드시트
아래는 우리 팀이 실제로 작업하는 구글 시트입니다. 실시간으로 데이터를 확인하고 입력할 수 있어요.
- 위 임베드 창에서 바로 데이터를 확인할 수 있어요
- 실제 입력은 "새 탭에서 열기" 버튼을 클릭해서 진행하세요
- 여러 사람이 동시에 작업할 수 있어요 (실시간 공동 편집)
- 변경 이력은 자동으로 저장됩니다
✅ 최종 체크리스트
작업 완료 전에 꼭 확인하세요!
- id가 연속되어 있나요? (txt_10001 → txt_10002 → txt_10003)
- person_id가 올바르게 부여되었나요?
- 같은 인물이 여러 곳에 나오면 같은 person_id를 사용했나요?
- text_type이 정확한가요? (normal/citation/poem)
- 시의 원문과 번역문을 분리했나요?
- relation_note로 관련 텍스트를 연결했나요?
- 한자 이름이 있는 경우 name_ch에 입력했나요?
- 띄어쓰기와 문장부호가 원문과 일치하나요?
🔧 자주 발생하는 오류와 해결법
오류 1: ID 중복
❌ 문제: txt_10005가 두 개 있어요!
✅ 해결: 전체 열을 선택 → 데이터 → 중복 항목 삭제
오류 2: person_id 혼동
❌ 문제: 최치원이 등장할 때마다 새 ID를 부여했어요
✅ 해결: 같은 인물은 첫 등장시의 ID를 계속 사용 (per_101_001)
오류 3: 시 처리 실수
❌ 문제: 원문과 번역을 한 행에 넣었어요
✅ 해결: 두 개 행으로 분리하고 relation_note로 연결
오류 4: text_type 오입력
❌ 문제: citation을 citaion으로 오타
✅ 해결: 드롭다운 메뉴 만들기
- 열 선택 → 데이터 → 데이터 확인
- 조건: 목록(항목) → normal, citation, poem
💬 자주 묻는 질문 (Q&A)
Q1. 인물이 명확하지 않은 경우는?
A. person_id를 비워두고, remark에 "인물 미상" 표시
Q2. 여러 인물이 한 문단에 나오면?
A. 주요 인물의 person_id를 사용하고, remark에 "김철수, 이영희 등장" 메모
Q3. 페이지 번호가 불분명하면?
A. 앞뒤 맥락으로 유추하고, remark에 "페이지 추정" 표시
Q4. 작업 중 막힐 때는?
A.
- 팀 슬랙 채널에 질문
- 매주 화요일 오후 2시 정기 모임
- 작업 메뉴얼 재확인
📊 작업 일정 계획 (2026년 1월~2월)
- 『부산을 빛낸 인물』: 총 800여 페이지 → 1개 팀 (6명) 담당
- 『부산의 자연마을』: 총 2,400여 페이지 → 2개 팀 (각 9명) 분담
- 1팀: 1,200페이지
- 2팀: 1,200페이지
※ 각 팀원은 담당 권/장을 선정하여 2개월간 데이터 편찬 작업을 진행합니다.
| 기간 | 목표 | 세부 과제 |
|---|---|---|
| 1월 1~2주 (1/1~1/14) |
작업 준비 및 기초 입력 |
|
| 1월 3~4주 (1/15~1/31) |
본격 데이터 입력 + XML 태깅 시작 |
|
| 2월 1~2주 (2/1~2/14) |
복잡한 텍스트 처리 + 본격 XML 태깅 |
|
| 2월 3~4주 (2/15~2/28) |
완료 및 품질 검수 + XML 변환 |
|
- 일일 목표: 하루 10~15개 문단 입력 (약 1시간)
- 주간 목표: 주 5일 기준 50~75개 문단
- 정기 모임: 매주 화요일 오후 2시 진도 점검 및 질의응답
- 비상 연락: 팀 슬랙 채널 실시간 지원
🎯 마무리
기억해야 할 핵심 3가지
- 일관성이 생명: 같은 항목은 항상 같은 방식으로
- ID는 신중하게: 한번 부여한 ID는 계속 사용
- 협업이 중요: 막힐 때는 팀원에게 물어보기
다음 교육 예고
- 2주차: XML 태깅과 TEI 표준
- 3주차: Neo4j 그래프 데이터베이스 입문
- 4주차: 데이터 시각화 실습
📎 참고 자료
- 작업 스프레드시트: 구글 시트 바로가기
- TEI 가이드라인: https://tei-c.org/guidelines/
- 광주인문도시스토리플랫폼: 사례 참고
"한 줄 한 줄이 모여 부산의 역사가 데이터로 살아납니다."
작업 중 궁금한 점은 언제든지 팀 슬랙 또는 이메일로 연락주세요!