섀넌의 정보이론(1948년): 엔트로피와 통신 신뢰성 읽기

이야기

섀넌의 논문은 1948년 7월과 10월 『벨 시스템 기술 저널』에 실렸다. 나이퀴스트, 하틀리 등의 작업을 바탕으로 정보량과 신뢰할 수 있는 통신의 한계를 검토했다. 그 양은 메시지의 통계 구조에 관한 것이며 내용의 진실성이나 의미를 나타내지 않는다. 섀넌·위버와 관련된 1949년 책은 후속 출판물이며 원논문의 날짜가 아니다.

정보 엔트로피는 무엇을 측정할까요?

섀넌은 가능한 메시지 집합과 확률에서 출발합니다. 이미 확실한 결과는 새로 해소할 불확실성을 주지 않습니다. 여러 그럴듯한 결과가 있는 정보원에는 다른 설명이 필요합니다. 엔트로피는 이런 정보원의 평균 불확실성을 요약하여 메시지가 겉보기에 얼마나 긴지만 세는 것보다 정밀한 비교를 가능하게 합니다.

이는 정보의 공학적 의미입니다. 문장의 중요성, 정확성, 감정 효과를 평가하지 않습니다. 두 정보원은 통계 성질이 비슷해도 매우 다른 뜻을 전할 수 있습니다. 질문들을 분리했기에 사람이 논하는 주제마다 별도 설명을 만들기보다 여러 신호 유형에 적용할 일반 이론을 발전시킬 수 있었습니다.

잡음 채널에서 부호화는 왜 중요할까요?

통신체계는 전송할 메시지를 표현하고 수신 끝에서 재구성해야 합니다. 잡음은 수신 신호를 바꿀 수 있습니다. 채널 용량은 가정한 채널 조건에서 정보를 신뢰성 있게 전달할 수 있는 속도의 한계를 나타냅니다. 따라서 전송 속도 증가만으로 더 나은 통신체계를 충분히 설명할 수 없습니다.

부호화는 표현을 바꾸어 일부 교란에도 수신자가 메시지를 복원하게 합니다. 섀넌의 결과는 적절한 부호와 더 긴 블록을 사용하면 해당 용량 한계 아래에서 오류율을 임의로 작게 만들 수 있음을 보였습니다. 모든 짧은 메시지·유한 부호·실제 연결의 무오류를 약속하지는 않습니다. 효율적 실용 부호를 찾는 일은 여전히 공학·수학 과제였습니다.

이론은 디지털 생활과 어떻게 연결될까요?

정보원 부호화와 채널 부호화는 다른 문제를 풉니다. 압축은 정보원을 더 경제적으로 표현하려 하며, 채널 오류 보호는 의도적으로 구조화된 중복을 도입할 수 있습니다. 통신체계의 다른 단계에서 이루어질 때 중복 제거와 추가는 모순된 목표가 아닙니다.

이 구별은 모든 구현을 한 논문에 돌리지 않고 정보이론을 후대 디지털 체계와 연결합니다. 섀넌은 체계를 평가할 척도·한계를 제공했습니다. 연구자·기술자는 여전히 작동 가능한 인코더·디코더·하드웨어를 설계해야 했습니다. 지속적 기여는 결과들의 집합인 동시에 체계의 제약이 구현에서 오는지 통신 조건 자체에서 오는지 묻는 방법입니다.

날짜와 정밀도

1948년（두 부분으로 논문 출판） 기록된 날짜

기록된 연·월·일로 배치하며 부족한 정밀도를 추정하지 않습니다.

지도의 대표 장소

머리힐 벨 연구소

머리힐 캠퍼스로 벨 연구소 연구망을 대표한다. 논문의 소속 표기만으로 특정 집필 사무실이 확인되지는 않으며, 검증된 집필 주소가 아니다.

대표 좌표 · 40.6832°, -74.4°

표시는 원고 소장처, 실험실, 관측지 같은 한 대표 장소입니다. 작업이 그곳에서만 이루어졌다는 뜻도 공동 발견을 한 국가에 귀속한다는 뜻도 아닙니다.

참고문헌

• 클로드 E. 섀넌｜통신의 수학적 이론（1948년）
• 노키아 벨 연구소｜역사
• MIT News | 해설: 섀넌 한계
• 클로드 E. 섀넌 | 통신의 수학적 이론(1948년)

참고문헌은 일반 서지 제목으로 표시합니다. 특정 사실이나 맥락을 뒷받침할 수 있지만 모든 해석을 인증하지는 않습니다. 한국어판은 영어판의 독립 참고문헌과 원래 URL을 유지한 번역이며, 한국어 원자료나 한국어 모어 편집자의 역사 검증을 뜻하지 않습니다.