정보이론
12 Jul 2018 | InformationTheory
정보이론
정보이론이란 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용수학의 한 분야이다.
출처 : 위키피디아
정보이론은 1948년 Claude E. Shannon에 의해 처음 소개되었으며 정보의 통신, 저장, 부량(Quantificaiton)에 대해 연구하는 분야이다. 정보이론을 활용한 분야로는 대표적으로 무손실 데이터 압축(e.g. ZIP files), 손실 데이터 압축(e.g. MP3, JPEG), 채널 코딩(e.g digital subscriber line(DSL))등이 있다. 보이저계획의 성공, compact disk, 휴대전화 개발등 많은 분야에서 중요한 역할을 했다.
정보이론의 가장 핵심인 내용은 앤트로피(Entropy) 이다. 엔트로피란 무작위 사건에 대한 결과 또는 random variable에 대한 불확실성을 포함하는 정보의 양이다.
예를 들어, 앞면 혹은 뒷면만 나오는 동전던지기의 결과에 대한 엔트로피와 6면체 주사위를 던졌을때 나오는 결과에 대한 엔트로피를 비교하면 후자가 더 크다.
정보량 뿐만 아니라 정보이론에서 주요하게 다뤄지는 다른 내용들은 상호 의존정보(mutual information), 채널용량(channel capacity), error exponet, 상대 엔트로피(relative entropy)등이 있다.
정보이론에 대해 모든 것을 다루기에는 어렵기도 어려우며, 양이 너무많아 정보량에 관한 내용과 압축에 관한 내용만 다음 포스트를 통해 소개하겠다. 다른 부분에 대해서는 아래 작성된 위키피디아의 목차에 대해 소개와 link를 통해 알아볼 수 있다.
출처 : 위키피디아
정보이론
정보이론이란 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용수학의 한 분야이다.
출처 : 위키피디아
정보이론은 1948년 Claude E. Shannon에 의해 처음 소개되었으며 정보의 통신, 저장, 부량(Quantificaiton)에 대해 연구하는 분야이다. 정보이론을 활용한 분야로는 대표적으로 무손실 데이터 압축(e.g. ZIP files), 손실 데이터 압축(e.g. MP3, JPEG), 채널 코딩(e.g digital subscriber line(DSL))등이 있다. 보이저계획의 성공, compact disk, 휴대전화 개발등 많은 분야에서 중요한 역할을 했다.
정보이론의 가장 핵심인 내용은 앤트로피(Entropy) 이다. 엔트로피란 무작위 사건에 대한 결과 또는 random variable에 대한 불확실성을 포함하는 정보의 양이다. 예를 들어, 앞면 혹은 뒷면만 나오는 동전던지기의 결과에 대한 엔트로피와 6면체 주사위를 던졌을때 나오는 결과에 대한 엔트로피를 비교하면 후자가 더 크다.
정보량 뿐만 아니라 정보이론에서 주요하게 다뤄지는 다른 내용들은 상호 의존정보(mutual information), 채널용량(channel capacity), error exponet, 상대 엔트로피(relative entropy)등이 있다.
정보이론에 대해 모든 것을 다루기에는 어렵기도 어려우며, 양이 너무많아 정보량에 관한 내용과 압축에 관한 내용만 다음 포스트를 통해 소개하겠다. 다른 부분에 대해서는 아래 작성된 위키피디아의 목차에 대해 소개와 link를 통해 알아볼 수 있다.
출처 : 위키피디아
Comments