커뮤니티 게시판 : 아주 기본적인 네티켓만 지킨다면 자유롭게 쓸 수 있는 커뮤니티 게시판입니다. 포럼에서 다루는 주제는 각각의 포럼 게시판을 우선 이용해 주시고, 민감한 소재는 비공개 게시판이나 수상한 게시판에, 홍보는 홍보/외부 사용기 게시판에 써 주세요. 질문은 포럼 게시판의 질문/토론 카테고리를 사용해 주세요.

잡담

2022.12.01 11:39

지옥의 유니코드 3대장, 정보 엔트로피 분석

책읽는달팽 https://gigglehd.com/gg/13349261

악은 사람을 사람취급 안하는데서 시작된단다 - Terry Pratchett

조회 수 594 댓글 5

https://www.irif.fr/~dxiao/docs/entropy.pdf

이런게 있군요... 대충 영어를 1에 놓고, 다른 언어의 엔트로피를 비교한 겁니다.

현대 정보이론에서 엔트로피는 정보의 양을 나타냅니다. 낮으면 정보량이 높고, 높으면 정보량이 드럽죠...

여튼, 중국어는 정보량이 높은데, 일본어는 생각보다 정보 엔트로피가 높군요... 40음도 아니었나... 그 와중 중간 조합문자(...)

삭제 요청

목록 스크랩

위로 아래로 댓글로 가기

Comments '5'

?
Proshares 2022.12.01 12:09

초록만 읽었는데 written natural language니까 한자쓰는 일본은 당연히 높지 않을까요? 개음절언어에 적은 모음개수같은 특징은 입으로 말을 할 때 각 음가의 정보량이 낮은거로 나타나는거겠고요.
책읽는달팽 악은 사람을 사람취급 안하는데서 시작된단다 - Terry Pratchett 2022.12.01 12:19

아… 성경이니, 그렇겠네요 쿨럭
?
유입입니다 2022.12.01 12:09

한국어 역시 높네요
중국어는 너무 높고..
?
볶은완두콩 2022.12.01 13:02

너무높아서 오히려 문제...
?
Letrhee 2022.12.01 15:00

간단히 말해 같은 내용(성경)의 다른 언어 버전에서 텍스트 버전과 압축 버전의 용량을 비교한 것이군요.
한문은 뭐 생겨 먹은 자체가 그러니까 그러려니... 하는데, 한글이 깡패긴 하네요.

논문의 결론은 '압축하고 나면 결국 담고 있는 정보량에 맞게 용량이 나온다' 고요.
그 와중에 일본어만 유독 튀는 건 희한하긴 하네요. 아무래도 히라가나/가타카나 + 한자 2중 구성이어서 좀 손해를 보는걸까요?

작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.

List of Articles
번호	분류	제목	글쓴이	날짜	조회 수
69657	장터	로지텍 G913 풀배열 gl 클리키팝니다~ 5	NaziCube	2022.12.27	551
69656	잡담	자동차에 잘 아시는 분 와셔액을 쏟았는데 7	록키베어	2022.12.27	980
69655	잡담	외장하드 오작동의 원인은... 9	도개주	2022.12.26	716
69654	퍼온글	[볼거리] "번개장터에서 게임 공짜로 렌탈하... 9	임시닉네임	2022.12.26	1075
69653	퍼온글	[보도자료] 삼성전자, 역대급 혜택의 ‘삼성전자 ... 8	임시닉네임	2022.12.26	1020
69652	잡담	다이소 20w PD 충전기 초간단 사용기 12	GoULT	2022.12.26	2331
69651	잡담	[잡담] 이것저것 구입 1	임시닉네임	2022.12.26	262
69650	잡담	살다살다 별걸 다 사봅니다. 2	야메떼	2022.12.26	647
69649	잡담	앞으로의 계획 9	슈베아츠	2022.12.26	400
69648	잡담	다이소 물가(2)외 2	고자되기	2022.12.26	708
69647	잡담	저녁은 채식주의자처럼.. 13	유니	2022.12.26	448
69646	잡담	1등 당첨되는 꿈 꾸었습니다 24	포인	2022.12.26	580
69645	잡담	낯설게 생긴 전병 3	유니	2022.12.26	615
69644	퍼온글	김구 선생님 당신은 대체 2	아스트랄로피테쿠스	2022.12.26	908
69643	잡담	내일 군대 갑니다... 35	석탄이꽝꽝	2022.12.26	1161
69642	잡담	모니터암 추가 설치	스파르타	2022.12.26	474
69641	잡담	레벨 6가 됐습니다 16	까마귀	2022.12.26	530
69640	잡담	인생의 마지막 초코콘 10	까마귀	2022.12.26	569
69639	잡담	여자친구보다 더 좋은 것 9	공탱이	2022.12.26	956
69638	퍼온글	스노우 미쿠 2023 테마곡 "SnowMix♪" 8	까메라GT	2022.12.26	772
69637	잡담	요즘 핫한 드라마 벌집아들 엔딩 괜찮네요 (스포x) 9	스이드림	2022.12.26	697
69636	잡담	이번 중국 비밀 경찰서 의혹을 받는 식당의 가장 ... 4	cowper	2022.12.26	1065
69635	퍼온글	중국에서 유행이라는(?) 스코틀랜드 요리 5	유니	2022.12.26	978
69634	잡담	사륜구동의 주의사항.GIF 4	K_mount	2022.12.26	1129
69633	퍼온글	인생 사는게 얼마나 심심했으면.. 9	포인	2022.12.26	1035
69632	잡담	[설치류주의] 어메이징한 연말을 보내네요. 10	Kylver	2022.12.26	848
69631	잡담	[잡담] 키보드 고민	임시닉네임	2022.12.26	355
69630	퍼온글	[볼거리] 평생 대전/부산 중 한 곳에서 살아야 한... 34	임시닉네임	2022.12.25	853
69629	핫딜	[HDD] 14TB 시게이트 외장 199.9달러 6	babozone	2022.12.25	794
69628	잡담	[험블 베가스 관련] 자작곡 하나 올립니다 2	뚜찌`zXie	2022.12.25	294