ค้นหา
  
Search Engine Optimization Services (SEO)

ทฤษฎีสารสนเทศ

ทฤษฎีสารสนเทศ (อังกฤษ: information theory) เป็นสาขาหนึ่งใน ทฤษฎีความน่าจะเป็น และคณิตศาสตร์เชิงสถิติ ขอบข่ายเนื้อหาของทฤษฎีนี้จะเกี่ยวข้องกับสารสนเทศ, เอนโทรปีของสารสนเทศ, ระบบการสื่อสาร, การส่งข้อมูล, ทฤษฎีอัตราการบิดเบือน, วิทยาการเข้ารหัสลับ, สัดส่วนสัญญาณต่อสัญญาณรบกวน, การบีบอัดข้อมูล, การแก้ความผิดพลาด และหัวข้ออื่น ๆ ที่เกี่ยวข้อง

คำแปลที่ตามราชบัณฑิต คือ "ทฤษฎีสารสนเทศ" นี้ มาจากคำว่า "information theory" ซึ่งคำว่า information เป็นคำเดียวกันกับที่หมายถึง สารสนเทศ แต่เนื่องจากความหมายของ information theory นั้นจะเกี่ยวเนื่องกับ เนื้อความในแง่ของสัญญาณ จึงอาจจะใช้คำว่า ทฤษฎีข้อมูล แทนความหมายของสารสนเทศ ที่เป็นในแง่ของเนื้อหาข่าวสาร และ สื่อตัวกลาง หรือสื่อบันทึกในบางกรณี

ตัวอย่างของการนำทฤษฎีสารสนเทศมาประยุกต์ใช้ ได้แก่ ZIP Files, เครื่องเล่นเอ็มพีสาม , อินเทอร์เน็ตความเร็วสูงดีเอสแอล, อุปกรณ์สื่อสารไร้สาย อาทิ โทรศัพท์มือถือ วิทยุสื่อสาร, เครื่องเล่นซีดี และการศึกษาเกี่ยวกับหลุมดำ เป็นต้น

คลาวด์ อี. แชนนอน ได้รับการขนานนามว่าเป็น "บิดาแห่งทฤษฎีสารสนเทศ" ทฤษฎีของแชนนอนนี้ เป็นทฤษฎีแรกที่ได้ทำการวินิจฉัยปัญหาทางการสื่อสาร ในรูปของปัญหาคณิตศาสตร์เชิงสถิติ เป็นทฤษฎีที่ได้เปิดหนทาง ให้วิศวกรการสื่อสาร สามารถคำนวณขนาด หรือปริมาณสูงสุดของช่องสัญญาณ ออกมาในหน่วยบิต (bits)

ทฤษฎีสารสนเทศที่เรารู้จักอยู่ในทุกวันนี้ เป็นที่ยอมรับโดยทั่วไปว่า เริ่มต้นจากผลงานตีพิมพ์ของแชนนอนเรื่องทฤษฎีเชิงคณิตศาสตร์ของการสื่อสาร (The Mathematical Theory of Communication) ลงในวารสารทางเทคนิคเบลล์ซิสเต็ม (Bell System Technical Journal) ฉบับเดือนมิถุนายน ในปี พ.ศ. 2491 (ค.ศ. 1948) ซึ่งงานชิ้นนี้นั้น เป็นงานที่ได้สร้างเสริมต่อมาจาก ผลงานของ แฮร์รี นายควิสท์ (Harry Nyquist) และ ราล์ฟ ฮาร์ทลีย์ (Ralph Hartley)

ในงานของแชนนอน ที่ทำให้วิศวกรระบบสื่อสาร สามารถออกแบบระบบสื่อสารที่มีประสิทธิภาพสูงขึ้นได้นั้น แชนนอนได้นิยามเอนโทรปีของสารสนเทศเท่ากับ

สูตรนี้เมื่อนำไปใช้กับ แหล่งกำเนิดสารสนเทศ จะทำให้สามารถคำนวณขนาดของช่องสัญญาณ ที่จำเป็นต้องใช้ในการส่งข้อมูลนั้น ในรูปของรหัสฐานสองได้ โดยถ้าลอการิทึมในสมการข้างต้น เป็นฐานสอง เอนโทรปีที่วัดจะอยู่ในหน่วยบิตเช่นกัน แต่ถ้าเป็น ลอการิทึมฐานธรรมชาติ หรือ ฐาน เอนโทรปีที่วัดจะอยู่ในหน่วย แนท (nats) การวัดเอนโทรปีของแชนนอน เป็นการวัดขนาดของสารสนเทศซึ่งอยู่ในข้อความ

เมื่อไม่นานมานี้ ได้ปรากฏหลักฐานว่า เอนโทรปี นั้นได้ถูกค้นพบและนิยามในช่วงสงครามโลกครั้งที่สอง โดยแอลัน ทัวริง ที่ เบล็ทชลีย์ พาร์ค (Bletchley Park) ทัวริง ได้ตั้งชื่อปริมาณนี้ว่าน้ำหนักของหลักฐาน (weight of evidence) และใช้หน่วยวัดเป็น bans และ decibans (อย่าสับสนคำ "weight of evidence" นี้กับคำเดียวกันที่ใช้ในบทความทางด้านการอนุมานทางสถิติ หรือ statistical inference บัญญัติขึ้นโดย กู๊ด (I.J. Good) ซึ่งมีความหมายตรงกับคำที่ทัวริงใช้คือ "log-odds" หรือ "lods") ถึงแม้ว่า ทัวริง และ แชนนอน นั้นได้ทำงานร่วมกันในช่วงสงครามแต่ดูเหมือนว่าทั้งคู่นั้นต่างคนต่างพัฒนาแนวความคิดนี้ขึ้นมาด้วยตนเอง (สำหรับเอกสารอ้างอิงดู Alan Turing: The Enigma โดย แอนดรูว์ ฮอดจส์ Andrew Hodges)

เอนโทรปีของสารสนเทศ ที่พัฒนาต่อมาจากแนวความคิดดั้งเดิมของ แชนนอน นั้นมีความสัมพันธ์อย่างใกล้ชิดกับ เอนโทรปี ของ อุณหพลศาสตร์

ลุดวิก โบลทซ์แมน (Ludwig Boltzmann และ วิลลาร์ด กิบส์ (Willard Gibbs) นั้นมีส่วนสำคัญในการพัฒนาทางด้าน อุณหพลศาสตร์เชิงสถิติ (statistical thermodynamics) งานของเขานั้นเกิดจากความพยายามในการที่จะนำคำ เอนโทรปี จาก ทฤษฎีสารสนเทศมาใช้ เอนโทรปี จากแนวความคิดของ ทฤษฎีสารสนเทศ และ แนวความคิดของ อุณหพลศาสตร์เชิงสถิติ นี้มีความสัมพันธ์กันที่ลึกซึ้ง ตัวอย่างหนึ่งที่ใช้แสดงความสัมพันธ์ระหว่าง สารสนเทศ และ เอนโทรปีของอุณหพลศาสตร์ คือ ปีศาจของแมกซ์เวลล์ (Maxwell's demon) ซึ่งเป็นปิศาจเฝ้าตูดควบคุมการเลือกผ่านของโมเลกุล เพื่อสร้างการไหลของพลังงานสวนทางกับเอนโทรปีของอุณหพลศาสตร์ ในการแหกกฎข้อที่สองของอุณหพลศาสตร์ แต่ในขณะเดียวกัน ในการคุมตูดนั้นปีศาจก็ต้องการข้อมูล ที่แม่นยำ ซึ่งทั้งสองนี้หักล้างกันไปทำให้ปิศาจไม่สามารถสร้างความได้เปรียบทางอุณหพลศาสตร์สวนกฎข้อที่สองได้

ปริมาณที่ใช้วัดข้อมูลที่มีประโยชน์ อีกปริมาณหนึ่งก็คือ สารสนเทศร่วม (mutual information) ซึ่งเป็นปริมาณที่บ่งบอกถึงความขึ้นแก่กันทางสถิติของตัวแปรสุ่มสองตัว นิยามของสารสนเทศที่เกิดร่วมกันของเหตุการณ์ และ คือ

และ คือ เอนโทรปีตามเงื่อนไข (conditional entropy) ของ มีเงื่อนไขขึ้นกับค่าสังเกตการณ์ของ ดังนั้น สารสนเทศร่วม สามารถตีความ หมายถึง ปริมาณของความไม่แน่นอนของค่า ที่ลดลงเมื่อรู้ค่าที่แน่นอนของ และในทางกลับกัน


 

 

รับจำนำรถยนต์ รับจำนำรถจอด

เบอร์ลินตะวันออก ประเทศเยอรมนีตะวันออก ปฏิทินฮิบรู เจ้า โย่วถิง ดาบมังกรหยก สตรอเบอร์รี ไทยพาณิชย์ เคน ธีรเดช อุรัสยา เสปอร์บันด์ พรุ่งนี้ฉันจะรักคุณ ตะวันทอแสง รัก 7 ปี ดี 7 หน มอร์ มิวสิค วงทู อนึ่ง คิดถึงพอสังเขป รุ่น 2 เธอกับฉัน เป๊ปซี่ น้ำอัดลม แยม ผ้าอ้อม ชัชชัย สุขขาวดี ประชากรศาสตร์สิงคโปร์ โนโลโก้ นายแบบ จารุจินต์ นภีตะภัฏ ยัน ฟัน เดอร์ไฮเดิน พระเจ้าอาฟงซูที่ 6 แห่งโปรตุเกส บังทันบอยส์ เฟย์ ฟาง แก้ว ธนันต์ธรญ์ นีระสิงห์ เอ็มมี รอสซัม หยาง มี่ ศรัณยู วินัยพานิช เจนนิเฟอร์ ฮัดสัน เค็นอิชิ ซุซุมุระ พอล วอล์กเกอร์ แอนดรูว์ บิ๊กส์ ฮันส์ ซิมเมอร์ แบร์รี ไวต์ สตาญิสวัฟ แลม เดสมอนด์ เลเวลีน หลุยส์ที่ 4 แกรนด์ดยุคแห่งเฮสส์และไรน์ กีโยม เลอ ฌ็องตี ลอเรนโซที่ 2 เดอ เมดิชิ มาตราริกเตอร์ วงจรรวม แจ็ก คิลบี ซิมโฟนีหมายเลข 8 (มาห์เลอร์) เรอัลเบติส เฮนรี ฮัดสัน แคว้นอารากอง ตุ๊กกี้ ชิงร้อยชิงล้าน กันต์ กันตถาวร เอก ฮิมสกุล ปัญญา นิรันดร์กุล แฟนพันธุ์แท้ 2014 แฟนพันธุ์แท้ 2013 แฟนพันธุ์แท้ 2012 แฟนพันธุ์แท้ 2008 แฟนพันธุ์แท้ 2007 แฟนพันธุ์แท้ 2006 แฟนพันธุ์แท้ 2005 แฟนพันธุ์แท้ 2004 แฟนพันธุ์แท้ 2003 แฟนพันธุ์แท้ 2002 แฟนพันธุ์แท้ 2001 แฟนพันธุ์แท้ 2000 บัวชมพู ฟอร์ด ซาซ่า เดอะแบนด์ไทยแลนด์ แฟนพันธุ์แท้ปี 2015 แฟนพันธุ์แท้ปี 2014 แฟนพันธุ์แท้ปี 2013 แฟนพันธุ์แท้ปี 2012 ไทยแลนด์ก็อตทาเลนต์ พรสวรรค์ บันดาลชีวิต บุปผาราตรี เฟส 2 โมเดิร์นไนน์ ทีวี บุปผาราตรี ไฟว์ไลฟ์ แฟนพันธุ์แท้ รางวัลนาฏราช นักจัดรายการวิทยุ สมเด็จพระสันตะปาปาปิอุสที่ 7 แบร์นาร์แห่งแกลร์โว กาอึน จิรายุทธ ผโลประการ อัลบาโร เนเกรโด ปกรณ์ ฉัตรบริรักษ์ แอนดรูว์ การ์ฟิลด์ เอมี่ อดัมส์ ทรงยศ สุขมากอนันต์ ดอน คิง สมเด็จพระวันรัต (จ่าย ปุณฺณทตฺโต) สาธารณรัฐเอสโตเนีย สาธารณรัฐอาหรับซีเรีย เน็ตไอดอล เอะโระเก คอสเพลย์ เอวีไอดอล ช็อคโกบอล มุกะอิ

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
จำนำรถราชบุรี รถยนต์ เงินด่วน รับจำนำรถยนต์ จำนำรถยนต์ จำนำรถ 23301