объемный подход:количество ин-ции=числу символов сообщения,т е не учитывается его содержание.объемное количество информации измеряется в символах,любой символ кодируется бинарной последовательностью-единица информации-1бит,1 символ-8бит-1байт,

1Кб=2¹⁰байт=1024байт

1Мб=2²⁰байт=1048576байт

1Гб=2³⁰байт=1073741824байт

1Тб=2⁴⁰байт

Замечание:скорость передачи данных 10ⁿ

вероятностный подход: учитывается содержание сообщений.чем меньше вероятность события тем больше информации несет сообщение,что оно наступило. ин-я – снятие неопределенности.

]сущ n равновероятных исходов событий. А в др.испытании m=>H(n) и  H(m) информации.

H(n)+ H(m)= H(m*n);=>H(n)=log_en;e=2 – выбор из 2 равноправных событий.

Ф.Хартли: H=log₂N

Приблизительно количество информации=количеству вопросов,которые надо задать,чтобы получить ответ.

Между вероятностным и объемным количеством ин-ции сложное соотношение. Не всякий текст измеряется в вероятностом смысле,но всегда может быть изменен в объемном. Вероятностное кол-во не может быть больше объемного.

Неравновероятностный подход:1948-Шеннон.

N-исходов и р=1/ N-вероятность отдельного исхода. H= - log₂p.

События из n неравновероятных исходов:р₁,р₂,…,р_n.

i-тый исход h= -l og₂p_i

усредненный исход: H= - ∑p_i h_i=сумма от 1 до n p_ilog₂p_i ф Шеннона.