Предположим, что задан алфавит Y ={a1,..., ar} (r>1) и набор вероятностей p1, . . . , pr
a1
— B1,
. . .
ar
— Br
обладающих свойством взаимной однозначности.
Для каждой схемы можно ввести среднюю длину lср, определяемую как математическое ожидание длины элементарного кода:
Длина lср показывает, во сколько раз увеличивается средняя длина слова при кодировании со схемой S .
Можно показать, что lср достигает величины своего минимума l* на некоторой Sи определена как