Теорема Шеннона для канала без помех

Разглядим две фундаментальные аксиомы безупречного кодировки, носящие имя Шеннона. 1-ая из их рассматривает случай отсутствия помех в канале, 2-ая учитывает наличие помех, приводящих к ошибкам.

Разглядим делему согласования источника сообщений и канала при передаче последовательности сообщений. Пусть источник сообщений выдает сообщения с некой скоростью (сообщений/ед. времени), именуемой технической производительностью источника. Пусть Теорема Шеннона для канала без помех по каналу можно передавать без искажений сообщения со скоростью, не превосходящей некую величину (сообщений/ед. времени), именуемую технической пропускной способностью канала. Разумеется, что если производится условие ? Можно ли в данном случае обеспечить передачу без искажений? Если исходить только из технических черт, то, разумеется, нельзя. А если Теорема Шеннона для канала без помех учитывать информационные свойства? Ведь нам понятно, что если последовательность обладает информационной избыточностью, то её можно сжать, применив способы экономичного кодировки. Разглядим подробнее такую возможность.

Пусть Vu - (информационная) производительность источника, т.е. количество инфы, производимое источником в единицу времени; Ck — (информационная) пропускная способность канала, т.е. наибольшее количество инфы, которое Теорема Шеннона для канала без помех способен передать канал без искажений за единицу времени. 1-ая аксиома Шеннона утверждает, что безошибочная передача сообщений определяется соотношением Vu и Ck.

1-ая аксиома Шеннона:если пропускная способность канала без помех превосходит производительность источника сообщений, т.е. удовлетворяется условие Ck >Vu,

то существует метод кодировки и декодирования сообщений источника, обеспечивающий сколь угодно высшую Теорема Шеннона для канала без помех надежность передачи сообщений. В неприятном случае, т.е. если Ck

Такового метода нет.

Таким макаром, безупречное кодирование по Шеннону по существу представляет собой экономичное кодирование последовательности сообщений при бескрайном укрупнении сообщений. Таковой метод кодировки характеризуется задержкой сообщений

так как кодирование очередной обычной последовательности может начаться только после получения Теорема Шеннона для канала без помех последовательности источника продолжительностью T, а декодирование — только когда принята последовательность из канала той же продолжительности T. Так как требуется , то безупречное кодирование просит нескончаемой задержки передачи инфы. В этом причина технической нереализуемости безупречного кодировки по Шеннону. Все же, значение этого результата, устанавливающего предельные соотношения информационных черт источника и канала Теорема Шеннона для канала без помех для безошибочной передачи сообщений, очень велико. Исторически конкретно аксиома Шеннона инициировала и обусловила развитие практических способов экономичного кодировки.

2. Аксиома Шеннона для канала с помехами

При отсутствии помех ошибки при передаче могут появляться только за счет разнопланового кодировки сообщений. Разглядим сейчас ситуацию, когда в канале действуют помехи, вызывающие преломления передаваемых знаков. Возникающие при Теорема Шеннона для канала без помех всем этом ошибки носят случайный нрав, они действуют при хоть какой скорости передачи сообщений через канал, в том числе, когда Vu

Появляется вопрос, вероятен ли таковой метод кодировки, при котором сообщения передаются через канал без ошибок с некой ненулевой скоростью Vk.0 (действие ошибок на сто процентов Теорема Шеннона для канала без помех устраняется при кодировке)? В первой главе рассматривались способы помехоустойчивости кодировки, основанные на внедрении избыточности. Но для полного устранения ошибок их применение потребовало бы введения нескончаемой избыточности, что привело бы к понижению скорости передачи сообщений до нуля.

Все же 2-ая аксиома Шеннона утверждает, что таковой метод вероятен. Тогда появляется последующий вопрос: чем Теорема Шеннона для канала без помех определяется наибольшая скорость передачи сообщений по каналу с помехами? Оказывается, что, как и для канала без помех, она определяется соотношением информационных черт источника и канала.

2-ая аксиома Шеннона: для канала с помехами существует таковой метод кодировки, при котором обеспечивается безошибочная передача всех сообщений источника, если только пропускная способность Теорема Шеннона для канала без помех канала превосходит производительность источника, т.е. Ck>Vu.

Возникающая ситуация поясняется на рис. 19. На вход канала поступают обычные последовательности источника АТ. Они кодируются последовательностями канала , при этом для этой цели употребляется только часть вероятных последовательностей канала Ак. Под действием помех входные последовательности меняются и перебегают в выходные последовательности канала Вк Теорема Шеннона для канала без помех, вообщем говоря, не совпадающие с переданными.

Получив одну из последовательностей Вк на выходе канала, мы должны принять решение относительно переданной последовательности. Как это сделать? Разобьем огромное количество Вк на непересекающиеся подмножества Sk так, чтоб каждой переданной последовательности соответствовало своё подмножествоSk.. При всем этом выберем подмножества так, чтоб для Теорема Шеннона для канала без помех каждой вход- ной последовательности возможность попадания в своё подмножество была больше, чем в другие. Принимая последовательность на выходе, смотрим, к какому подмножеству она относится, и в согласовании с этим принимаем решение о переданной обычной последовательности.

Разумеется, что при всем этом велика возможность верно найти переданную последовательность, но, вероятны и ошибки. Ошибка Теорема Шеннона для канала без помех появляется, если входная последовательность перейдет в несоответствующее ей огромное количество Sk (на рис. 19 показан этот случай). Передача будет всегда безошибочной, если получится так избрать входные последовательности канала и разбиение Sk, что переходы в несоответствующие подмножества будут невозможны либо, по последней мере, будут иметь сколь угодно малую возможность Теорема Шеннона для канала без помех для огромных Т. Вероятна ли такая ситуация? Оказывается вероятна.

Аксиома Шеннона для канала с помехами не показывает определенного метода кодировки, обеспечивающего достоверную передачу инфы со скоростью сколь угодно близкой к пропускной возможности канала, а только показывает на принципное существование такового метода. Не считая того, как и в первой аксиоме, кодирование Теорема Шеннона для канала без помех будет сопровождаться задержкой сообщений более 2Т, где . Потому безупречное кодирование на техническом уровне нереализуемо. Но из формулы для вероятности ошибки вытекает очень принципиальный практический вывод: достоверность передачи сообщений тем выше, чем больше продолжительность кодируемой последовательности и чем наименее отлично употребляется пропускная способность канала, т.е. чем больше Теорема Шеннона для канала без помех припас Ck-Vu.

Аксиома Шеннона для канала с помехами оказала большущее воздействие на становление правильных взглядов на способности передачи сообщений и на разработку на техническом уровне реализуемых способов помехоустойчивого кодировки. Шеннон показал, что для безошибочной передачи сообщений совсем не непременно вводить нескончаемую избыточность и уменьшать скорость передачи инфы до нуля. Довольно Теорема Шеннона для канала без помех ввести в сообщения источника такую избыточность, которая равна потерям количества инфы в канале из-за деяния помех.


tendencii-razvitiya-rinka-kompyuternoj-grafiki-i-animacii-referat.html
tendencii-razvitiya-semi.html
tendencii-razvitiya-sistemi-prava-i-sistemi-zakonodatelstva.html