この朝、ダカヒロ・サガワを紹介します。どうもようこそ。どうもようこそ。私はダカヒロ・サガワです。実は、私の最初のイプトラブロードはコビットです。私はちょっと緊張しています。私はサエルティカルフィザシストです。スタティスカルフィギュクスと簡単フィギュクスです。それについては、バイオフィギュクスです。今日、私はファンダメンタルコンセプトのサムダイナミクスの資料をつけます。特に、私はクラスカルアスペクトのサムダイナミクスの資料をつけます。私はバイオフィギュクスです。そして私は、ガワトラッコ treatmentの技術やものを計算しています。で、私はハイソウの選手のクラスクラスペクトが私はサムダイナミクスのフィギュクスが私はサムダイナミクスのサムダイナミクスを決めたことをつけました。私はサムダイナミクスのでも、私は細かく説明することを説明します。学生は、マックスレッドデモを説明することを聞いていますか?多分半分です。私は細かく説明することを説明します。また、マックスレッドデモのモダルアスペクトはスタミナミックス・インタリュージョンで顔を ないています。最近、スタミナミックスタミナミックスタミナミックスとか、フレンドペンションを 取り返している�かつっています。私はスタミナミックスタマニミックスの 事前に先日の問題を認めました。 Unfortunately, I missed it but,I hope you are already familiar with that kind of formulation of stochastic surnimics.That is one basic background of my talk about some dynamics of information.Another background is, of course, information theory. So how many students are already familiar with information theory like shadow information or mutual information or something like that?はい、はい。次に、たくさんの人々がお知らせする怎么のサムダニミックと話すと思います。サムダニミックとサムダニミックのサムダニミックと話すのをお伺いします。そして、この2個のコンセプトをつけます。そして、その2個のコンセプトをつけます。もう一つはマクセル・デムの部分です。私もマックスエルスデーモルのアイデアを説明しますそして、私も明日、バイオフィジックのアプリケーションを説明しますでは、私の4つの説明をします私はこの話をご紹介しますそして、私はインフォメーションの説明をお話ししますこれは、インフォメーションとミチュアンフォメーションの説明ですそして、私はマックスエルスデーモルのアプリケーションを説明しますそして、私も明日、私も達成する説明です明日からもっとプロフェッシャーで紹介することができますそしてオートノマスマックスエルデーモンですこれについてはバイオケミカルスイグナルトランスダクションやバイオフィジカルスチュエーション私たちにはエクスタナルエジェットがフィードバックやメジャーメントが出てくることができますそれについてはそれについてはそれについてはマックスエルデーモンのようなことができますそして私はオートノマスマックスエルデーモンのようなことができますそれについてはこのようなことをセロティカルについてはオートノマスマックスエルデーモンです私はどこかに質問する場合は私はこの話については一つの紹介をします私はプロフェスタルについてはモダイムバックランドサムダイナミックスはストーカスティックサムダイナミックスこれについてはバイオスシステム例えばカンタムシステムバイオスカルモリキュラムモータースここは特にサムダイナミックス小さなサムダイナミックス例えばサムダイナミックスサムダイナミックス二つのコードアルパティクル使用してこのようなオプテカルについてはコントロールできることができます例えばこのような試験については私たちのクラスチックマクロスコピックサムダイナミックスクラスチック例えばマクロスコピックサムダイナミックスラバー例えばフレーナジーチェンジイントロピックチェンジ使用してワークエクスペレメントこの場合ラバーはサングルモリキュラムフレーナジーチェンジこのようなシステムを使用してこのような試験については重要な点は大きなバスをRNAモリキュラムでサムダイナミックスサムダイナミックスフレーナジーチェンジそしてフレーナジーチェンジフレーナジーチェンジ重要な点はこんな小さなシステム non-linear non-equilibrium手術的な行動簡単な non-linearシステムのマクロスコピックマクロスコピックサムダイナミックスアイデアプラットフォーム理解できる non-linearサムダイナミックスOKこのこれはfor exampleこれはラクディスティービッションのRNAやはりマクロスコピックシステムでもラクディスティービッションも just a deterministic quantityマクロスコピックのラクディステムと同じバリアブルを取り出すため サーマーフラクシエーションはネグリズムを取り出すこの場合 マイクロスコピックシステムの場合は ランダムバリアブルですディストリビューションがありますアベレージがありますそして セカンドローのサーマダニングの場合は アベレージレベルの場合を作りましょう左側の場合は アベレージレベルの場合を作りましょう右側の場合は 自由能性の差異ですアベレージの場合は 自由能性の差異とも高いですこれは セカンドローの場合に パネルモーションが必要ですそれも マイクロスコピックレベルの場合しかし、他にもこの辺りにある例えばこの辺りにある小さな可能性は仕事はセカンドロールのサウンドダウンクが素晴らしい仕事がマイクロスコピックレベルでもっと多くの仕事が変わることができる今までセカンドロールのマイクロスコピックレベルによって入れているなのでそれを依頼できないセカンドロールのサウンドダウンクは非常に重要なサウンドダウンクは小さな早い仕事で唯一のフラクティーションのセラムや ジャルゼンスケーコリティーは昨日プロフェッサーについて説明されていますもう一つの目標はアクティブリーを使うこのアクティブリーを使ってセカンドロウのサンダリングを使うそれがマックスレスデモの主意ですアクティブリーを使うこのアクティブリーを使うそのためにアクティブリーを使うそのためにフィードバックやメジャメントプロトコースが必要ですマックスレスデモの主意はこの説明について説明します今からマックスレスデモについてアクティブリーの主意はマックスレスデモの主意はアジェントプロトコースが必要ですメジャメントプロトコースフィードバックとしてアクティブリーの主意はセカンドロウのサンダリングを使うそのためにアクティブリーは自由ではありませんそしてアクティブリーの主意はマックスレスデモの主意です明日説明についてそのような考え方を説明してセカンドロウのサンダリングを説明することができますそして説明することができます例えばアーティフシャルなどのマシンズやナノデバイスそしてバイオルティカの次にマックスレスデモのシンプレスモデルを説明することができますマックスレスオリジナルの説明を説明することができますこのような考え方を説明することができますしかしコリティブリーの説明をすることができますその後もう100年前の説明をしてマックスレスデモのシンプレスモデルを説明することができますとてもシンプレスモデルを説明することができますコリティブリーのシンプレスモデルを説明することを説明することを説明することを説明することを説明することができますシンプレスモデルを説明することができますスイングマ Никよねバス個体モレク cakesアトムなんだかバスの فيしつつこれをこの温度はとても高いので 同じ温度を計算することができますインシャルステートはここで動き込んでいますこれは完全にランダムですインシャルステートはサーマリークルブンですこのブックスを左と右に入れますこのステージは完全にランダムの動き込みですこのブックスはどんなブックスですかマックスエースデモが見えますデモのポジションのパーティクルを見ることができます例えばデモのパーティクルが左のブックスを見ることができますデモのパーティクルを見ることができますデモのパーティクルが左のブックスを見ることができますデモが右のブックスを見ることができますデモのポジションを右のブックスを見ることができますそのマックスのパーティクルを見ることができますデモのポジションを見ることができますそしてブックスを動きます大きくなってしまいますその場合は右のブックスが必要でしょうほとんどしても、軸を動かせるとき、ここの方法では、俺たちに間違ってその左と右に伸ばせることが可能に敵の軸を動かせることができます。ここに見えます。左から左と右に伸ばせる特徴は、2つのエントロピーを持っていますしかし、フィードワークとの間に左側のフィードワークは常にファンの中にあることがありますここでは、0のエントロピーを持っていませんそれがマックスエースデムの重要なプレーションですこの仕事についてはガス、シングルモニクラガス2つのエントロピーを持っていますこのエントロピーの減少はマックスエースデムの必要がありますそのため、デムは常にマックスエースデムのポジションを持っていますそれについてはエントロピーを減少する必要がありますそれが2つのエントロピーですでも、この場合デムは1つのエントロピーを持っていますそして、デムはロブ2のエントロピーを減少する必要がありますここでは、1つのエントロピーを持っていますロブ2のエントロピーはナチュアルロガリズムですこのエントロピーはナチュアルロガリズムのログを持っていますフィジックは、ナチュアルロガリズムを選択する必要がありますそのため、デムはログ2のエントロピーを持っていますそして、フィードバックプロトコールをここからここからボリュームが2つのエントロピーを持っていますこのエントロピーを持っていますこのエントロピーを持っていますこのゴスで、へろのエントロピーを持っていますこのエントロピーを持っていますこのエントロピーを持っていますこれを見ることができますこれが一つの動きですそしてこのように書かれることができますこの動きはここにブリーとブリーとログ2で簡単にディスインテグレーションがログ2で使用されています最後のエクスパンジョンのプロセスでこのシステムのKTログ2の仕事を行っていますではログ2の資料を終わりにKTログ2の仕事を行っています最後のエクスパンジョンのプロセスで今の仕事は資料の上にプロポッションのコンスタントがボルツマンコンスタントとテンパチューの仕事ですこれが最も基本的な関係をしている資料の上にサムダニミックの仕事を行っていますこれが非常に簡単なサウトエクスプレメントでこのようなアイデアのシステムの上に非常にコンプレックスシステムのモリクロマッシンを見ることができますサムダニミックの仕事なぜなら資料の上にコンテンツが最も基本的なシャンノンやモリクロマッシュの上にこの pleaseマクセスデモンはダニンテンツをドロップするとドロップすることをフィードマップで登場することはフィードマップでボックスの上にデモンの上にサムダニミックの上にサムダニミックの上にサムダニミックの上にボックスの上にマックスのデモのオペレーションはエントロピーのディクエストはフルエナジーのインクリスマスフルエナジーのリソースはKTロウトグロークを探してこのサイコンを探すことができますこれがスラードエンジンですエンシャルとファイナーステートは同じでサイコンのファイナーステートを探してもう一つの仲間のフォークというシーンを探してだいぶその部品のためにこれを直接接続することができますそうするとこの部分のパペチアルのは大人になることができますしかし明日の話は実際のパペチアルは大人になることができますもちろん大人になることができますつまり、情 like to emphasize that the information content here itself has some kind of entropy.So、 we have to add this information entropy to some dynamic entropy.And if you consider the entire entropy, including some dynamic sound information then the entropy always increases and the secondary does not violate it.このようなブラウザーの面白い点は、この製品の効果は、この製品に対して、この製品を取り入れて、自動能力に至っているダイヤの両親について自動能力に至っているしかしこのデモでは予定的にフレームバックという利用があるこれをこの場面から調整し自動能力に至っている自動能力に至っているこのように、サムダニミックの意識の農道はコンベンチャルサムダニミックの意識ではシステムの不動力を増やすことができますもし、システムの不動力を増やすことができますそしてマクシーのデモを増やすことができますここでマクシーのデモはコントローラーやメモリーなどですその場面に問題があるとマクシーは私たちのデモを増やすことができますこのデモの特徴は、システムの不動力を増やすことができますこの話題の長い歴史は、まずマクセスを考えます。それについて説明します。そして多くのフィジシストはマクセスデモンをお勧めします。特にマクセスデモンは2つの説明を説明していません。20世紀の中で、このアグメントは、特にスポットエクスペレメントのために、アイクスラードエンジンや、ランダーのために、エレジアプリンスプールのために、特に重要なセットアップを考えます。この年度、新しいディニメーションがあります。このディニメーションについて説明します。今、マクセスデモンは、マクセスデモンのために、現実的なディニメーションについて説明します。今、マクセスデモンは、アクティブなトピックのために、それは、歴史的なものではありません。それについて説明します。このディニメーションのために、アクティブなトピックのために、ああ、これは、アクティブなトピックなトピックだと、描いたプリケーションを多く、カンタム投稿サラリーに使用するものです。このディニメーションについて、このディニメーションのために、このディニメーションのために、私は、また次の寝室で説明します。このディニメーションのために、このように、その中で、何も少ないデイミックの一方が描いたことができることができるのですが、この2つのプレイは、この2つのプレイは、アイオンチャロップやスーパーコンドクトンキュビットでつながり、この2つのプレイは、その2つのプレイはスーパーコンドクトンキュビットでデイミックのイメージができるかもしれません。そんなことで私たちの丸の伝統化統合についてその状況を伝統化することによってそれと同時に侵略度を強調することを解決したことをこそこのような伝統化統合についてそのような伝統化統合について外側の音の音を取り出す私たちの知識を見つけることをこのようなアダプテーションの能力を取り組むことができますもし明日も時間がかかりますかこれが簡単な紹介ですどのようなサーモナミックスがバイオケムカルに使われますかこの紹介を終わったら僕の本をアドバイスします私はこの本を作っていますこれはマスマティカルペーパーですクラシカルと簡単なサーモナミックスそしてエントロピースですこれはマスマティカルスタイルですデフィニッション、サーモナプルフもしそれが面白いので見てくださいこれはアーカイブで作られますOKでは私は私のサーモナミックスを紹介しますはい本当に私は最初に私が最初に私が最初に私が最初に私が最初に私は最初にあなたは右側にスローリーを置くことができますスローリー?そうですその場合、スローリーはコーザイスタティックのプロセスを使っていなければなりませんアディショナルディスペーションは必要ですそう、もう一度、このアディショナルディスペーションは必要ですそして、プレッシャーがバランスしていると、左側からバランスしていると、右側からバランスしていると、同じプレッシャーがあります左側に動かすと、この箱は必要です。つまり、仕事は必要です。4thの箱に動かせると、同じように動かせることができます。プレッシュアイスパランスです。左側に動かすと、この箱に動かせると、その場合、彼らが横に動かせると、この箱は必要です。これを後に動かすと、この箱は必要です。その場合、こちらの箱も、ではのГラシを動かせると、この箱を動かすと、今、3thの箱に動かすと、インフィニットタイムはどうなりますか?そうです。例えば、カルノエンジンをオープニングする場合、マクシマンエフィニッシュエンジンをオープニングする場合、そのため、インフィニットタイムが必要です。アイデアライテーションをオープニングする場合?はい。です。それは我々はより長いオープニングをお喜びしてマクシマンエフィニッシュエンジンをオープニングする場合です。では。実はこの僅面の強化、特殊的な今天の体験をしましょう。健康の運動を全く理解して今回のパーツという印象に入る為、これから始めましょう。これがメジュアメントです。次に、フィードバックコントロイズを表す方法です。左側のパーティクトがある場合、ここに位置がある場合、ここに位置がある場合、ここに位置がある場合、ここに位置がある場合、この場合に位置がある場合、この場合に位置がある場合、この場合に位置がある場合、こういうパーティクトのためにこっちは結構 했 SECRETでコ �を放射してこれをひと sports 州にリ arcこのプロセスを見るために エントロピースを減らせることができますここについては 同じことができますこのプロセスをスキルとして 右側のパティクを見るために右側のパティクを見るために 右側のパティクを見るために右側のパティクを見るために遠きに合うことができます指摘の角に見えるとスキルは変わっています右側に隠してもこの方向もむきとすればはいこのようにアタックがあってそうですはい何も質問ありますか?もう一つの面白いものはこのエンジンもこれらのエンジンを考えてシャノンの様子を観る前にこの時、1929年に、資料のコンテンツは誰も知りませんでした。しかし、このような仕事については、ログ2との仕事については、シャノンのために資料のコンテンツを組み立てました。このように、シャノンのマスクでチューンを組み立てました。そして、シャノンがアタックしていることで、シャノンの農業が基づくとき、ジェルニックを取り組んじゃ�です。には、シャノンのアタックファンデミックで資料のコンテンツ部分を組み立てがさらに集まれています。いいですよね。なので、シャノンのコンテンツ部分はシャノンは自分自身自身を見ることができます今、シャノンのオリジナルペーパーと同じように見ることができますシャノンは自身自身自身を見ることができますこの2ublik裝の障碍のモダ隊 media500ページのようなものを持っていますそして、この簡単情報の中でクラシカル情報のシェルリーにクラシカル情報のシェルリーにこの簡単情報の中でこの部分は非常に細かいそして私はあなたにも簡単情報のシェルリーにもっと説明していることができますOKシャノイントを説明しています2種類の情報コンテンツシャノインフォメーションやシャノエントリーピーなどそれぞれの名前はミッチュアンフォメーションそれぞれの情報コンテンツは非常に重要な情報コンテンツを説明していますそれぞれの情報コンテンツは非常に重要な情報コンテンツを説明していますOKまず、最初の重要なコンセプトシャノインフォメーションを説明しています例えばウォッチリーにやることでそれぞれの情報コンテンツを説明していますそのままの情報コンテンツを説明しています例えばウォッチリーを説明していますその場合は衝撃ちを狙いますこのブールボールを whip 上下にリリースするとプレーしている場合がないと思います小さな可能性は大きなコンテンツを使うことができます例えば、この場合KのようなオレンジはPKのような可能性を持つことができますそして、その場合のコンテンツに関してそのバリアルとなります1 over PKのような可能性を持つことができますそのため、小さな可能性は大きなコンテンツを使うことができますここで、ロガリズムを持っている理由は自然に自然に期待できることができますコンテンツのような可能性ができます2人のコンテンツを持つことができますその後、そのままこの人間のコンテンツを持つことができますその他に、自然に期待できることができますそのまま、自然に期待できることができますここで、ロガリズムを持つことができますこの理由は基本的な理由を持つことができますそして、そのまま、自然に期待できることができます最終的には、この様な體の職責に使うのが良い予定ですこの経営詳細は裏返したわからんへの l を吹き出すことができますそして、かなり誤っている holdシャノインフォメーションはこの2つのベースクインエイクオリティズをサティスファイトしています。シャノインフォメーションは0よりも高いです。それはログNよりも高いです。Nはあまり多くのイベントがあります。このイベントにはレッドアップルがあるので、Nは2です。シャノインフォメーションはログNのマクシマンバリューがあります。このイベントは完全にランダムにディスタグレートされています。このイベントは1・Nによりも多くのイベントがあります。これは自然だ、2・G彼が必ず、場合、ワーンディーを見て皆さんがイベントを調べたら款待させるってことになる。シャノインフォメーションは0になる。データミスティックは1つのプロベリティを持っているそして1つのプロベリティを持っているその場合は前回のことを知っているそのため、データミスティックは0つのプロベリティを持っている例えばデータミスティックは明日からでマスマティカルの個体は0つのプロベリティックは0つのプロベリティックは0つのプロベリティックは0つのプロベリティックはこの場合は0つのプロベリティックは2つの event は0と1のためコメントのゼロに詳しくフォームとしてるとのゼロ、フォームに詳しく、このフォームに詳しくフォームとしてると1半のフィスクを減ると同じにフォームに詳しくフォームとしてらっしゃる方法これが普通のマスマティカルプローパティーですまた、これを使用することができます例えば、ラグランスマイトプリアルメソードを使用することができますもし、カルバックライバーのダイバージャンスでこれを使用することができますこれを使用することができますでは、これが普通のシャノンニフモレーションですシャノエンチョピはとても重要ですシャノエンチョピとの相似に比べてインフォマッションエンチョピはアプリのプラベリティを使用することができますこの意味はインフォマッションエンチョピは非-クリウム状況の場合でもできますクリウム状況の場合でもインフォマッションエンチョピはオーディナリアルサムダニメクエントローそう、実際に手で使うことができます例えば、カノニカルディステレビューションがありますこのXはサムダニメクシステムですEのXはサムダニメクシステムのエネルギーですこのXはカノニカルディステレビューションですこのXはパチションファンクションですEのエネルギーとRのエネルギーが違んだものですダイエッグ簡単の短目 Realisticこのような索 moving around like this but in that sensesometimes entropy is equivalent to information entropyin the equilibrium limit. So maybe I can show thisso our probability distribution is given by this.Now we can calculate Shannon information.So overall this is given by this.このように変えられることができますこれはログロックPですそしてこのように変えられることができますすみませんこれはEであったことができますそしてFであったことができますこのように変えられますこのように変えられることができますとてもいいですまた是非常に教えてみてくださいこれは really big problemN-T-O-P-T-O-P-T-O-P-T-O-P-T-O-P-T-O-P-T-O-P-T-O-P-T-O大きさу以上、そこで詳しく宣言してくださいインフォメーションとエンチューブまたはタミネロジーシャノンインフォメーションとシャノンインフォメーションとこれがシャノンインフォメーション次に他のインフォメーションのコンテンツ叫びミュージアインフォメーション以上の質問について次に他のインフォメーションのコンテンツミュージアインフォメーション2つのシステムを考えていますシステムと他のシステムはメモリーシステムはヒートエンジンのようなものですメモリーはマックスデモのようなものですマックスデモの中にメモリーがありますそのメモリーを取り出すこのようにマックスデモがありますマックスデモはメモリーがシステムのようにメモリーがありますでもメモリーはメジャーメントは必要なものです音があるメジャーメントのようなものですそのメジャーメントの素晴らしいものをリフレクトしているメモリーのインフォメーションはシャノンのインフォメーション自身のインフォメーションが自身のインフォメーションを取り入れるためにvoidいるノイズメジャーメントそのときこのノイズメジャーメントはとても簡単です左手でこの手の立ち方のメモリーの形にナイスを押しこの手の立ち方のメモリーの形にエプションはエロレットですオリジナルステートは0ですアウトカム1はエプションですバイスパーソンですこれがティプカルセットアップですこれがバイナリーシメトリックチャンネルですコミュニケーションセットのコンテクトですこのメジャーメントプロセスはコミュニケーションのシステムとメモリーですコミュニケーションはシステムのコンテクトのメモリーについてマスマティカルのコミュニケーションはSとMですコンテクトのコミュニケーションはインターネットであるかもしれませんある人にある理由はBisationsと同じかある人もこれについてBoffaのアエフェクト文答と話すがエプションであるインフルマジオのコンテクト angelsそれがエプションセットのコンテクトなわけですしたはシャル音がコミュニケーションへとなってコンテクトのコンテクト Naharikersこの状態を目的と同じ部分に移動することができます。しかし、フィジックの固定について、まとめに行うと、あまりにも、各種の方が広がることができます。このP of Sは常なる隣を出すシステムこのP of M is the probability distribution of the memoryP of M and S represents the conditional probability of the memoryI mean this means the probability of Munder the condition that the original state is given by SSo in this case, the probability of P of M equals 0 andsorry M equals 0 and S equals 1 is given by Epsilonbecause the probability that the memory state is 0under the condition that the original state is 1 is given by EpsilonAnd also we can define the joint distribution of S and Mthat is given by just a multiplication of the system's probabilityand the conditional probabilityNow the definition of mutual information is given by thisSo that is given by the sum of the channel information of the systemand the channel information of the memoryminus the channel information of the joint systemSo this can be represented as the intersection of this band diagramschematiclyand after some short calculation you can find that this can be represented as thisSo this P of SM is the joint probability distributionand PS and PM are marginal distributionsYeah like thisAnd also each channel information is given by thisSo again, if you are familiar with the KB divergenceyou will see that this is the KB divergence of the joint distributionand the marginal distributionsSo you can see that this is always non-negativeBut anyway, so I think the most intuitive definition of the mutual information is this first lineI think that is a kind of a shared informationbetween the system and the memoryAnd also the mutual information satisfies these two end qualitiesSo the minimum value is given by 0In that case, the communication is actually too much noisyand the demon cannot get any information about the systemOn the other hand, if the communication is perfectthe measurement is error-freethen the mutual information is given by the channel informationI will skip the proof of these inequalities, but you can show this by using somenot very long calculationsand so this is again the binary symmetric channel caseand this is the mutual information versus the error rateSo if the error rate epsilon is 0, then the mutual information is given by the maximum valueIn this case, log2On the other hand, if the error rate is 1Again, the mutual information is given by the maximum value that is log2So because in this case, the original state 0 and 1 are completely flippedand 1 becomes 0 with probability 1This means that from the outcome of the measurement, we can always guess the original state with 100%So the mutual information takes the maximum value in this caseOn the other hand, if epsilon is given by 1.5, then the mutual information is given by 0So this means that in that case, this measurement does not offer any informationSo you can imagine that if somebody always tells a truth, then you can get the perfect information from that personAnd also if that person tells always a lie, then you can also get the perfect information because you can just flip every statementOn the other hand, if that person tells a lie with probability 1.5 and tells a truth with probability 1.5So you can't get any information from that personSo that is the basic idea of the mutual informationAnd I'm sure that the mutual information plays the most important role in some dynamics of informationOkay, so next, let me move on to the continuous variable caseSo far, I implicitly assumed that the variables are discrete like 0 and 1 hereBut in the continuous variable case, the situation slightly changesSo first, we can naively define the channel information by replacing the summation by the integralSo this naive definition, of course, works and in many situations, we use this definitionBut there is some remark that this continuous variable channel information is not invariant under the state variable caseI mean, in the continuous variable case, we can change the state variable from x to x prime, for exampleOnly requirement is that px dx equals px prime dx primeSo this is only requirement for the state variable transformationBut under this transformation, the channel information is not invariantAnd we have some additional Hessian termSo this is Hessian and we have some additional Hessian term hereSo the reason is that we dropped the dx term inside the logarithm to avoid the divergenceSo that makes this quantity not invariantSo we need to care about this sometimes if you treat this continuous variable channel informationOn the other hand, the mutual information is invariant under the state variable transformationAnd also the kai-bakura variable divergence, that I did not talk in this classBut the kai-bakura variable divergence is also invariant under the state variable transformationThe reason is that inside the logarithm, we have px divided by pxy divided by px and pySo dx dy is cancelled in this termSo we have always the same value of the mutual information under the state variable transformationAnd the simplest example of the continuous variable communication is given by the Gaussian channelWe consider that the noise is given by Gaussian distributionSo we have some original state variable x and we have some output yAnd we support that the probability distribution of output y is given by the Gaussian distribution like thisSo this n is the variance of this distribution and characterizes the intensity of the error or noiseBecause if n is very large, that means that the error becomes very dominantAnd we can also support that the input is also Gaussian just for simplicityIn that case, we can analytically compute the output distribution that is given by thisIf the variance of the input signal is given by s, then the output signal is just some of the input and the noise that is given by s plus nSo this is a very simple result, but this is only for the Gaussian input caseAnd you can compute the mutual information of this communication channelAnd you will find that the mutual information is given by this simple formulaSo this is named Shannon-Hartley formula if I remember correctlySo this is only given by the ratio of the signal intensity and the noise intensitySo if this s over n is 0, then the mutual information is 0So that is a very reasonable resultOn the other hand, if s is very large, then the mutual information is also logarithmically largeSo an important point of this formula is that the mutual information is only given by the signal-to-noise ratio that is s over nSo this gives us a kind of intuition about the mutual informationSo in a very old style communication cell, we can adapt the signal-to-noise ratio as a kind of measure of information transmissionAnd in this Gaussian case, the mutual information completely reduced to that signal-to-noise ratioAnd we can easily understand its intuitive meaningBut another important point is that the mutual information is not restricted to the Gaussian case of courseSo that is the advantage of the mutual informationSo if for example you consider some double way potential and binary distributionThen that is far from the Gaussian distributionBut the mutual information still worksSo in that sense, the mutual information is very meaningful if the distribution is not GaussianOk, so this is the summary of the information theory partSo basically we have introduced two information contentsSo one is the channel information and that is the measure of kind of a randomness of the systemAnd the mutual information characterizes some correlation between the system and the memoryThat is the effective information shared by these two objectsAnd the mutual information satisfies these qualitiesAnd if the communication or the measurement is perfectThe mutual information is the same as the channel informationOk, I think I spent one hour and maybe it's better to take questions in the remaining timeQuestion?Yes, could you say it?So in the previous slide, can you explain again why the variance of y is sum of variance of x and ySo x plus n goes outOh yeah, right, yeahWhy is it up?Oh, you mean why is it true?YeahSo what?Intuitive meaning with that is just that you have some system distributionAnd you have some additional noise distributionAnd output is just sum of themBut you can confirm this by some calculation, of courseSo maybe I think I have timeIn general, we have thisSo this is just a base ruleAnd you can insert these distributions hereAnyway, so this is what we have to calculateAnd this is essentially the Gaussian integralSo I think you can do thatAnd then after some calculations, you will get thatHelloYou just showed that the Shannon entropy is not invariantThe change of variableAnd I have a question about thatIs it only...So the Shannon entropySo my question isIf the variable is not continuousThen the Shannon entropy is invariantYeah, yeahIf the variable is discreteThen there is no room for variable transformationSo the variable is always fixedSo only in the continuous variable caseYou have some coordinate transformationLike x prime equals 2x or something like thatCan you explainWhat...Can you explain with some physical intuitionSorry, physicalSo intuitivelyThe reason why it's not invariantYeahSo I think it's simple reasonSo this is a discrete variable caseRight?And in this caseSo this is the probabilityBut in the continuous variable caseThe probability is given by px dxSo because in this caseThis px is just a probability densityBut px dx is the probabilitySo in that senseWe fundamentally have toConsider thisFundamentally we have to consider thisBut obviously this is a divergent termSo we have to draw thisSo from this termWe have that Hessian termSo that makes theThat makes the Shannon entropy not invariantThis makes senseSo in the continuous limitSo this becomesIn the continuous limitThis term appears hereSo this is a divergent termSo in the limit dx goes to 0This is just divergentSo we have to draw thisAnd this term makesFundamentally responsible for that Hessian termThank youFundamentally this questionIs there any example of transformation of the variable?SorryIs there any example ofThat transformation of the variable is needed?I'm not sureIt depends on situationsSo for example if you consider a Langebaum systemSo there are many choices of coordinatesSo if you justIf you justIf you consider someOne-dimensional Lange vikation like thisSo it'sIt's completely okay to chooseTo x instead of xBut this state transformationsShannon information changesOf course energy or heat doesn't changeBut the mutual information changesI'm not sorryThe Shannon information changesThank youI have a questionYou introduced thatFor the uniform distributionThe Shannon entropy is log nBut if we divide the system intoMore eventsLike two times more detailWe get log2nSomething like thatSo it feels likeEntropy is a physical quantityBut if we think differentEntropy value changesSo how can we understandSomething like that?YeahSo again if youThe state variable is discreteYou can fix the numberOf the possible events beforehandIn the case ofExampleIn the case of thisIn the case of this rotaryN is of course 2And if you consider some diceN is just 6Something like thatIt's always fixed I thinkAnd on the other handIn the continuous variable caseN is just infinitySo it's just divergentWe still have some timeMaybe we started earlierNo, we didn't start it earlierYeah, we started it two minutes earlyBut okay, that's fineBut so let's take a breakAnd then for SadawaWe continue his second lectureAt let's say four o'clockSo we have a 20 minute breakOkayYes, thank youFollowing questionShanon entropyDepends on how we set the choiceSo how we set the variableAnd we have someWe get someChoosing variableIn continuous variable caseIt depends on the choiceBut if the variable is continuousAs beingFor exampleWe change the variable like thisBut our information does not changeBut channel entropy changesSo that's why I'm confusedMy t-shon isShanon information is originallyDivergent pointSo we have several waysIt depends on the representationIt's likeIf you have a reference densityThat's one way to defineFor continuous thingIt's to have a reference densityAnd you do all your calculationsIt's basically the pullbackLiber divergenceB between p and the reference densityAnd then you keep the reference density fixedIt's just thereYou're taking a log of a densityAnd that's the problemIt's the mathematicsIt's about the rate of nicotine derivativeSo the change of the variableChanges the reference densityRightBecause as you transformAny probability densityYou want to keep it normalizedSo the measure changesDensity changes differently from functionAnd that's really what the problem isWith continuousShanon entropy definitionsIs you need a reference densityTo make it invariantBut then you always have to justifyWhy this reference densityWhy not this other oneBut you have to pick a reference densityAnd everything gets referred to thatThank youThank youThat's rightAnyway, so you pre-changedThis reference densityThat these equationsThey'll be changed, right?Yes, so you have to pickYou have to pick oneDo all your calculationsAlways with thatThe back constant is thatCan I quote thisIt's like you're lookingThe meaning for itNo, no, noSo you canWhatever you calculateEnergy changeWork informationWhateverIs always referenced to the same oneRightAnd so there's a wholeYou can do all your calculationsAnd they'll all be consistentAnd they'll be coordinate invariantRightSo it's like a coordinate changeWhen we do coordinate changesIn general relativityRightJust because you changedThe coordinate systemNo physics really changedRightSo it's exactly like thatIt's in fact30 years agoI wrote a paperExactly pointing outIf you make density inferenceReprameterization invariantBy treating it as a densityThen actually you getA unique answerAs the perfect densityFor your inferenceWhich is whatWhich turns out to beThe flat uniform densityBetween 0 and 1GuaranteedSo that's a canonical densityFor any probability distributionOn a finite intervalYou map it toBasically a nonparameterizationNonparametric statisticsThat's a reference densityI think that's the reason whyDivergence is so importantIt's definitely the conceptIt's just the reference densityIs always presentI had a questionWhat if you use multiplicative noiseOh, you meanIn your s plus nOr 1 plus n over sRightIf you had multiplicative noiseBecause that quite often happensRightActually, so this is justJust a simpleTix lookYeah, I knowBut I was just thinkingLike a biological systemThe signal transactionDoes not have to beAdditively noisyIt can beMultiplegatively noisyActuallyOkay, soGeneral definition ofOf courseApplicableYes, of courseNo, no, noEverything is applicableIt's just the last formRightI was just thinkingIf it's 1 plus s over nWhen it's additiveIt would end up asJust nIf it's multiplicativeOh, yeahRightOh, so canNo, if you flip back oneSo when you say s plus nRightIf it's signal timesNoisy amplificationRightSo then it'sn times sSo to sayOh, that's impressiveRightYeahAnd thenAnd thenActuallyBy the time it gets to this bottom formIt's ns divided byYeah, n plusSo it'sIt just becomes multiplicativeDefending onRightInstead of the s plus n over nI wonder what does it sayIt's justValues?No, because there isSignal transactionIt's like an amplificationRightIt doesn't necessarilyAdditive noiseRightThat can be noiseAnd how it's amplifiedYeahIt's just somethingI'm just curiousIt's justIt's just some very simpleModernizationYeah, it's justIf you imagineAn analog amplifierRightYeahThen there's some noiseTerminal noiseThat isChanging the volumeRightSo that'sMultiplicative noiseIt's changing the amplitudeNot necessarily additiveRightYeahIt's just somethingI'm just curiousWhen I saw thisIt was likeWaitYeah, I don't knowWhat it would doYeahIt's not goodYeahIt's thereYou prefer the interpretation of feedbackRather than the simple interpretationYou preferI think that you preferUsing the feedback interpretationRather than theSimpleHanging the messSomeThis kind of interpretationFor the ZILA engineYeahYeahI prefer feedbackYeahIt's a better reasonI think it'sThe more naturalIt's standard wayTo understand the ZILAAfter that, I'm not sureSome alternative interpretationSoCan you explainIn what you doHanging the messTo both sidesYeah, yeahHanging the messFor the right sideLeft sideDepending on theThat is also a feedbackThat is also a feedbackBecause we should decideIn which sideTo which sideWe should attachThat is also a feedbackBoth are feedbacksButYeah, this isJust to demonstrateSorryThis is just to demonstrateYour interview with Action ProcessJust attachment of theWhere it is also feedbackYeahBut in this caseHanging the messDo not makeDecrease ofEssentially, it increasesEnterityBut that processIt's not expressedIn that caseSo, yeahThe difference is justIntroduction is expressedOr expressedThis is expressedMaybe this isSo, I think thatIn that caseThere is some memory termAnother memoryFor memoryYeah, yeahYeahIn both casesSo, weIn here alsoThere is another memoryFor themExactly, yeahI will talk about thatSo, same thingActually, that's a very nice questionSo, if you could ask thatDuring the classOr if you could share the questionYeah