ЛинСйная Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Π°: ЛинСйная Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Π° для Π’Π› ΠΈ Π›Π­ΠŸ аттСстованного производитСля

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅

ЛинСйная Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Π° для Π›Π­ΠŸ — ООО Π­ΠΠ•Π Π“Π•Π’Π˜Πš-1

Главная страница — ЛинСйная Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Π°

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»Π΅Π½ΠΎ 11 Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ²

Π˜ΡΡ…ΠΎΠ΄Π½Π°Ρ ΡΠΎΡ€Ρ‚ΠΈΡ€ΠΎΠ²ΠΊΠ°ΠŸΠΎ популярностиБортировка ΠΎΡ‚ послСднСгоЦСны: ΠΏΠΎ Π²ΠΎΠ·Ρ€Π°ΡΡ‚Π°Π½ΠΈΡŽΠ¦Π΅Π½Ρ‹: ΠΏΠΎ ΡƒΠ±Ρ‹Π²Π°Π½ΠΈΡŽ

12/24/48/ВсС

  • Featured

    2ПР-16-1

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    2ПР-16-1

    ΠŸΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½ΠΎΠ΅ Π·Π²Π΅Π½ΠΎ 2ПР-16-1 ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ΠΎ для удлинСния изоляторных подвСсок Π½Π° Π²ΠΎΠ·Π΄ΡƒΡˆΠ½Ρ‹Ρ… Π»ΠΈΠ½ΠΈΠΉ элСктропСрСдач (Π’Π›). ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΠ΅Ρ‚ ΠΈΠ· сСбя устройство ΠΈΠ· Π΄Π²ΡƒΡ… мСталличСских пластин с ΠΏΡ€ΠΎΡƒΡˆΠΈΠ½Π°ΠΌΠΈ Π½Π° ΠΊΠΎΠ½Ρ†Π°Ρ… скрСплСнных ΠΌΠ΅ΠΆΠ΄Ρƒ собой ΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌΠΈ ΠΏΠ°Π»ΡŒΡ†Π°ΠΌΠΈ с Π±ΠΎΠ»Ρ‚ΠΎΠ²Ρ‹ΠΌ ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈ ΡˆΠΏΠ»ΠΈΠ½Ρ‚ΠΎΠ²ΠΎΠΉ фиксациСй.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π’Π‘ 120/150.2

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    Π’Π‘ 120/150.2

    Вязка ΡΠΏΠΈΡ€Π°Π»ΡŒΠ½Π°Ρ Π’Π‘ 120/150.2 ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π° для крСплСния Π·Π°Ρ‰ΠΈΡ‰Π΅Π½Π½ΠΎΠ³ΠΎ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° БИП-3 ΠΊ ΡˆΡ‚Ρ‹Ρ€Π΅Π²Ρ‹ΠΌ ΠΈ ΠΎΠΏΠΎΡ€Π½Ρ‹ΠΌ изоляторам.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • ΠšΠ“-21-3 Π£Π·Π΅Π» крСплСния

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    ΠšΠ“-21-3 Π£Π·Π΅Π» крСплСния

    ΠšΠ“-21-3 Π£Π·Π΅Π» крСплСния натяТных ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‰ΠΈΡ… ΠΈΠ·ΠΎΠ»ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… подвСсок ΠΊ ΠΎΠΏΠΎΡ€Π°ΠΌ Π’Π› ΠΈ Ρ€Π°ΡΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… устройств.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Featured

    НБ-2-6А

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    НБ-2-6А

    НБ-2-6А Π—Π°ΠΆΠΈΠΌ Π±ΠΎΠ»Ρ‚ΠΎΠ²ΠΎΠΉ натяТной

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π Π”Π˜Πœ-10-1,5-IV-Π£Π₯Π›1

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    Π Π”Π˜Πœ-10-1,5-IV-Π£Π₯Π›1

    Разрядник Π Π”Π˜Πœ-10-1,5-IV-Π£Π₯Π›1 устройство для Π·Π°Ρ‰ΠΈΡ‚Ρ‹ Π’Π› ΠΎΡ‚ прямых ΡƒΠ΄Π°Ρ€ΠΎΠ² ΠΌΠΎΠ»Π½ΠΈΠΈ ΠΈ ΠΎΡ‚ ΠΈΠ½Π΄ΡƒΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π³Ρ€ΠΎΠ·ΠΎΠ²Ρ‹Ρ… пСрСнапряТСний.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π Π”Π˜ΠŸ-10-4-Π£Π₯Π›1/001

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

  • РМК-20-IV-Π£Π₯Π›1

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    РМК-20-IV-Π£Π₯Π›1

    РМК-20-IV Π£Π₯Π›1 – ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΊΠ°ΠΌΠ΅Ρ€Π½Ρ‹ΠΉ разрядник обСспСчиваСт ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΡƒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρƒ Π²Ρ‹ΡΠΎΠΊΠΎΠ²ΠΎΠ»ΡŒΡ‚Π½Ρ‹Ρ… Π»ΠΈΠ½ΠΈΠΉΒ  ΠΎΡ‚ 6 Π΄ΠΎ 20 ΠΊΠ’ ΠΏΡ€ΠΈ Π³Ρ€ΠΎΠ·ΠΎΠ²Ρ‹Ρ… пСрСнапряТСниях.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Featured

    БК-21-1а

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    БК-21-1а

    Π‘ΠΎΠ΅Π΄ΠΈΠ½ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ скоба БК-21-1Π°,  примСняСтся для образования Ρ†Π΅ΠΏΠ½ΠΎΠ³ΠΎ ΡˆΠ°Ρ€Π½ΠΈΡ€Π½ΠΎΠ³ΠΎ соСдинСния Β«ΠΏΡ€ΠΎΡƒΡˆΠΈΠ½Π°-ΠΏΠ°Π»Π΅Ρ†Β» для крСплСния гирлянд изоляторов ΡˆΠ°Ρ€Π½ΠΈΡ€Π½Ρ‹ΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ ΠΈ для крСплСния Π³Ρ€ΠΎΠ·ΠΎΠ·Π°Ρ‰ΠΈΡ‚Π½Ρ‹Ρ… тросов.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π‘ΠšΠ”-21-1

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    Π‘ΠšΠ”-21-1

    Π‘ΠšΠ”-21-1 ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Π°Ρ ΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ скоба,  примСняСтся для образования Ρ†Π΅ΠΏΠ½ΠΎΠ³ΠΎ ΡˆΠ°Ρ€Π½ΠΈΡ€Π½ΠΎΠ³ΠΎ соСдинСния нСпосрСдствСнно Π½Π° соСдинСниС Β«ΠΏΡ€ΠΎΡƒΡˆΠΈΠ½Π°-ΠΏΠ°Π»Π΅Ρ†Β» для крСплСния гирлянд изоляторов ΠΈ Π³Ρ€ΠΎΠ·ΠΎΠ·Π°Ρ‰ΠΈΡ‚Π½Ρ‹Ρ… тросов.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π‘Π Π‘-7-16

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    Π‘Π Π‘-7-16

    Π‘Π΅Ρ€ΡŒΠ³Π° CPC-7-16 для ΠΈΠ·ΠΎΠ»ΠΈΡ€ΡƒΡŽΡ‰ΠΈΡ… подвСсок Π²Ρ‹ΡΠΎΠΊΠΎΠ²ΠΎΠ»ΡŒΡ‚Π½Ρ‹Ρ… Π»ΠΈΠ½ΠΈΠΉ элСктропСрСдач.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

  • Π£1-7-16 Ушко

    Π¦Π΅Π½Π° ΠΏΠΎ запросу
    Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ Π² ΠΊΠΎΡ€Π·ΠΈΠ½Ρƒ

    У1-7-16 Ушко

    Π£1-7-16 Ушко ΠΎΠ΄Π½ΠΎΠ»Π°ΠΏΡ‡Π°Ρ‚ΠΎΠ΅Β  для соСдинСния стСрТня подвСсного изолятора ΠΈΠ»ΠΈ ΡΠ΅Ρ€ΡŒΠ³ΠΈ с Π΄Ρ€ΡƒΠ³ΠΎΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€ΠΎΠΉ.

    Π¦Π΅Π½Π° ΠΏΠΎ запросу

12/24/48/ВсС

ЛинСйная Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Π°

Π’ Ρ€Π°ΠΌΠΊΠ°Ρ… ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΡ‹ импортозамСщСния с 2010 Π³. освоСно сСрийноС производство Π½ΠΎΠ²ΠΎΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π°Ρ€ΠΌΠ°Ρ‚ΡƒΡ€Ρ‹ (Π·Π°ΠΆΠΈΠΌΠΎΠ²) для ΡΡ‚Ρ€ΠΎΠΈΡ‚Π΅Π»ΡŒΡΡ‚Π²Π° Π’Π›Π˜-0,4 ΠΊΠ’ с ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ БИП-4ΠΈ. НовыС Π·Π°ΠΆΠΈΠΌΡ‹ ΠΏΡ€ΠΎΡˆΠ»ΠΈ всС Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Π΅ испытания ΠΈ ΠΈΠΌΠ΅ΡŽΡ‚ Π΄Π΅ΠΊΠ»Π°Ρ€Π°Ρ†ΠΈΠΈ ΠΎ соотвСтствии Π’Π°ΠΌΠΎΠΆΠ΅Π½Π½ΠΎΠ³ΠΎ союза.

Π—Π°ΠΆΠΈΠΌ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‰ΠΈΠΉ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹ΠΉ Π—ΠŸΠŸ

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½ΠΎΠ³ΠΎ крСплСния БИП-4ΠΈ Π·Π° всС ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ Π½Π° ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹Ρ… ΠΈ ΡƒΠ³Π»ΠΎΠ²Ρ‹Ρ… ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒ-Ρ‚ΠΎΡ‡Π½Ρ‹Ρ… ΠΎΠΏΠΎΡ€Π°Ρ… ΠΏΡ€ΠΈ ΡƒΠ³Π»Π΅ ΠΏΠΎΠ²ΠΎΡ€ΠΎΡ‚Π° Π΄ΠΎ 30Β°. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. Π Π°Π·Ρ€ΡƒΡˆΠ°ΡŽΡ‰Π°Ρ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 6 кН, масса Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,375 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΊΠΎΠ½Ρ†Π΅Π²ΠΎΠΉ натяТной Π—ΠšΠ-1

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для ΠΊΠΎΠ½Ρ†Π΅Π²ΠΎΠ³ΠΎ (Π°Π½ΠΊΠ΅Ρ€Π½ΠΎΠ³ΠΎ) крСплСния БИП-4ΠΈ Π·Π° всС силовыС ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ Π½Π° ΠΊΠΎΠ½Ρ†Π΅Π²Ρ‹Ρ… Π°Π½ΠΊΠ΅Ρ€Π½Ρ‹Ρ… ΠΈ ΡƒΠ³Π»ΠΎΠ²Ρ‹Ρ… Π°Π½ΠΊΠ΅Ρ€Π½Ρ‹Ρ… ΠΎΠΏΠΎΡ€Π°Ρ… Π’Π›Π˜-0,4 ΠΊΠ’. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. НоминальноС сСчСниС закрСпляСмого ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° – 50-95 ΠΌΠΌ2. Π Π°Π·Ρ€ΡƒΡˆΠ°ΡŽΡ‰Π°Ρ Π½Π°-Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 27 кН, масса Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 1,1 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΊΠΎΠ½Ρ†Π΅Π²ΠΎΠΉ натяТной Π—ΠšΠ-2

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ ΠΊΠ°ΠΊ для ΠΊΠΎΠ½Ρ†Π΅Π²ΠΎΠ³ΠΎ (Π°Π½ΠΊΠ΅Ρ€Π½ΠΎΠ³ΠΎ) крСплСния БИП-4ΠΈ Π·Π° всС силовыС ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ, Ρ‚Π°ΠΊ ΠΈ для ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½ΠΎΠ³ΠΎ (ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‰Π΅Π³ΠΎ) крСплСния Π’Π›Π˜-0,4 ΠΊΠ’. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. НоминальноС сСчСниС закрСпляСмого ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π° – 16-35 ΠΌΠΌ2. Π Π°Π·Ρ€ΡƒΡˆΠ°ΡŽΡ‰Π°Ρ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 14,5 кН, масса Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,52 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄Π½ΠΎΠΉ Π²Π»Π°Π³ΠΎΠ·Π°Ρ‰ΠΈΡ‰Ρ‘Π½Π½Ρ‹ΠΉ Π—ΠŸΠ’

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для элСктричСского соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² БИП напряТСниСм 0,4 ΠΊΠ’ с Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ мСталличСскими ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠ°ΠΌΠΈ ΠΎΡ‚Π²Π΅Ρ‚Π²Π»Π΅Π½ΠΈΠΉ ΠΏΡƒΡ‚Ρ‘ΠΌ ΠΏΡ€ΠΎΠΊΠΎΠ»Π° изоляции ΠΆΠΈΠ»Ρ‹ БИП ΠΈ создания ΠΊΠΎΠ½Ρ‚Π°ΠΊΡ‚Π° с Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌ ΠΎΡ‚Π²Π΅Ρ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠΎΠΌ; для соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² (Π½ΡƒΠ»Π΅Π²ΠΎΠΉ ΠΆΠΈΠ»Ρ‹) с Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ Π½ΡƒΠ»Π΅Π²Ρ‹ΠΌΠΈ ΠΆΠΈΠ»Π°ΠΌΠΈ ΠΈ Π·Π°Π·Π΅ΠΌΠ»ΡΡŽΡ‰ΠΈΠΌΠΈ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠ°ΠΌΠΈ. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. Π‘Π΅Ρ‡Π΅Π½ΠΈΠ΅ соСдиняСмых ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠΎΠ² β€” 16-95 ΠΌΠΌ2, масса Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,18 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΎΡ‚Π²Π΅Ρ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠΊΠ°Π»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π³Π΅Ρ€ΠΌΠ΅Ρ‚ΠΈΡ‡Π½Ρ‹ΠΉ Π·ΠΎΠΏΠ³-1

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для элСктричСского соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² Π’Π›Π˜-0,4 ΠΊΠ’ с ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ ΠΎΡ‚Π²Π΅Ρ‚Π²Π»Π΅Π½ΠΈΠΉ ΠΏΡƒΡ‚Ρ‘ΠΌ ΠΏΡ€ΠΎΠΊΠΎΠ»Π° изоляции. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. ΠœΠ°Π³ΠΈΡΡ‚Ρ€Π°Π»ΠΈ 16-95 ΠΌΠΌ2, отвСтвлСния 16-95 ΠΌΠΌ2, массой Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,18 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΎΡ‚Π²Π΅Ρ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠΊΠ°Π»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π³Π΅Ρ€ΠΌΠ΅Ρ‚ΠΈΡ‡Π½Ρ‹ΠΉ Π·ΠΎΠΏΠ³-2

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для элСктричСского соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² Π’Π›Π˜-0,4 ΠΊΠ’ с ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ ΠΎΡ‚Π²Π΅Ρ‚Π²Π»Π΅Π½ΠΈΠΉ ΠΏΡƒΡ‚Ρ‘ΠΌ ΠΏΡ€ΠΎΠΊΠΎΠ»Π° изоляции. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. ΠœΠ°Π³ΠΈΡΡ‚Ρ€Π°Π»ΠΈ 16-95 ΠΌΠΌ2, отвСтвлСния 4,0-35 ΠΌΠΌ2, массой Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,13 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ ΠΎΡ‚Π²Π΅Ρ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠΊΠ°Π»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π³Π΅Ρ€ΠΌΠ΅Ρ‚ΠΈΡ‡Π½Ρ‹ΠΉ Π·ΠΎΠΏΠ³-3

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для элСктричСского соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Ρ„ΠΎΠ½Π°Ρ€Π½ΠΎΠ³ΠΎ ΠΈ Π½ΡƒΠ»Π΅Π²ΠΎΠ³ΠΎ ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² Π’Π›Π˜-0,4 ΠΊΠ’ с ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ питания ΡΠ²Π΅Ρ‚ΠΈΠ»ΡŒΠ½ΠΈΠΊΠ° ΡƒΠ»ΠΈΡ‡Π½ΠΎΠ³ΠΎ освСщСния, Π° Ρ‚Π°ΠΊΠΆΠ΅ для элСктричСского соСдинСния ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΏΡ€ΠΈ Π²Ρ‹ΠΏΠΎΠ»Π½Π΅Π½ΠΈΠΈ элСктричСских Π²Π²ΠΎΠ΄ΠΎΠ² Π² здания ΠΈ сооруТСния (абонСнтскиС отвСтвлСния) ΠΏΡƒΡ‚Ρ‘ΠΌ ΠΏΡ€ΠΎΠΊΠΎΠ»Π° изоляции. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. ΠœΠ°Π³ΠΈΡΡ‚Ρ€Π°Π»ΠΈ 16-95 ΠΌΠΌ2, отвСтвлСния 2,5-6,0 ΠΌΠΌ2, массой Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,1 ΠΊΠ³. Π‘Ρ€ΠΎΠΊ слуТбы Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ‚.

Π—Π°ΠΆΠΈΠΌ Π³Ρ€ΠΎΠ·ΠΎΠ·Π°Ρ‰ΠΈΡ‚Π½Ρ‹ΠΉ Π·Π³-10

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для ΠΎΡ‚Π²ΠΎΠ΄Π° элСктричСского разряда ΠΏΡ€ΠΈ атмосфСрных пСрСнапряТСниях (ΠΏΡ€ΠΈ ΡƒΠ΄Π°Ρ€Π°Ρ… ΠΌΠΎΠ»Π½ΠΈΠΈ) Π½Π° Π’Π›ΠŸ. ΠœΠΎΠΆΠ΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ для выполнСния ΠΎΡ‚Π²Π΅Ρ‚Π²Π»Π΅Π½ΠΈΠΉ ΠΎΡ‚ Π’Π›ΠŸ Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² Π’Π› (6-20 ΠΊΠ’). ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. Π’Π£ Π Π‘ 00114241.011-98.

Π—Π°ΠΆΠΈΠΌ ΠΎΡ‚Π²Π΅Ρ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠΊΠ°Π»Ρ‹Π²Π°ΡŽΡ‰ΠΈΠΉ Π—ΠžΠŸ-10

ΠŸΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ для выполнСния присоСдинСния ΠΊ ΠΏΡ€ΠΎΠ²ΠΎΠ΄Π°ΠΌ Π’Π›ΠŸ ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΎΡ‚Π²Π΅Ρ‚Π²Π»Π΅Π½ΠΈΠΉ, ΠΏΠΎΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… ΠΈΠ·ΠΎΠ»ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ ΠΎΠ±ΠΎΠ»ΠΎΡ‡ΠΊΠΎΠΉ, ΠΏΡƒΡ‚Ρ‘ΠΌ прокалывания ΠΈΠ·ΠΎΠ»ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ ΠΎΠ±ΠΎΠ»ΠΎΡ‡ΠΊΠΈ Π·Π°ΠΆΠΈΠΌΠΎΠΌ. ΠšΠ»ΠΈΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΎΠ΅ исполнСниС Π£Π₯Π› ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΈ размСщСния 1 ΠΏΠΎ Π“ΠžΠ‘Π’ 15150. НоминальноС сСчСниС соСдиняСмых ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΎΠ² Π’Π›ΠŸ – 35-120 ΠΌΠΌ2. Π’Π£ Π Π‘ 00114241.011-98.

ПониманиС Q-обучСния ΠΈ аппроксимации Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ
класс, я Ρ…ΠΎΡ‚Π΅Π» Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ большС ΠΎΠ± ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠΈ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, поэтому Π²
Π² этом постС я Π΄Π°ΠΌ нСсколько ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² ΠΎ Q-Learning ΠΈ Linear Function.


ΠŸΡ€ΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅. Π― надСюсь, Ρ‡Ρ‚ΠΎ эти сообщСния ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΠΎΡΠ»ΡƒΠΆΠΈΡ‚ΡŒ Π΅Ρ‰Π΅ ΠΎΠ΄Π½ΠΈΠΌ Π½Π°Π±ΠΎΡ€ΠΎΠΌ ΠΊΡ€Π°Ρ‚ΠΊΠΈΡ… RL
ввСдСния, ΠΏΠΎΡ…ΠΎΠΆΠΈΠ΅ Π½Π° ΠΎΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΉ пост АндрСя ΠΎ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠΌ RL.

Π’ ΠΏΡ€ΠΎΡˆΠ»ΠΎΠΌ Π³ΠΎΠ΄Ρƒ я ΡƒΠΆΠ΅ писал ΠΎΠ± основах MDP ΠΈ RL. Π­Ρ‚ΠΎΡ‚
Ρ‚Π΅ΠΊΡƒΡ‰ΠΈΠΉ слуТит ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ΅Π½ΠΈΠ΅ΠΌ этого, обсуТдая, ΠΊΠ°ΠΊ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ RL
Π² настройки, Π±ΠΎΠ»Π΅Π΅ слоТныС, Ρ‡Π΅ΠΌ простыС Ρ‚Π°Π±Π»ΠΈΡ‡Π½Ρ‹Π΅ сцСнарии, Π½ΠΎ
Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ Ρ‚Π°ΠΊ слоТно, ΠΊΠ°ΠΊ, скаТСм, Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΠΈΠ³Ρ€Π°Ρ‚ΡŒ Π² ΠΈΠ³Ρ€Ρ‹ Atari ΠΎΡ‚
высокоразмСрный Π²Π²ΠΎΠ΄. Π― Π½Π΅ Π±ΡƒΠ΄Ρƒ Ρ‚Ρ€Π°Ρ‚ΠΈΡ‚ΡŒ слишком ΠΌΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ, ΠΏΡ‹Ρ‚Π°ΡΡΡŒ Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ, хотя
Π’Π΅ΠΌΡ‹ Π² этом постС, хотя. Π― Ρ…ΠΎΡ‡Ρƒ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ свои усилия для Π³Π»ΡƒΠ±ΠΎΠΊΠΈΠΉ сорт ,
ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ сСйчас Π² ΠΌΠΎΠ΄Π΅ ΠΈ Ρ‚Π΅ΠΌΠ°, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ я надСюсь Π² ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠΌ ΠΈΡ‚ΠΎΠ³Π΅ Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ
ΠΌΠ½ΠΎΠ³ΠΎ ΠΎ для этого Π±Π»ΠΎΠ³Π°.

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠΌΠΎΡ‡ΡŒ Π½Π°ΠΏΠΈΡΠ°Ρ‚ΡŒ этот пост, Π²ΠΎΡ‚ Π΄Π²Π΅ ссылки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ я использовал для быстрого просмотра
Q-Learning с аппроксимациСй Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ.

  1. Π£Ρ‡Π΅Π±Π½ΠΎΠ΅ пособиС ΠΏΠΎ RL ΠΈ аппроксиматорам Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹Ρ… Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ
  2. Книга RL Π‘Π°Ρ€Ρ‚ΠΎ ΠΈ Π‘Π°Ρ‚Ρ‚ΠΎΠ½Π° Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ HTML

Π― ΠΏΡ€ΠΎΡ‡ΠΈΡ‚Π°Π» (1) ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ ΠΈ (2) лишь частично, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ это всС-Ρ‚Π°ΠΊΠΈ цСлая ΠΊΠ½ΠΈΠ³Π°
(ΠΎΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ Π°Π²Ρ‚ΠΎΡ€Ρ‹ находятся Π² процСссС создания Π½ΠΎΠ²ΠΎΠ³ΠΎ издания!). {(i)}\), ΠΌΡ‹ Π²Ρ‹Π±ΠΈΡ€Π°Π΅ΠΌ ΠΎΡ‡Π΅Π½ΡŒ малСнькоС подмноТСство
состояния \(S’ \подмноТСство S\) ΠΈ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½ΡƒΡŽ Ρ€Π΅Π·Π΅Ρ€Π²Π½ΡƒΡŽ копию Π‘Π΅Π»Π»ΠΌΠ°Π½Π° Π·Π° ΠΎΠ΄ΠΈΠ½ шаг
обновлСния: 92\]

, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΠΎΠΆΠ½ΠΎ Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚ΡŒ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ стандартныС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠ³ΠΎ обучСния. Π­Ρ‚ΠΎ, Π²
фактичСски, ΠΏΡ€ΠΈΠΌΠ΅Ρ€ стохастичСского Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска.

ΠŸΡ€Π΅ΠΆΠ΄Π΅ Ρ‡Π΅ΠΌ Π΄Π²ΠΈΠ³Π°Ρ‚ΡŒΡΡ дальшС, стоит ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ ΠΎΡ‡Π΅Π²ΠΈΠ΄Π½ΠΎΠ΅: ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ Value
Π˜Ρ‚Π΅Ρ€Π°Ρ†ΠΈΡ с аппроксимациСй Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π±ΡƒΠ΄Π΅Ρ‚ ΠΏΠΎΡ‡Ρ‚ΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡ‚ΡŒΡŽ Π·Π°Π²ΠΈΡΠ΅Ρ‚ΡŒ ΠΎΡ‚
качСство ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ² (наряду с прСдставлСниСм Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, Ρ‚.Π΅. Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹ΠΌ,
нСйронная ΡΠ΅Ρ‚ΡŒ ΠΈ Π΄Ρ€.). Если Π²Ρ‹ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡ€ΡƒΠ΅Ρ‚Π΅ ИИ для ΠΈΠ³Ρ€Ρ‹ Π² PacMan, состояния
\(s\) Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΠ³Ρ€ΠΎΠ²Ρ‹ΠΌ ΠΏΠΎΠ»Π΅ΠΌ, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ слишком ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½ΠΎ для Ρ‚Π°Π±Π»ΠΈΡ‡Π½ΠΎΠ³ΠΎ прСдставлСния.
прСдставлСния. Π§Π΅Ρ€Ρ‚Ρ‹ идСально ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Ρ‡Ρ‚ΠΎ-Ρ‚ΠΎ Ρ€Π΅Π»Π΅Π²Π°Π½Ρ‚Π½ΠΎ ΠΊ
ΠŸΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ PacMan Π² ΠΈΠ³Ρ€Π΅, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, расстояниС Π΄ΠΎ блиТайшСго ΠΏΡ€ΠΈΠ·Ρ€Π°ΠΊΠ°,
расстояниС Π΄ΠΎ блиТайшСй ΠΏΡƒΠ»ΠΈ, ΠΏΠΎΠΉΠΌΠ°Π½ Π»ΠΈ PacMan ΠΈ Ρ‚Π°ΠΊ Π΄Π°Π»Π΅Π΅. НС
ΠΏΡ€Π΅Π½Π΅Π±Ρ€Π΅Π³Π°ΠΉΡ‚Π΅ искусством ΠΈ Ρ‚Π΅Ρ…Π½ΠΈΠΊΠΎΠΉ Π²Ρ‹Π±ΠΎΡ€Π° ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ²!

Q-Learning с Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠΉ аппроксимациСй

Π˜Ρ‚Π΅Ρ€Π°Ρ†ΠΈΡ значСния

с аппроксимациСй Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ β€” это Ρ…ΠΎΡ€ΠΎΡˆΠΎ, Π½ΠΎ, ΠΊΠ°ΠΊ я ΡƒΠΏΠΎΠΌΠΈΠ½Π°Π» Π² своСм
послСдний пост, Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ…ΠΎΡ‚ΠΈΠΌ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅, это значСния \(Q(s,a)\) ΠΈΠ·-Π·Π°
ΠΊΠ»ΡŽΡ‡Π΅Π²ΠΎΠΉ Ρ„Π°ΠΊΡ‚, Ρ‡Ρ‚ΠΎ

\[\pi(s) = \arg_a \max Q^*(s,a)\]

, Ρ‡Ρ‚ΠΎ позволяСт ΠΈΠ·Π±Π΅ΠΆΠ°Ρ‚ΡŒ дорогостоящСй суммы ΠΏΠΎ ΡˆΡ‚Π°Ρ‚Π°ΠΌ. Π’ \ Ρ„ΠΈ (с, Π°) \]

Π§Ρ‚ΠΎ Π² этом слоТного, Ρ‚Π°ΠΊ это Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π³ΠΎΡ€Π°Π·Π΄ΠΎ ΠΏΡ€ΠΎΡ‰Π΅ Ρ€Π°ΡΡΡƒΠΆΠ΄Π°Ρ‚ΡŒ
ΠΎ функциях, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡΠ²Π»ΡΡŽΡ‚ΡΡ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ функциями состояний . ΠŸΠΎΠ΄ΡƒΠΌΠ°ΠΉΡ‚Π΅ ΠΎ PacMan
ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΈΠ· ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅Π³ΠΎ: ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π»Π΅Π³ΠΊΠΎ Π΄ΡƒΠΌΠ°Ρ‚ΡŒ ΠΎ функциях, просто
глядя Π½Π° Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ находится Π½Π° ΠΈΠ³Ρ€ΠΎΠ²ΠΎΠΉ сСткС, Π½ΠΎ слоТнСС Π·Π°Π΄Π°Ρ‚ΡŒΡΡ вопросом, Ρ‡Ρ‚ΠΎ происходит
ΠΊ Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ состояния ΠΏΡ€ΠΈ условии, Ρ‡Ρ‚ΠΎ дСйствиС \(a\) ΠΈΠΌΠ΅Π΅Ρ‚ мСсто .

По этой ΠΏΡ€ΠΈΡ‡ΠΈΠ½Π΅ я ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡ΠΈΡ‚Π°ΡŽ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΉ Β«Ρ‚Ρ€ΡŽΠΊ с ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ измСрСния».
Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½ΠΎ ссылкой (1) Π²Ρ‹ΡˆΠ΅, Ρ‡Ρ‚ΠΎ Π΄Π΅Π»Π°Π΅Ρ‚ Ρ€Π°Π·Π»ΠΈΡ‡ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρƒ
Ρ€Π°Π·Π½Ρ‹Π΅ дСйствия явныС. Π§Ρ‚ΠΎΠ±Ρ‹ Π±Ρ‹Π»ΠΎ понятно, ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅ MDP с двумя функциями.
ΠΈ Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅ дСйствия. Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ для ΠΏΠ°Ρ€Ρ‹ состояниС-дСйствиС \((s,a_i)\) ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ Π·Π°ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π°Π½Ρ‹
ΠΊΠ°ΠΊ:

\[\Ρ„ΠΈ(с,Π°_1) =
\begin{bΠΌΠ°Ρ‚Ρ€ΠΈΡ†Π°}
\psi_1(s,a_1) \\
\psi_2(s,a_1) \\
0 \\
0 \\
0 \\
0 \\
0 \\
0 \\
1
\end{bmatrix}
,\Ρ‡Π΅Ρ‚Π²Π΅Ρ€ΠΊΠ°
\Ρ„ΠΈ(с,Π°_2) =
\begin{bmatrix}
0 \\
0 \\
\psi_1(s,a_2) \\
\psi_2(s,a_2) \\
0 \\
0 \\
0 \\
0 \\
1
\end{bmatrix}
,\Ρ‡Π΅Ρ‚Π²Π΅Ρ€ΠΊΠ°
\Ρ„ΠΈ(с,Π°_3) =
\begin{bmatrix}
0 \\
0 \\
0 \\
0 \\
\psi_1(s,a_3) \\
\psi_2(s,a_3) \\
0 \\
0 \\
1
\end{bmatrix}
,\Ρ‡Π΅Ρ‚Π²Π΅Ρ€ΠΊΠ°
\Ρ„ΠΈ(с,Π°_4) =
\begin{bmatrix}
0 \\
0 \\
0 \\
0 \\
0 \\
0 \\
\psi_1(s,a_4) \\
\psi_2(s,a_4) \\
1
\ΠΊΠΎΠ½Π΅Ρ†{bmatrix}\]

Π—Π°Ρ‡Π΅ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ для Ρ€Π°Π·Π½Ρ‹Ρ… дСйствий? Π˜Π½Ρ‚ΡƒΠΈΡ‚ΠΈΠ²Π½ΠΎ, Ссли ΠΌΡ‹
Π½Π΅ сдСлал этого (ΠΈ сохранил \(\phi(s,a)\) всСго с двумя нСпрСдвзятыми ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠ°ΠΌΠΈ), Ρ‚ΠΎ
дСйствиС Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ Π½ΠΈΠΊΠ°ΠΊΠΎΠ³ΠΎ эффСкта! Но дСйствия 9ΠžΡ‚ 0005 Π΄ΠΎ Π²Π»ΠΈΡΡŽΡ‚ Π½Π° ΠΈΠ³Ρ€Ρƒ. Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ
снова ΠΏΡ€ΠΈΠΌΠ΅Ρ€ PacMan, ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎ Ρƒ Π°Π³Π΅Π½Ρ‚Π° PacMan Π΅ΡΡ‚ΡŒ Π³Ρ€Π°Π½ΡƒΠ»Π° для Π΅Π³ΠΎ
Π²Π»Π΅Π²ΠΎ, Ρ‚Π°ΠΊ Ρ‡Ρ‚ΠΎ Π°Π³Π΅Π½Ρ‚ находится Π² ΠΎΠ΄Π½ΠΎΠΌ шагС ΠΎΡ‚ нСпобСдимости. Π’ Ρ‚ΠΎ ΠΆΠ΅ врСмя,
ΠΎΠ΄Π½Π°ΠΊΠΎ справа ΠΎΡ‚ Пакмана ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΡ€ΠΈΠ·Ρ€Π°ΠΊ! ДСйствиС, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ выполняСт PacMan
Π² этом состоянии (Π’Π›Π•Π’Πž ΠΈΠ»ΠΈ Π’ΠŸΠ ΠΠ’Πž) ΠΎΠΊΠ°ΠΆΠ΅Ρ‚ сущСствСнноС влияниС Π½Π° Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰ΠΈΠΉ
Π½Π°Π³Ρ€Π°Π΄Π° ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π°! ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π²Π°ΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Π²ΠΎ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ дСйствия, ΠΊΠΎΠ³Π΄Π°
показывая Q-значСния.

НапоминаСм, Ρ‡Ρ‚ΠΎ ΠΏΡ€Π΅ΠΆΠ΄Π΅ Ρ‡Π΅ΠΌ Π΄Π²ΠΈΠ³Π°Ρ‚ΡŒΡΡ дальшС, Π½Π΅ Π·Π°Π±ΡƒΠ΄ΡŒΡ‚Π΅ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ смСщСния! ΠΎΠ½ΠΈ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹
ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ значСния Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ нСзависимо ΠΎΡ‚ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ².

Онлайн-обоснованиС ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π½Π°ΠΈΠΌΠ΅Π½ΡŒΡˆΠΈΡ… ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ² для Q-Learning

Π’Π΅ΠΏΠ΅Ρ€ΡŒ я Ρ…ΠΎΡ‡Ρƒ Π½Π°Π±Ρ€ΠΎΡΠ°Ρ‚ΡŒ Π²Ρ‹Π²ΠΎΠ΄ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ Q-Learning, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΡ‚ΡŒ ΠΈΠ½Ρ‚ΡƒΠΈΡ†ΠΈΡŽ
ΠΏΠΎΡ‡Π΅ΠΌΡƒ это Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚. Π—Π½Π°Π½ΠΈΠ΅ этого Ρ‚Π°ΠΊΠΆΠ΅ Π²Π°ΠΆΠ½ΠΎ для понимания Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅
процСсс Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ для Π±ΠΎΠ»Π΅Π΅ ΠΏΡ€ΠΎΠ΄Π²ΠΈΠ½ΡƒΡ‚ΠΎΠ³ΠΎ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠ°/Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ Deep-Q-Network.

Π’Ρ‹Π·ΠΎΠ² стандартного обновлСния Q-Learning Π±Π΅Π· аппроксимации Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ:

\[Q(s,a) \leftarrow (1-\alpha) Q(s,a) + \alpha \underbrace{[R(s,a,s’) + \gamma \max_{a’}Q(s ‘, Π°’)]} _ {\ rm ΠΎΠ±Ρ€Π°Π·Π΅Ρ†} \]
9{(i)}\) Π²
итСрация \(i\) Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠ°, ΠΈ Π²Ρ‹ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π²Ρ‹ΡΡΠ½ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊ Π΅Π³ΠΎ ΠΎΠ±Π½ΠΎΠ²ΠΈΡ‚ΡŒ. T\phi(s)\),
Π° Π·Π°Ρ‚Π΅ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ описанный Π²Ρ‹ΡˆΠ΅ Β«Ρ‚Ρ€ΡŽΠΊ с ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ Ρ€Π°Π·ΠΌΠ΅Ρ€ΠΎΠ²Β», Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ
Q-Learning Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅.

  • Q-Learning ΠΊΠ°ΠΊ слСдствиС ΠΎΠ½Π»Π°ΠΉΠ½ΠΎΠ²ΠΎΠ³ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π½Π°ΠΈΠΌΠ΅Π½ΡŒΡˆΠΈΡ… ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ обСспСчиваСт Π±ΠΎΠ»Π΅Π΅
    строгоС обоснованиС Ρ‚ΠΎΠ³ΠΎ, ΠΏΠΎΡ‡Π΅ΠΌΡƒ это ΠΈΠΌΠ΅Π΅Ρ‚ смысл, вмСсто Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»Π°Π³Π°Ρ‚ΡŒΡΡ Π½Π° ΠΌΠ°Ρ…Π°Π½ΠΈΠ΅ Ρ€ΡƒΠΊΠ°ΠΌΠΈ
    Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚Ρ‹.
  • ΠŸΡ€Π΅ΠΈΠΌΡƒΡ‰Π΅ΡΡ‚Π²ΠΎ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΠΈ Q-Learning (ΠΈΠ»ΠΈ Value Iteration) с Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ
    ΠΏΡ€ΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π²ΡƒΡ‡Π°Ρ‚ΡŒ Π²Π΅Π»ΠΈΠΊΠΎΠ»Π΅ΠΏΠ½ΠΎ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Ρ‚Π°Π±Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ вСрсиями, Π½ΠΎ Π²ΠΎΡ‚
    критичСский вопрос: являСтся аппроксиматором Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, подходящим для
    ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°
    ?

    Π­Ρ‚ΠΎ Π²Π°ΠΆΠ½ΠΎ, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ Ρ‚Π΅ΠΊΡƒΡ‰ΠΈΠ΅ исслСдования ΠΏΠΎ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ
    примСняСтся ΠΊ слоТным ΠΈ ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½Ρ‹ΠΌ Π΄Π°Π½Π½Ρ‹ΠΌ. ΠžΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ ΠΈ
    вСроятно, самый популярный β€” Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒΡΡ ΠΈΠ³Ρ€Π°Ρ‚ΡŒ Π² ΠΈΠ³Ρ€Ρ‹ Atari с нуля.
    (210,160,3)-ΠΌΠ΅Ρ€Π½Ρ‹Π΅ массивы. ЛинСйная функция просто нСэффСктивна ΠΏΡ€ΠΈ
    ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ \(Q(s,a)\) для этих Π·Π°Π΄Π°Ρ‡, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹
    ΠΏΠΎ своСй сути Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹ΠΉ ! Π”Π°Π»ΡŒΠ½Π΅ΠΉΡˆΠ΅Π΅ обсуТдСниС этого вопроса Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ Π·Π° Ρ€Π°ΠΌΠΊΠΈ
    этот пост, Π½ΠΎ Ссли Π²Π°ΠΌ интСрСсно, Π­Π½Π΄Ρ€ΡŽ Нг обратился ΠΊ этому Π² своСм выступлСнии Π½Π°
    Π¨ΠΊΠΎΠ»Π° Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния Bay Area мСсяц Π½Π°Π·Π°Π΄. КСвин Π—Π°ΠΊΠΊΠ° Π²Π΅Π΄Π΅Ρ‚ Ρ…ΠΎΡ€ΠΎΡˆΠΈΠΉ Π±Π»ΠΎΠ³
    сообщСниС, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Ρ€Π΅Π·ΡŽΠΌΠΈΡ€ΡƒΠ΅Ρ‚ΡΡ выступлСниС Нг. 1 Π’ Ρ€Π΅ΠΆΠΈΠΌΠ΅ ΠΌΠ°Π»Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΌΠ½ΠΎΠ³ΠΈΠ΅
    Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΌΠΎΠ³ΡƒΡ‚ Π΄ΠΎΡΡ‚ΠΈΠ³Π°Ρ‚ΡŒ Β«Ρ…ΠΎΡ€ΠΎΡˆΠ΅ΠΉΒ» ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ с различиями, Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‰ΠΈΠΌΠΈ Π² Π±ΠΎΠ»ΡŒΡˆΠΈΡ…
    Ρ‡Π°ΡΡ‚ΡŒ ΠΈΠ·-Π·Π° Ρ‚ΠΎΠ³ΠΎ, ΠΊΡ‚ΠΎ большС настроил свой Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ, Π½ΠΎ Π² ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½ΠΎΠΌ
    Ρ€Π΅ΠΆΠΈΠΌ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…, ΡΠ»ΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠΌΠ΅Π΅Ρ‚ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. НСйронныС сСти ΠΌΠΎΠ³ΡƒΡ‚
    ΠΈΠ·ΡƒΡ‡Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ Π³ΠΎΡ€Π°Π·Π΄ΠΎ Π±ΠΎΠ»Π΅Π΅ слоТныС Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ.

    ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π² своСм ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ постС я ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡŽ ΠΈ обсуТу Q-Learning с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй.
    сСтСй
    Π² качСствС Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ аппроксимации. Он Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΈΠ³Ρ€Ρ‹ Atari Π² качСствС
    Ρ…ΠΎΠ΄ΠΎΠ²ΠΎΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€. Π‘Π»Π΅Π΄ΠΈΡ‚Π΅ Π·Π° обновлСниями!


    1. Π—Π΄ΠΎΡ€ΠΎΠ²ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ это написал, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ всС Ρ€ΠΎΠ»ΠΈΠΊΠΈ Π½Π° ΡŽΡ‚ΡƒΠ±Π΅ с Нг
      talk (Π½Π° Π΄Π°Π½Π½Ρ‹ΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚) Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ‚ Π²ΠΊΠ»ΡŽΡ‡Π΅Π½Π½ΠΎΠΉ ΠΎΠΏΡ†ΠΈΠΈ Π°Π²Ρ‚ΠΎΠ·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠ². Π― Π½Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½
      ΠΏΠΎΡ‡Π΅ΠΌΡƒ, ΠΈ, нСсмотря Π½Π° нСдостатки Π°Π²Ρ‚ΠΎΠ·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠ², это ΠΎΡ‡Π΅Π½ΡŒ ΠΏΠΎΠΌΠΎΠ³Π»ΠΎ Π±Ρ‹.
      Π― попытался ΠΏΠΎΡΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ выступлСниС Нг ΠΈ сдался Ρ‡Π΅Ρ€Π΅Π· нСсколько ΠΌΠΈΠ½ΡƒΡ‚, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ я Π±Ρ‹Π»
      Π½Π΅ Π² состоянии ΠΏΠΎΠ½ΡΡ‚ΡŒ слова, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΎΠ½ Π³ΠΎΠ²ΠΎΡ€ΠΈΠ». ↩

    Π’ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅ JavaScript для просмотра ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠ΅Π² с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Disqus.

    Π”ΠΎΠΊΠ°Π·ΡƒΠ΅ΠΌΠΎ эффСктивноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ с ΠΏΡ€ΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ

    Π§ΠΈ Π”ΠΆΠΈΠ½, Π§ΠΆΡƒΠΎΡ€Π°Π½ Π―Π½, Π§ΠΆΠ°ΠΎΡ€Π°Π½ Π’Π°Π½, Майкл Π”ΠΆΠΎΡ€Π΄Π°Π½

    Π’Ρ€ΡƒΠ΄Ρ‹ Ρ‚Ρ€ΠΈΠ΄Ρ†Π°Ρ‚ΡŒ Ρ‚Ρ€Π΅Ρ‚ΡŒΠ΅ΠΉ ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ ΠΏΠΎ Ρ‚Π΅ΠΎΡ€ΠΈΠΈ обучСния ,Β PMLR 125:2137-2143,Β 2020.

    Аннотация

    Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ примСняСтся ΠΊ практичСским Π·Π°Π΄Π°Ρ‡Π°ΠΌ с ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ количСством состояний, Π³Π΄Π΅ \emph{аппроксимация Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·Π²Π΅Ρ€Π½ΡƒΡ‚Π° для аппроксимации Π»ΠΈΠ±ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ цСнности, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠΈ. Π’Π²Π΅Π΄Π΅Π½ΠΈΠ΅ аппроксимации Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π΅Ρ‚ Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹ΠΉ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, связанных с Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΈ статистичСской ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ, особСнно учитывая Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ управлСния компромиссом ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π²Π΅Π΄ΠΊΠΎΠΉ ΠΈ эксплуатациСй. Π’ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π΅ основной вопрос RL остаСтся ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ: ΠΊΠ°ΠΊ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π΄ΠΎΠΊΠ°Π·ΡƒΠ΅ΠΌΠΎ эффСктивныС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ RL, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Π°ΠΏΠΏΡ€ΠΎΠΊΡΠΈΠΌΠ°Ρ†ΠΈΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ? Π­Ρ‚ΠΎΡ‚ вопрос сохраняСтся Π΄Π°ΠΆΠ΅ Π² Π±Π°Π·ΠΎΠ²ΠΎΠΉ настройкС с Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΠΎΠΉ ΠΈ Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹ΠΌ Π²ΠΎΠ·Π½Π°Π³Ρ€Π°ΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ, для ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ трСбуСтся Ρ‚ΠΎΠ»ΡŒΠΊΠΎ аппроксимация Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ. 3T}) $ соТалСниС, Π³Π΄Π΅ $d$ β€” ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅Π΅ ΠΈΠ·ΠΌΠ΅Ρ€Π΅Π½ΠΈΠ΅ пространства ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ², $H$ β€” Π΄Π»ΠΈΠ½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ эпизода, Π° $T$ β€” ΠΎΠ±Ρ‰Π΅Π΅ количСство шагов. Π’Π°ΠΆΠ½ΠΎ ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ соТалСниС Π½Π΅ зависит ΠΎΡ‚ количСства состояний ΠΈ дСйствий.

    ΠŸΡ€ΠΎΡ†ΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ эту ΡΡ‚Π°Ρ‚ΡŒΡŽ

    БибВСкс


    @InProceedings{pmlr-v125-jin20a,
    title = {Π”ΠΎΠΊΠ°Π·ΡƒΠ΅ΠΌΠΎ эффСктивноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ с ΠΏΡ€ΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ},
    Π°Π²Ρ‚ΠΎΡ€ = {Цзинь, Π§ΠΈ ΠΈ Π―Π½, Π§ΠΆΠΎΡ€Π°Π½ ΠΈ Π’Π°Π½, Π§ΠΆΠ°ΠΎΡ€Π°Π½ ΠΈ Π”ΠΆΠΎΡ€Π΄Π°Π½, Майкл I},
    booktitle = {ΠœΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ Ρ‚Ρ€ΠΈΠ΄Ρ†Π°Ρ‚ΡŒ Ρ‚Ρ€Π΅Ρ‚ΡŒΠ΅ΠΉ ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ ΠΏΠΎ Ρ‚Π΅ΠΎΡ€ΠΈΠΈ обучСния},
    страницы = {2137--2143},
    Π³ΠΎΠ΄ = {2020},
    Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΎΡ€ = {АбСрнСти, Π”ΠΆΠ΅ΠΉΠΊΠΎΠ± ΠΈ Агарвал, Π¨ΠΈΠ²Π°Π½ΠΈ},
    Π³Ρ€ΠΎΠΌΠΊΠΎΡΡ‚ΡŒ = {125},
    сСрия = {ΠœΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ исслСдования машинного обучСния},
    мСсяц = ​​{09--12 июля},
    ΠΈΠ·Π΄Π°Ρ‚Π΅Π»ΡŒ = {PMLR},
    pdf = {http://proceedings.mlr.press/v125/jin20a/jin20a.pdf},
    URL = {https://proceedings.mlr.press/v125/jin20a.html},
    abstract = { Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ примСняСтся ΠΊ практичСским Π·Π°Π΄Π°Ρ‡Π°ΠΌ с ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ количСством состояний, Π³Π΄Π΅ \emph{аппроксимация Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·Π²Π΅Ρ€Π½ΡƒΡ‚Π° для аппроксимации Π»ΠΈΠ±ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ цСнности, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠΈ. 3T}) $ соТалСниС, Π³Π΄Π΅ $d$ β€” ΠΎΠΊΡ€ΡƒΠΆΠ°ΡŽΡ‰Π΅Π΅ ΠΈΠ·ΠΌΠ΅Ρ€Π΅Π½ΠΈΠ΅ пространства ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ², $H$ β€” Π΄Π»ΠΈΠ½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ эпизода, Π° $T$ β€” ΠΎΠ±Ρ‰Π΅Π΅ количСство шагов. Π’Π°ΠΆΠ½ΠΎ ΠΎΡ‚ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ соТалСниС Π½Π΅ зависит ΠΎΡ‚ количСства состояний ΠΈ дСйствий. }
    }

    Бноска

    %0 Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ
    %T Π”ΠΎΠΊΠ°Π·ΡƒΠ΅ΠΌΠΎ эффСктивноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ с аппроксимациСй Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ
    %А Π§ΠΈ Π”ΠΆΠΈΠ½
    %A Π§ΠΆΠΎΡ€Π°Π½ Π―Π½
    %A Π§ΠΆΠ°ΠΎΡ€Π°Π½ Π’Π°Π½
    %A Майкл I Π”ΠΆΠΎΡ€Π΄Π°Π½
    %B Π’Ρ€ΡƒΠ΄Ρ‹ Ρ‚Ρ€ΠΈΠ΄Ρ†Π°Ρ‚ΡŒ Ρ‚Ρ€Π΅Ρ‚ΡŒΠ΅ΠΉ ΠΊΠΎΠ½Ρ„Π΅Ρ€Π΅Π½Ρ†ΠΈΠΈ ΠΏΠΎ Ρ‚Π΅ΠΎΡ€ΠΈΠΈ обучСния
    %C ΠœΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ исслСдования машинного обучСния
    %D 2020
    %E Π”ΠΆΠ΅ΠΉΠΊΠΎΠ± АбСрнСти
    %E Π¨ΠΈΠ²Π°Π½ΠΈ Агарвал
    %F ΠΏΠΌΠ»Ρ€-v125-jin20a
    %I PMLR
    %P 2137--2143
    %U https://proceedings.mlr.press/v125/jin20a.html
    %V 125
    %X Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ с ΠΏΠΎΠ΄ΠΊΡ€Π΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ примСняСтся ΠΊ практичСским Π·Π°Π΄Π°Ρ‡Π°ΠΌ с ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ количСством состояний, Π³Π΄Π΅ \emph{аппроксимация Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ€Π°Π·Π²Π΅Ρ€Π½ΡƒΡ‚Π° для аппроксимации Π»ΠΈΠ±ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ цСнности, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠΈ. Π’Π²Π΅Π΄Π΅Π½ΠΈΠ΅ аппроксимации Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π΅Ρ‚ Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹ΠΉ Π½Π°Π±ΠΎΡ€ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ, связанных с Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΈ статистичСской ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ, особСнно учитывая Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ управлСния компромиссом ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π²Π΅Π΄ΠΊΠΎΠΉ ΠΈ эксплуатациСй.