ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ Π°ΡΠΌΠ°ΡΡΡΠ°: ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ Π°ΡΠΌΠ°ΡΡΡΠ° Π΄Π»Ρ ΠΠ ΠΈ ΠΠΠ Π°ΡΡΠ΅ΡΡΠΎΠ²Π°Π½Π½ΠΎΠ³ΠΎ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»Ρ
Π‘ΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΠ΅
ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ Π°ΡΠΌΠ°ΡΡΡΠ° Π΄Π»Ρ ΠΠΠ — ΠΠΠ ΠΠΠΠ ΠΠΠ’ΠΠ-1
ΠΠ»Π°Π²Π½Π°Ρ ΡΡΡΠ°Π½ΠΈΡΠ° — ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ Π°ΡΠΌΠ°ΡΡΡΠ°
ΠΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΎ 11 ΡΠΎΠ²Π°ΡΠΎΠ²
ΠΡΡ ΠΎΠ΄Π½Π°Ρ ΡΠΎΡΡΠΈΡΠΎΠ²ΠΊΠ°ΠΠΎ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΠΎΡΡΠΈΠ‘ΠΎΡΡΠΈΡΠΎΠ²ΠΊΠ° ΠΎΡ ΠΏΠΎΡΠ»Π΅Π΄Π½Π΅Π³ΠΎΠ¦Π΅Π½Ρ: ΠΏΠΎ Π²ΠΎΠ·ΡΠ°ΡΡΠ°Π½ΠΈΡΠ¦Π΅Π½Ρ: ΠΏΠΎ ΡΠ±ΡΠ²Π°Π½ΠΈΡ
12/24/48/ΠΡΠ΅
- Featured
2ΠΠ -16-1
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½Ρ2ΠΠ -16-1
ΠΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΠΎΠ΅ Π·Π²Π΅Π½ΠΎ 2ΠΠ -16-1 ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΎ Π΄Π»Ρ ΡΠ΄Π»ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΡΡΠΎΡΠ½ΡΡ ΠΏΠΎΠ΄Π²Π΅ΡΠΎΠΊ Π½Π° Π²ΠΎΠ·Π΄ΡΡΠ½ΡΡ Π»ΠΈΠ½ΠΈΠΉ ΡΠ»Π΅ΠΊΡΡΠΎΠΏΠ΅ΡΠ΅Π΄Π°Ρ (ΠΠ). ΠΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΠ΅Ρ ΠΈΠ· ΡΠ΅Π±Ρ ΡΡΡΡΠΎΠΉΡΡΠ²ΠΎ ΠΈΠ· Π΄Π²ΡΡ ΠΌΠ΅ΡΠ°Π»Π»ΠΈΡΠ΅ΡΠΊΠΈΡ ΠΏΠ»Π°ΡΡΠΈΠ½ Ρ ΠΏΡΠΎΡΡΠΈΠ½Π°ΠΌΠΈ Π½Π° ΠΊΠΎΠ½ΡΠ°Ρ ΡΠΊΡΠ΅ΠΏΠ»Π΅Π½Π½ΡΡ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠΎΠ±ΠΎΠΉ ΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΠΏΠ°Π»ΡΡΠ°ΠΌΠΈ Ρ Π±ΠΎΠ»ΡΠΎΠ²ΡΠΌ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΈ ΡΠΏΠ»ΠΈΠ½ΡΠΎΠ²ΠΎΠΉ ΡΠΈΠΊΡΠ°ΡΠΈΠ΅ΠΉ.
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠ‘ 120/150.2
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠΠ‘ 120/150.2
ΠΡΠ·ΠΊΠ° ΡΠΏΠΈΡΠ°Π»ΡΠ½Π°Ρ ΠΠ‘ 120/150.2 ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π° Π΄Π»Ρ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π·Π°ΡΠΈΡΠ΅Π½Π½ΠΎΠ³ΠΎ ΠΏΡΠΎΠ²ΠΎΠ΄Π° Π‘ΠΠ-3 ΠΊ ΡΡΡΡΠ΅Π²ΡΠΌ ΠΈ ΠΎΠΏΠΎΡΠ½ΡΠΌ ΠΈΠ·ΠΎΠ»ΡΡΠΎΡΠ°ΠΌ.
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠ-21-3 Π£Π·Π΅Π» ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠΠ-21-3 Π£Π·Π΅Π» ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ
ΠΠ-21-3 Π£Π·Π΅Π» ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π½Π°ΡΡΠΆΠ½ΡΡ ΠΈ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΡΡΡΠΈΡ ΠΏΠΎΠ΄Π²Π΅ΡΠΎΠΊ ΠΊ ΠΎΠΏΠΎΡΠ°ΠΌ ΠΠ ΠΈ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΡΡΡΡΠΎΠΉΡΡΠ².
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
- Featured
ΠΠ-2-6Π
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠΠ-2-6Π
ΠΠ-2-6Π ΠΠ°ΠΆΠΈΠΌ Π±ΠΎΠ»ΡΠΎΠ²ΠΎΠΉ Π½Π°ΡΡΠΆΠ½ΠΎΠΉ
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
Π ΠΠΠ-10-1,5-IV-Π£Π₯Π1
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ ΠΠΠ-10-1,5-IV-Π£Π₯Π1
Π Π°Π·ΡΡΠ΄Π½ΠΈΠΊ Π ΠΠΠ-10-1,5-IV-Π£Π₯Π1 ΡΡΡΡΠΎΠΉΡΡΠ²ΠΎ Π΄Π»Ρ Π·Π°ΡΠΈΡΡ ΠΠ ΠΎΡ ΠΏΡΡΠΌΡΡ ΡΠ΄Π°ΡΠΎΠ² ΠΌΠΎΠ»Π½ΠΈΠΈ ΠΈ ΠΎΡ ΠΈΠ½Π΄ΡΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΡ Π³ΡΠΎΠ·ΠΎΠ²ΡΡ ΠΏΠ΅ΡΠ΅Π½Π°ΠΏΡΡΠΆΠ΅Π½ΠΈΠΉ.
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
Π ΠΠΠ-10-4-Π£Π₯Π1/001
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ ΠΠ-20-IV-Π£Π₯Π1
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ ΠΠ-20-IV-Π£Π₯Π1
Π ΠΠ-20-IV Π£Π₯Π1 β ΠΌΡΠ»ΡΡΠΈΠΊΠ°ΠΌΠ΅ΡΠ½ΡΠΉ ΡΠ°Π·ΡΡΠ΄Π½ΠΈΠΊ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΠ²Π°Π΅Ρ ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΡΡ ΡΠ°Π±ΠΎΡΡ Π²ΡΡΠΎΠΊΠΎΠ²ΠΎΠ»ΡΡΠ½ΡΡ Π»ΠΈΠ½ΠΈΠΉΒ ΠΎΡ 6 Π΄ΠΎ 20 ΠΊΠ ΠΏΡΠΈ Π³ΡΠΎΠ·ΠΎΠ²ΡΡ ΠΏΠ΅ΡΠ΅Π½Π°ΠΏΡΡΠΆΠ΅Π½ΠΈΡΡ .
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
- Featured
Π‘Π-21-1Π°
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ‘Π-21-1Π°
Π‘ΠΎΠ΅Π΄ΠΈΠ½ΠΈΡΠ΅Π»ΡΠ½Π°Ρ ΡΠΊΠΎΠ±Π° Π‘Π-21-1Π°, Β ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ ΡΠ΅ΠΏΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠ½ΠΈΡΠ½ΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ Β«ΠΏΡΠΎΡΡΠΈΠ½Π°-ΠΏΠ°Π»Π΅ΡΒ» Π΄Π»Ρ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π³ΠΈΡΠ»ΡΠ½Π΄ ΠΈΠ·ΠΎΠ»ΡΡΠΎΡΠΎΠ² ΡΠ°ΡΠ½ΠΈΡΠ½ΡΠΌ ΠΌΠ΅ΡΠΎΠ΄ΠΎΠΌ ΠΈ Π΄Π»Ρ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π³ΡΠΎΠ·ΠΎΠ·Π°ΡΠΈΡΠ½ΡΡ ΡΡΠΎΡΠΎΠ².
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
Π‘ΠΠ-21-1
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ‘ΠΠ-21-1
Π‘ΠΠ-21-1 ΡΠΏΠ΅ΡΠΈΠ°Π»ΡΠ½Π°Ρ ΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΡΠ΅Π»ΡΠ½Π°Ρ ΡΠΊΠΎΠ±Π°, Β ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ ΡΠ΅ΠΏΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠ½ΠΈΡΠ½ΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ Π½Π° ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠ΅ Β«ΠΏΡΠΎΡΡΠΈΠ½Π°-ΠΏΠ°Π»Π΅ΡΒ» Π΄Π»Ρ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π³ΠΈΡΠ»ΡΠ½Π΄ ΠΈΠ·ΠΎΠ»ΡΡΠΎΡΠΎΠ² ΠΈ Π³ΡΠΎΠ·ΠΎΠ·Π°ΡΠΈΡΠ½ΡΡ ΡΡΠΎΡΠΎΠ².
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
Π‘Π Π‘-7-16
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ‘Π Π‘-7-16
Π‘Π΅ΡΡΠ³Π° CPC-7-16 Π΄Π»Ρ ΠΈΠ·ΠΎΠ»ΠΈΡΡΡΡΠΈΡ ΠΏΠΎΠ΄Π²Π΅ΡΠΎΠΊ Π²ΡΡΠΎΠΊΠΎΠ²ΠΎΠ»ΡΡΠ½ΡΡ Π»ΠΈΠ½ΠΈΠΉ ΡΠ»Π΅ΠΊΡΡΠΎΠΏΠ΅ΡΠ΅Π΄Π°Ρ.
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
Π£1-7-16 Π£ΡΠΊΠΎ
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
ΠΠΎΠ±Π°Π²ΠΈΡΡ Π² ΠΊΠΎΡΠ·ΠΈΠ½ΡΠ£1-7-16 Π£ΡΠΊΠΎ
Π£1-7-16 Π£ΡΠΊΠΎ ΠΎΠ΄Π½ΠΎΠ»Π°ΠΏΡΠ°ΡΠΎΠ΅Β Π΄Π»Ρ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΡΡΠ΅ΡΠΆΠ½Ρ ΠΏΠΎΠ΄Π²Π΅ΡΠ½ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ»ΡΡΠΎΡΠ° ΠΈΠ»ΠΈ ΡΠ΅ΡΡΠ³ΠΈ Ρ Π΄ΡΡΠ³ΠΎΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π°ΡΠΌΠ°ΡΡΡΠΎΠΉ.
Π¦Π΅Π½Π° ΠΏΠΎ Π·Π°ΠΏΡΠΎΡΡ
12/24/48/ΠΡΠ΅
ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ Π°ΡΠΌΠ°ΡΡΡΠ°
Π ΡΠ°ΠΌΠΊΠ°Ρ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΠΈΠΌΠΏΠΎΡΡΠΎΠ·Π°ΠΌΠ΅ΡΠ΅Π½ΠΈΡ Ρ 2010 Π³. ΠΎΡΠ²ΠΎΠ΅Π½ΠΎ ΡΠ΅ΡΠΈΠΉΠ½ΠΎΠ΅ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΡΡΠ²ΠΎ Π½ΠΎΠ²ΠΎΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π°ΡΠΌΠ°ΡΡΡΡ (Π·Π°ΠΆΠΈΠΌΠΎΠ²) Π΄Π»Ρ ΡΡΡΠΎΠΈΡΠ΅Π»ΡΡΡΠ²Π° ΠΠΠ-0,4 ΠΊΠ Ρ ΠΏΡΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ Π‘ΠΠ-4ΠΈ. ΠΠΎΠ²ΡΠ΅ Π·Π°ΠΆΠΈΠΌΡ ΠΏΡΠΎΡΠ»ΠΈ Π²ΡΠ΅ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡΠ΅ ΠΈΡΠΏΡΡΠ°Π½ΠΈΡ ΠΈ ΠΈΠΌΠ΅ΡΡ Π΄Π΅ΠΊΠ»Π°ΡΠ°ΡΠΈΠΈ ΠΎ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠΈ Π’Π°ΠΌΠΎΠΆΠ΅Π½Π½ΠΎΠ³ΠΎ ΡΠΎΡΠ·Π°.
ΠΠ°ΠΆΠΈΠΌ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡΠΈΠΉ ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΡΠΉ ΠΠΠ
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΠΎΠ³ΠΎ ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π‘ΠΠ-4ΠΈ Π·Π° Π²ΡΠ΅ ΠΏΡΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ Π½Π° ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΡΡ ΠΈ ΡΠ³Π»ΠΎΠ²ΡΡ ΠΏΡΠΎΠΌΠ΅ΠΆΡ-ΡΠΎΡΠ½ΡΡ ΠΎΠΏΠΎΡΠ°Ρ ΠΏΡΠΈ ΡΠ³Π»Π΅ ΠΏΠΎΠ²ΠΎΡΠΎΡΠ° Π΄ΠΎ 30Β°. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. Π Π°Π·ΡΡΡΠ°ΡΡΠ°Ρ Π½Π°Π³ΡΡΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 6 ΠΊΠ, ΠΌΠ°ΡΡΠ° Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,375 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΊΠΎΠ½ΡΠ΅Π²ΠΎΠΉ Π½Π°ΡΡΠΆΠ½ΠΎΠΉ ΠΠΠ-1
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΠΊΠΎΠ½ΡΠ΅Π²ΠΎΠ³ΠΎ (Π°Π½ΠΊΠ΅ΡΠ½ΠΎΠ³ΠΎ) ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π‘ΠΠ-4ΠΈ Π·Π° Π²ΡΠ΅ ΡΠΈΠ»ΠΎΠ²ΡΠ΅ ΠΏΡΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ Π½Π° ΠΊΠΎΠ½ΡΠ΅Π²ΡΡ Π°Π½ΠΊΠ΅ΡΠ½ΡΡ ΠΈ ΡΠ³Π»ΠΎΠ²ΡΡ Π°Π½ΠΊΠ΅ΡΠ½ΡΡ ΠΎΠΏΠΎΡΠ°Ρ ΠΠΠ-0,4 ΠΊΠ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠΎΠΌΠΈΠ½Π°Π»ΡΠ½ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π·Π°ΠΊΡΠ΅ΠΏΠ»ΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΏΡΠΎΠ²ΠΎΠ΄Π° β 50-95 ΠΌΠΌ2. Π Π°Π·ΡΡΡΠ°ΡΡΠ°Ρ Π½Π°-Π³ΡΡΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 27 ΠΊΠ, ΠΌΠ°ΡΡΠ° Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 1,1 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΊΠΎΠ½ΡΠ΅Π²ΠΎΠΉ Π½Π°ΡΡΠΆΠ½ΠΎΠΉ ΠΠΠ-2
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ ΠΊΠ°ΠΊ Π΄Π»Ρ ΠΊΠΎΠ½ΡΠ΅Π²ΠΎΠ³ΠΎ (Π°Π½ΠΊΠ΅ΡΠ½ΠΎΠ³ΠΎ) ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ Π‘ΠΠ-4ΠΈ Π·Π° Π²ΡΠ΅ ΡΠΈΠ»ΠΎΠ²ΡΠ΅ ΠΏΡΠΎΠ²ΠΎΠ΄Π° ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎ, ΡΠ°ΠΊ ΠΈ Π΄Π»Ρ ΠΏΡΠΎΠΌΠ΅ΠΆΡΡΠΎΡΠ½ΠΎΠ³ΠΎ (ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΈΠ²Π°ΡΡΠ΅Π³ΠΎ) ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΡ ΠΠΠ-0,4 ΠΊΠ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠΎΠΌΠΈΠ½Π°Π»ΡΠ½ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π·Π°ΠΊΡΠ΅ΠΏΠ»ΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΏΡΠΎΠ²ΠΎΠ΄Π° β 16-35 ΠΌΠΌ2. Π Π°Π·ΡΡΡΠ°ΡΡΠ°Ρ Π½Π°Π³ΡΡΠ·ΠΊΠ° Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 14,5 ΠΊΠ, ΠΌΠ°ΡΡΠ° Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,52 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΏΠ΅ΡΠ΅Ρ ΠΎΠ΄Π½ΠΎΠΉ Π²Π»Π°Π³ΠΎΠ·Π°ΡΠΈΡΡΠ½Π½ΡΠΉ ΠΠΠ
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² Π‘ΠΠ Π½Π°ΠΏΡΡΠΆΠ΅Π½ΠΈΠ΅ΠΌ 0,4 ΠΊΠ Ρ Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌΠΈ ΠΌΠ΅ΡΠ°Π»Π»ΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ ΠΏΡΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠ°ΠΌΠΈ ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΡΡΡΠΌ ΠΏΡΠΎΠΊΠΎΠ»Π° ΠΈΠ·ΠΎΠ»ΡΡΠΈΠΈ ΠΆΠΈΠ»Ρ Π‘ΠΠ ΠΈ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΠΊΠΎΠ½ΡΠ°ΠΊΡΠ° Ρ Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌ ΠΎΡΠ²Π΅ΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΡΠΌ ΠΏΡΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠΎΠΌ; Π΄Π»Ρ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² (Π½ΡΠ»Π΅Π²ΠΎΠΉ ΠΆΠΈΠ»Ρ) Ρ Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌΠΈ Π½ΡΠ»Π΅Π²ΡΠΌΠΈ ΠΆΠΈΠ»Π°ΠΌΠΈ ΠΈ Π·Π°Π·Π΅ΠΌΠ»ΡΡΡΠΈΠΌΠΈ ΠΏΡΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠ°ΠΌΠΈ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. Π‘Π΅ΡΠ΅Π½ΠΈΠ΅ ΡΠΎΠ΅Π΄ΠΈΠ½ΡΠ΅ΠΌΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄Π½ΠΈΠΊΠΎΠ² β 16-95 ΠΌΠΌ2, ΠΌΠ°ΡΡΠ° Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,18 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΎΡΠ²Π΅ΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ ΠΏΡΠΎΠΊΠ°Π»ΡΠ²Π°ΡΡΠΈΠΉ Π³Π΅ΡΠΌΠ΅ΡΠΈΡΠ½ΡΠΉ Π·ΠΎΠΏΠ³-1
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΠΠ-0,4 ΠΊΠ Ρ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌΠΈ ΠΏΡΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΡΡΡΠΌ ΠΏΡΠΎΠΊΠΎΠ»Π° ΠΈΠ·ΠΎΠ»ΡΡΠΈΠΈ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠ°Π³ΠΈΡΡΡΠ°Π»ΠΈ 16-95 ΠΌΠΌ2, ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΡ 16-95 ΠΌΠΌ2, ΠΌΠ°ΡΡΠΎΠΉ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,18 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΎΡΠ²Π΅ΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ ΠΏΡΠΎΠΊΠ°Π»ΡΠ²Π°ΡΡΠΈΠΉ Π³Π΅ΡΠΌΠ΅ΡΠΈΡΠ½ΡΠΉ Π·ΠΎΠΏΠ³-2
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΠΠ-0,4 ΠΊΠ Ρ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌΠΈ ΠΏΡΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΏΡΡΡΠΌ ΠΏΡΠΎΠΊΠΎΠ»Π° ΠΈΠ·ΠΎΠ»ΡΡΠΈΠΈ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠ°Π³ΠΈΡΡΡΠ°Π»ΠΈ 16-95 ΠΌΠΌ2, ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΡ 4,0-35 ΠΌΠΌ2, ΠΌΠ°ΡΡΠΎΠΉ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,13 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ ΠΎΡΠ²Π΅ΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ ΠΏΡΠΎΠΊΠ°Π»ΡΠ²Π°ΡΡΠΈΠΉ Π³Π΅ΡΠΌΠ΅ΡΠΈΡΠ½ΡΠΉ Π·ΠΎΠΏΠ³-3
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΡΠΎΠ½Π°ΡΠ½ΠΎΠ³ΠΎ ΠΈ Π½ΡΠ»Π΅Π²ΠΎΠ³ΠΎ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΠΠ-0,4 ΠΊΠ Ρ ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΡΡΡΠΈΠΌΠΈ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌΠΈ ΠΏΡΠΎΠ²ΠΎΠ΄Π°ΠΌΠΈ ΠΏΠΈΡΠ°Π½ΠΈΡ ΡΠ²Π΅ΡΠΈΠ»ΡΠ½ΠΈΠΊΠ° ΡΠ»ΠΈΡΠ½ΠΎΠ³ΠΎ ΠΎΡΠ²Π΅ΡΠ΅Π½ΠΈΡ, Π° ΡΠ°ΠΊΠΆΠ΅ Π΄Π»Ρ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΏΡΠΈ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠΈ ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΈΡ Π²Π²ΠΎΠ΄ΠΎΠ² Π² Π·Π΄Π°Π½ΠΈΡ ΠΈ ΡΠΎΠΎΡΡΠΆΠ΅Π½ΠΈΡ (Π°Π±ΠΎΠ½Π΅Π½ΡΡΠΊΠΈΠ΅ ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΡ) ΠΏΡΡΡΠΌ ΠΏΡΠΎΠΊΠΎΠ»Π° ΠΈΠ·ΠΎΠ»ΡΡΠΈΠΈ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠ°Π³ΠΈΡΡΡΠ°Π»ΠΈ 16-95 ΠΌΠΌ2, ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΡ 2,5-6,0 ΠΌΠΌ2, ΠΌΠ°ΡΡΠΎΠΉ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ 0,1 ΠΊΠ³. Π‘ΡΠΎΠΊ ΡΠ»ΡΠΆΠ±Ρ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ 25 Π»Π΅Ρ.
ΠΠ°ΠΆΠΈΠΌ Π³ΡΠΎΠ·ΠΎΠ·Π°ΡΠΈΡΠ½ΡΠΉ Π·Π³-10
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ ΠΎΡΠ²ΠΎΠ΄Π° ΡΠ»Π΅ΠΊΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΠ°Π·ΡΡΠ΄Π° ΠΏΡΠΈ Π°ΡΠΌΠΎΡΡΠ΅ΡΠ½ΡΡ ΠΏΠ΅ΡΠ΅Π½Π°ΠΏΡΡΠΆΠ΅Π½ΠΈΡΡ (ΠΏΡΠΈ ΡΠ΄Π°ΡΠ°Ρ ΠΌΠΎΠ»Π½ΠΈΠΈ) Π½Π° ΠΠΠ. ΠΠΎΠΆΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡΡΡ Π΄Π»Ρ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΠΉ ΠΎΡ ΠΠΠ Π½Π΅ΠΈΠ·ΠΎΠ»ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΠ (6-20 ΠΊΠ). ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. Π’Π£ Π Π 00114241.011-98.
ΠΠ°ΠΆΠΈΠΌ ΠΎΡΠ²Π΅ΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΡΠΉ ΠΏΡΠΎΠΊΠ°Π»ΡΠ²Π°ΡΡΠΈΠΉ ΠΠΠ-10
ΠΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½ Π΄Π»Ρ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΏΡΠΈΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΡ ΠΊ ΠΏΡΠΎΠ²ΠΎΠ΄Π°ΠΌ ΠΠΠ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΎΡΠ²Π΅ΡΠ²Π»Π΅Π½ΠΈΠΉ, ΠΏΠΎΠΊΡΡΡΡΡ ΠΈΠ·ΠΎΠ»ΠΈΡΡΡΡΠ΅ΠΉ ΠΎΠ±ΠΎΠ»ΠΎΡΠΊΠΎΠΉ, ΠΏΡΡΡΠΌ ΠΏΡΠΎΠΊΠ°Π»ΡΠ²Π°Π½ΠΈΡ ΠΈΠ·ΠΎΠ»ΠΈΡΡΡΡΠ΅ΠΉ ΠΎΠ±ΠΎΠ»ΠΎΡΠΊΠΈ Π·Π°ΠΆΠΈΠΌΠΎΠΌ. ΠΠ»ΠΈΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΈΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ Π£Π₯Π ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ 1 ΠΏΠΎ ΠΠΠ‘Π’ 15150. ΠΠΎΠΌΠΈΠ½Π°Π»ΡΠ½ΠΎΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ ΡΠΎΠ΅Π΄ΠΈΠ½ΡΠ΅ΠΌΡΡ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΎΠ² ΠΠΠ β 35-120 ΠΌΠΌ2. Π’Π£ Π Π 00114241.011-98.
ΠΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ Q-ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΈ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ
ΠΊΠ»Π°ΡΡ, Ρ Ρ
ΠΎΡΠ΅Π» Π½Π°ΠΏΠΈΡΠ°ΡΡ Π±ΠΎΠ»ΡΡΠ΅ ΠΎΠ± ΠΎΠ±ΡΡΠ΅Π½ΠΈΠΈ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ, ΠΏΠΎΡΡΠΎΠΌΡ Π²
Π² ΡΡΠΎΠΌ ΠΏΠΎΡΡΠ΅ Ρ Π΄Π°ΠΌ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² ΠΎ Q-Learning ΠΈ Linear Function.
ΠΡΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅. Π― Π½Π°Π΄Π΅ΡΡΡ, ΡΡΠΎ ΡΡΠΈ ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΡ ΠΌΠΎΠ³ΡΡ ΠΏΠΎΡΠ»ΡΠΆΠΈΡΡ Π΅ΡΠ΅ ΠΎΠ΄Π½ΠΈΠΌ Π½Π°Π±ΠΎΡΠΎΠΌ ΠΊΡΠ°ΡΠΊΠΈΡ
RL
Π²Π²Π΅Π΄Π΅Π½ΠΈΡ, ΠΏΠΎΡ
ΠΎΠΆΠΈΠ΅ Π½Π° ΠΎΡΠ»ΠΈΡΠ½ΡΠΉ ΠΏΠΎΡΡ ΠΠ½Π΄ΡΠ΅Ρ ΠΎ Π³Π»ΡΠ±ΠΎΠΊΠΎΠΌ RL.
Π ΠΏΡΠΎΡΠ»ΠΎΠΌ Π³ΠΎΠ΄Ρ Ρ ΡΠΆΠ΅ ΠΏΠΈΡΠ°Π» ΠΎΠ± ΠΎΡΠ½ΠΎΠ²Π°Ρ
MDP ΠΈ RL. ΠΡΠΎΡ
ΡΠ΅ΠΊΡΡΠΈΠΉ ΡΠ»ΡΠΆΠΈΡ ΠΏΡΠΎΠ΄ΠΎΠ»ΠΆΠ΅Π½ΠΈΠ΅ΠΌ ΡΡΠΎΠ³ΠΎ, ΠΎΠ±ΡΡΠΆΠ΄Π°Ρ, ΠΊΠ°ΠΊ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°ΡΡ RL
Π² Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ, Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΡΠ΅, ΡΠ΅ΠΌ ΠΏΡΠΎΡΡΡΠ΅ ΡΠ°Π±Π»ΠΈΡΠ½ΡΠ΅ ΡΡΠ΅Π½Π°ΡΠΈΠΈ, Π½ΠΎ
Π΄Π°Π»Π΅ΠΊΠΎ Π½Π΅ ΡΠ°ΠΊ ΡΠ»ΠΎΠΆΠ½ΠΎ, ΠΊΠ°ΠΊ, ΡΠΊΠ°ΠΆΠ΅ΠΌ, Π½Π°ΡΡΠΈΡΡΡΡ ΠΈΠ³ΡΠ°ΡΡ Π² ΠΈΠ³ΡΡ Atari ΠΎΡ
Π²ΡΡΠΎΠΊΠΎΡΠ°Π·ΠΌΠ΅ΡΠ½ΡΠΉ Π²Π²ΠΎΠ΄. Π― Π½Π΅ Π±ΡΠ΄Ρ ΡΡΠ°ΡΠΈΡΡ ΡΠ»ΠΈΡΠΊΠΎΠΌ ΠΌΠ½ΠΎΠ³ΠΎ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ, ΠΏΡΡΠ°ΡΡΡ ΡΠ°Π±ΠΎΡΠ°ΡΡ, Ρ
ΠΎΡΡ
Π’Π΅ΠΌΡ Π² ΡΡΠΎΠΌ ΠΏΠΎΡΡΠ΅, Ρ
ΠΎΡΡ. Π― Ρ
ΠΎΡΡ ΡΠΎΡ
ΡΠ°Π½ΠΈΡΡ ΡΠ²ΠΎΠΈ ΡΡΠΈΠ»ΠΈΡ Π΄Π»Ρ Π³Π»ΡΠ±ΠΎΠΊΠΈΠΉ ΡΠΎΡΡ ,
ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ΅ΠΉΡΠ°Ρ Π² ΠΌΠΎΠ΄Π΅ ΠΈ ΡΠ΅ΠΌΠ°, ΠΊΠΎΡΠΎΡΡΡ Ρ Π½Π°Π΄Π΅ΡΡΡ Π² ΠΊΠΎΠ½Π΅ΡΠ½ΠΎΠΌ ΠΈΡΠΎΠ³Π΅ Π½Π°ΠΏΠΈΡΠ°ΡΡ
ΠΌΠ½ΠΎΠ³ΠΎ ΠΎ Π΄Π»Ρ ΡΡΠΎΠ³ΠΎ Π±Π»ΠΎΠ³Π°.
Π§ΡΠΎΠ±Ρ ΠΏΠΎΠΌΠΎΡΡ Π½Π°ΠΏΠΈΡΠ°ΡΡ ΡΡΠΎΡ ΠΏΠΎΡΡ, Π²ΠΎΡ Π΄Π²Π΅ ΡΡΡΠ»ΠΊΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π» Π΄Π»Ρ Π±ΡΡΡΡΠΎΠ³ΠΎ ΠΏΡΠΎΡΠΌΠΎΡΡΠ°
Q-Learning Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠ΅ΠΉ ΡΡΠ½ΠΊΡΠΈΠΉ.
- Π£ΡΠ΅Π±Π½ΠΎΠ΅ ΠΏΠΎΡΠΎΠ±ΠΈΠ΅ ΠΏΠΎ RL ΠΈ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΎΡΠ°ΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΡΡ ΡΡΠ½ΠΊΡΠΈΠΉ
- ΠΠ½ΠΈΠ³Π° RL ΠΠ°ΡΡΠΎ ΠΈ Π‘Π°ΡΡΠΎΠ½Π° Π² ΡΠΎΡΠΌΠ°ΡΠ΅ HTML
Π― ΠΏΡΠΎΡΠΈΡΠ°Π» (1) ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΈ (2) Π»ΠΈΡΡ ΡΠ°ΡΡΠΈΡΠ½ΠΎ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΡΠΎ Π²ΡΠ΅-ΡΠ°ΠΊΠΈ ΡΠ΅Π»Π°Ρ ΠΊΠ½ΠΈΠ³Π°
(ΠΎΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ Π°Π²ΡΠΎΡΡ Π½Π°Ρ
ΠΎΠ΄ΡΡΡΡ Π² ΠΏΡΠΎΡΠ΅ΡΡΠ΅ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ Π½ΠΎΠ²ΠΎΠ³ΠΎ ΠΈΠ·Π΄Π°Π½ΠΈΡ!). {(i)}\), ΠΌΡ Π²ΡΠ±ΠΈΡΠ°Π΅ΠΌ ΠΎΡΠ΅Π½Ρ ΠΌΠ°Π»Π΅Π½ΡΠΊΠΎΠ΅ ΠΏΠΎΠ΄ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ
ΡΠΎΡΡΠΎΡΠ½ΠΈΡ \(S’ \ΠΏΠΎΠ΄ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ S\) ΠΈ Π²ΡΡΠΈΡΠ»ΠΈΡΡ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΡΡ ΡΠ΅Π·Π΅ΡΠ²Π½ΡΡ ΠΊΠΎΠΏΠΈΡ ΠΠ΅Π»Π»ΠΌΠ°Π½Π° Π·Π° ΠΎΠ΄ΠΈΠ½ ΡΠ°Π³
ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ: 92\]
, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΠΎΠΆΠ½ΠΎ Π²ΡΠΏΠΎΠ»Π½ΠΈΡΡ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ. ΠΡΠΎ, Π²
ΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈ, ΠΏΡΠΈΠΌΠ΅Ρ ΡΡΠΎΡ
Π°ΡΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠ½ΠΎΠ³ΠΎ ΡΠΏΡΡΠΊΠ°.
ΠΡΠ΅ΠΆΠ΄Π΅ ΡΠ΅ΠΌ Π΄Π²ΠΈΠ³Π°ΡΡΡΡ Π΄Π°Π»ΡΡΠ΅, ΡΡΠΎΠΈΡ ΠΎΡΠΌΠ΅ΡΠΈΡΡ ΠΎΡΠ΅Π²ΠΈΠ΄Π½ΠΎΠ΅: ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ Value
ΠΡΠ΅ΡΠ°ΡΠΈΡ Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠ΅ΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΡΡΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ Π·Π°Π²ΠΈΡΠ΅ΡΡ ΠΎΡ
ΠΊΠ°ΡΠ΅ΡΡΠ²ΠΎ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ² (Π½Π°ΡΡΠ΄Ρ Ρ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ ΡΡΠ½ΠΊΡΠΈΠΈ, Ρ.Π΅. Π»ΠΈΠ½Π΅ΠΉΠ½ΡΠΌ,
Π½Π΅ΠΉΡΠΎΠ½Π½Π°Ρ ΡΠ΅ΡΡ ΠΈ Π΄Ρ.). ΠΡΠ»ΠΈ Π²Ρ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΠ΅ΡΠ΅ ΠΠ Π΄Π»Ρ ΠΈΠ³ΡΡ Π² PacMan, ΡΠΎΡΡΠΎΡΠ½ΠΈΡ
\(s\) Π±ΡΠ΄Π΅Ρ ΠΈΠ³ΡΠΎΠ²ΡΠΌ ΠΏΠΎΠ»Π΅ΠΌ, ΠΊΠΎΡΠΎΡΠΎΠ΅ ΡΠ»ΠΈΡΠΊΠΎΠΌ ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅ΡΠ½ΠΎ Π΄Π»Ρ ΡΠ°Π±Π»ΠΈΡΠ½ΠΎΠ³ΠΎ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ.
ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ. Π§Π΅ΡΡΡ ΠΈΠ΄Π΅Π°Π»ΡΠ½ΠΎ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡ ΡΡΠΎ-ΡΠΎ ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½ΠΎ ΠΊ
ΠΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ PacMan Π² ΠΈΠ³ΡΠ΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ Π΄ΠΎ Π±Π»ΠΈΠΆΠ°ΠΉΡΠ΅Π³ΠΎ ΠΏΡΠΈΠ·ΡΠ°ΠΊΠ°,
ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠ΅ Π΄ΠΎ Π±Π»ΠΈΠΆΠ°ΠΉΡΠ΅ΠΉ ΠΏΡΠ»ΠΈ, ΠΏΠΎΠΉΠΌΠ°Π½ Π»ΠΈ PacMan ΠΈ ΡΠ°ΠΊ Π΄Π°Π»Π΅Π΅. ΠΠ΅
ΠΏΡΠ΅Π½Π΅Π±ΡΠ΅Π³Π°ΠΉΡΠ΅ ΠΈΡΠΊΡΡΡΡΠ²ΠΎΠΌ ΠΈ ΡΠ΅Ρ
Π½ΠΈΠΊΠΎΠΉ Π²ΡΠ±ΠΎΡΠ° ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ²!
Q-Learning Ρ ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎΠΉ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠ΅ΠΉ
ΠΡΠ΅ΡΠ°ΡΠΈΡ Π·Π½Π°ΡΠ΅Π½ΠΈΡ
Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠ΅ΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ β ΡΡΠΎ Ρ
ΠΎΡΠΎΡΠΎ, Π½ΠΎ, ΠΊΠ°ΠΊ Ρ ΡΠΏΠΎΠΌΠΈΠ½Π°Π» Π² ΡΠ²ΠΎΠ΅ΠΌ
ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΠΉ ΠΏΠΎΡΡ, ΡΠΎ, ΡΡΠΎ ΠΌΡ Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ Ρ
ΠΎΡΠΈΠΌ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅, ΡΡΠΎ Π·Π½Π°ΡΠ΅Π½ΠΈΡ \(Q(s,a)\) ΠΈΠ·-Π·Π°
ΠΊΠ»ΡΡΠ΅Π²ΠΎΠΉ ΡΠ°ΠΊΡ, ΡΡΠΎ
\[\pi(s) = \arg_a \max Q^*(s,a)\]
, ΡΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΈΠ·Π±Π΅ΠΆΠ°ΡΡ Π΄ΠΎΡΠΎΠ³ΠΎΡΡΠΎΡΡΠ΅ΠΉ ΡΡΠΌΠΌΡ ΠΏΠΎ ΡΡΠ°ΡΠ°ΠΌ. Π’ \ ΡΠΈ (Ρ, Π°) \]
Π§ΡΠΎ Π² ΡΡΠΎΠΌ ΡΠ»ΠΎΠΆΠ½ΠΎΠ³ΠΎ, ΡΠ°ΠΊ ΡΡΠΎ ΡΠΎ, ΡΡΠΎ ΠΎΠ±ΡΡΠ½ΠΎ Π³ΠΎΡΠ°Π·Π΄ΠΎ ΠΏΡΠΎΡΠ΅ ΡΠ°ΡΡΡΠΆΠ΄Π°ΡΡ
ΠΎ ΡΡΠ½ΠΊΡΠΈΡΡ
, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ²Π»ΡΡΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΡΡΠ½ΠΊΡΠΈΡΠΌΠΈ ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ . ΠΠΎΠ΄ΡΠΌΠ°ΠΉΡΠ΅ ΠΎ PacMan
ΠΏΡΠΈΠΌΠ΅Ρ ΠΈΠ· ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅Π³ΠΎ: ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π»Π΅Π³ΠΊΠΎ Π΄ΡΠΌΠ°ΡΡ ΠΎ ΡΡΠ½ΠΊΡΠΈΡΡ
, ΠΏΡΠΎΡΡΠΎ
Π³Π»ΡΠ΄Ρ Π½Π° ΡΠΎ, ΡΡΠΎ Π½Π°Ρ
ΠΎΠ΄ΠΈΡΡΡ Π½Π° ΠΈΠ³ΡΠΎΠ²ΠΎΠΉ ΡΠ΅ΡΠΊΠ΅, Π½ΠΎ ΡΠ»ΠΎΠΆΠ½Π΅Π΅ Π·Π°Π΄Π°ΡΡΡΡ Π²ΠΎΠΏΡΠΎΡΠΎΠΌ, ΡΡΠΎ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ
ΠΊ Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΡΠΎΡΡΠΎΡΠ½ΠΈΡ ΠΏΡΠΈ ΡΡΠ»ΠΎΠ²ΠΈΠΈ, ΡΡΠΎ Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ \(a\) ΠΈΠΌΠ΅Π΅Ρ ΠΌΠ΅ΡΡΠΎ .
ΠΠΎ ΡΡΠΎΠΉ ΠΏΡΠΈΡΠΈΠ½Π΅ Ρ ΠΏΡΠ΅Π΄ΠΏΠΎΡΠΈΡΠ°Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΉ Β«ΡΡΡΠΊ Ρ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΈΠ·ΠΌΠ΅ΡΠ΅Π½ΠΈΡΒ».
ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½ΠΎ ΡΡΡΠ»ΠΊΠΎΠΉ (1) Π²ΡΡΠ΅, ΡΡΠΎ Π΄Π΅Π»Π°Π΅Ρ ΡΠ°Π·Π»ΠΈΡΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρ
ΡΠ°Π·Π½ΡΠ΅ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ ΡΠ²Π½ΡΠ΅. Π§ΡΠΎΠ±Ρ Π±ΡΠ»ΠΎ ΠΏΠΎΠ½ΡΡΠ½ΠΎ, ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΡΡΠ΅ MDP Ρ Π΄Π²ΡΠΌΡ ΡΡΠ½ΠΊΡΠΈΡΠΌΠΈ.
ΠΈ ΡΠ΅ΡΡΡΠ΅ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ. Π€ΡΠ½ΠΊΡΠΈΠΈ Π΄Π»Ρ ΠΏΠ°ΡΡ ΡΠΎΡΡΠΎΡΠ½ΠΈΠ΅-Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ \((s,a_i)\) ΠΌΠΎΠ³ΡΡ Π±ΡΡΡ Π·Π°ΠΊΠΎΠ΄ΠΈΡΠΎΠ²Π°Π½Ρ
ΠΊΠ°ΠΊ:
\[\ΡΠΈ(Ρ,Π°_1) =
\begin{bΠΌΠ°ΡΡΠΈΡΠ°}
\psi_1(s,a_1) \\
\psi_2(s,a_1) \\
0 \\
0 \\
0 \\
0 \\
0 \\
0 \\
1
\end{bmatrix}
,\ΡΠ΅ΡΠ²Π΅ΡΠΊΠ°
\ΡΠΈ(Ρ,Π°_2) =
\begin{bmatrix}
0 \\
0 \\
\psi_1(s,a_2) \\
\psi_2(s,a_2) \\
0 \\
0 \\
0 \\
0 \\
1
\end{bmatrix}
,\ΡΠ΅ΡΠ²Π΅ΡΠΊΠ°
\ΡΠΈ(Ρ,Π°_3) =
\begin{bmatrix}
0 \\
0 \\
0 \\
0 \\
\psi_1(s,a_3) \\
\psi_2(s,a_3) \\
0 \\
0 \\
1
\end{bmatrix}
,\ΡΠ΅ΡΠ²Π΅ΡΠΊΠ°
\ΡΠΈ(Ρ,Π°_4) =
\begin{bmatrix}
0 \\
0 \\
0 \\
0 \\
0 \\
0 \\
\psi_1(s,a_4) \\
\psi_2(s,a_4) \\
1
\ΠΊΠΎΠ½Π΅Ρ{bmatrix}\]
ΠΠ°ΡΠ΅ΠΌ Π½ΡΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ°Π·Π½ΡΠ΅ ΡΡΠ½ΠΊΡΠΈΠΈ Π΄Π»Ρ ΡΠ°Π·Π½ΡΡ
Π΄Π΅ΠΉΡΡΠ²ΠΈΠΉ? ΠΠ½ΡΡΠΈΡΠΈΠ²Π½ΠΎ, Π΅ΡΠ»ΠΈ ΠΌΡ
Π½Π΅ ΡΠ΄Π΅Π»Π°Π» ΡΡΠΎΠ³ΠΎ (ΠΈ ΡΠΎΡ
ΡΠ°Π½ΠΈΠ» \(\phi(s,a)\) Π²ΡΠ΅Π³ΠΎ Ρ Π΄Π²ΡΠΌΡ Π½Π΅ΠΏΡΠ΅Π΄Π²Π·ΡΡΡΠΌΠΈ ΠΏΡΠΈΠ·Π½Π°ΠΊΠ°ΠΌΠΈ), ΡΠΎ
Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΠΈΠΌΠ΅ΡΡ Π½ΠΈΠΊΠ°ΠΊΠΎΠ³ΠΎ ΡΡΡΠ΅ΠΊΡΠ°! ΠΠΎ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ 9ΠΡ 0005 Π΄ΠΎ Π²Π»ΠΈΡΡΡ Π½Π° ΠΈΠ³ΡΡ. ΠΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ
ΡΠ½ΠΎΠ²Π° ΠΏΡΠΈΠΌΠ΅Ρ PacMan, ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΡΡΠ΅, ΡΡΠΎ Ρ Π°Π³Π΅Π½ΡΠ° PacMan Π΅ΡΡΡ Π³ΡΠ°Π½ΡΠ»Π° Π΄Π»Ρ Π΅Π³ΠΎ
Π²Π»Π΅Π²ΠΎ, ΡΠ°ΠΊ ΡΡΠΎ Π°Π³Π΅Π½Ρ Π½Π°Ρ
ΠΎΠ΄ΠΈΡΡΡ Π² ΠΎΠ΄Π½ΠΎΠΌ ΡΠ°Π³Π΅ ΠΎΡ Π½Π΅ΠΏΠΎΠ±Π΅Π΄ΠΈΠΌΠΎΡΡΠΈ. Π ΡΠΎ ΠΆΠ΅ Π²ΡΠ΅ΠΌΡ,
ΠΎΠ΄Π½Π°ΠΊΠΎ ΡΠΏΡΠ°Π²Π° ΠΎΡ ΠΠ°ΠΊΠΌΠ°Π½Π° ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ ΠΏΡΠΈΠ·ΡΠ°ΠΊ! ΠΠ΅ΠΉΡΡΠ²ΠΈΠ΅, ΠΊΠΎΡΠΎΡΠΎΠ΅ Π²ΡΠΏΠΎΠ»Π½ΡΠ΅Ρ PacMan
Π² ΡΡΠΎΠΌ ΡΠΎΡΡΠΎΡΠ½ΠΈΠΈ (ΠΠΠΠΠ ΠΈΠ»ΠΈ ΠΠΠ ΠΠΠ) ΠΎΠΊΠ°ΠΆΠ΅Ρ ΡΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎΠ΅ Π²Π»ΠΈΡΠ½ΠΈΠ΅ Π½Π° ΡΠ΅Π·ΡΠ»ΡΡΠΈΡΡΡΡΠΈΠΉ
Π½Π°Π³ΡΠ°Π΄Π° ΠΏΠΎΠ»ΡΡΠ΅Π½Π°! ΠΠΎΡΡΠΎΠΌΡ Π²Π°ΠΆΠ½ΠΎ ΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ Π²ΠΎ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ, ΠΊΠΎΠ³Π΄Π°
ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Ρ Q-Π·Π½Π°ΡΠ΅Π½ΠΈΡ.
ΠΠ°ΠΏΠΎΠΌΠΈΠ½Π°Π΅ΠΌ, ΡΡΠΎ ΠΏΡΠ΅ΠΆΠ΄Π΅ ΡΠ΅ΠΌ Π΄Π²ΠΈΠ³Π°ΡΡΡΡ Π΄Π°Π»ΡΡΠ΅, Π½Π΅ Π·Π°Π±ΡΠ΄ΡΡΠ΅ ΡΠ΅ΡΠΌΠΈΠ½ ΡΠΌΠ΅ΡΠ΅Π½ΠΈΡ! ΠΎΠ½ΠΈ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΡ
ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°ΡΡ Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΈ Π½Π΅Π·Π°Π²ΠΈΡΠΈΠΌΠΎ ΠΎΡ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ².
ΠΠ½Π»Π°ΠΉΠ½-ΠΎΠ±ΠΎΡΠ½ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠ΅ΡΠΎΠ΄ΠΎΠΌ Π½Π°ΠΈΠΌΠ΅Π½ΡΡΠΈΡ ΠΊΠ²Π°Π΄ΡΠ°ΡΠΎΠ² Π΄Π»Ρ Q-Learning
Π’Π΅ΠΏΠ΅ΡΡ Ρ Ρ
ΠΎΡΡ Π½Π°Π±ΡΠΎΡΠ°ΡΡ Π²ΡΠ²ΠΎΠ΄ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ Q-Learning, ΡΡΠΎΠ±Ρ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΡΡ ΠΈΠ½ΡΡΠΈΡΠΈΡ
ΠΏΠΎΡΠ΅ΠΌΡ ΡΡΠΎ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ. ΠΠ½Π°Π½ΠΈΠ΅ ΡΡΠΎΠ³ΠΎ ΡΠ°ΠΊΠΆΠ΅ Π²Π°ΠΆΠ½ΠΎ Π΄Π»Ρ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΡ ΡΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅
ΠΏΡΠΎΡΠ΅ΡΡ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Π΄Π»Ρ Π±ΠΎΠ»Π΅Π΅ ΠΏΡΠΎΠ΄Π²ΠΈΠ½ΡΡΠΎΠ³ΠΎ Π°Π»Π³ΠΎΡΠΈΡΠΌΠ°/Π°ΡΡ
ΠΈΡΠ΅ΠΊΡΡΡΡ Deep-Q-Network.
ΠΡΠ·ΠΎΠ² ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΠΎΠ³ΠΎ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ Q-Learning Π±Π΅Π· Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ ΡΡΠ½ΠΊΡΠΈΠΈ:
\[Q(s,a) \leftarrow (1-\alpha) Q(s,a) + \alpha \underbrace{[R(s,a,s’) + \gamma \max_{a’}Q(s ‘, Π°’)]} _ {\ rm ΠΎΠ±ΡΠ°Π·Π΅Ρ} \]
9{(i)}\) Π²
ΠΈΡΠ΅ΡΠ°ΡΠΈΡ \(i\) Π°Π»Π³ΠΎΡΠΈΡΠΌΠ°, ΠΈ Π²Ρ Ρ
ΠΎΡΠΈΡΠ΅ Π²ΡΡΡΠ½ΠΈΡΡ, ΠΊΠ°ΠΊ Π΅Π³ΠΎ ΠΎΠ±Π½ΠΎΠ²ΠΈΡΡ. T\phi(s)\),
Π° Π·Π°ΡΠ΅ΠΌ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ ΠΎΠΏΠΈΡΠ°Π½Π½ΡΠΉ Π²ΡΡΠ΅ Β«ΡΡΡΠΊ Ρ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΡΠ°Π·ΠΌΠ΅ΡΠΎΠ²Β», ΡΡΠΎΠ±Ρ ΡΠ΄Π΅Π»Π°ΡΡ
Q-Learning ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅.
ΡΡΡΠΎΠ³ΠΎΠ΅ ΠΎΠ±ΠΎΡΠ½ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠΎΠ³ΠΎ, ΠΏΠΎΡΠ΅ΠΌΡ ΡΡΠΎ ΠΈΠΌΠ΅Π΅Ρ ΡΠΌΡΡΠ», Π²ΠΌΠ΅ΡΡΠΎ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»Π°Π³Π°ΡΡΡΡ Π½Π° ΠΌΠ°Ρ Π°Π½ΠΈΠ΅ ΡΡΠΊΠ°ΠΌΠΈ
Π°ΡΠ³ΡΠΌΠ΅Π½ΡΡ.
ΠΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ²ΠΎ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΡΠ΅ΠΌΠΎΡΡΠΈ Q-Learning (ΠΈΠ»ΠΈ Value Iteration) Ρ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠ΅ΠΉ
ΠΏΡΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ΅Ρ Π·Π²ΡΡΠ°ΡΡ Π²Π΅Π»ΠΈΠΊΠΎΠ»Π΅ΠΏΠ½ΠΎ ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ Ρ ΡΠ°Π±Π»ΠΈΡΠ½ΡΠΌΠΈ Π²Π΅ΡΡΠΈΡΠΌΠΈ, Π½ΠΎ Π²ΠΎΡ
ΠΊΡΠΈΡΠΈΡΠ΅ΡΠΊΠΈΠΉ Π²ΠΎΠΏΡΠΎΡ: ΡΠ²Π»ΡΠ΅ΡΡΡ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΎΡΠΎΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ, ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ΡΡΠΈΠΌ Π΄Π»Ρ
ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° ?
ΠΡΠΎ Π²Π°ΠΆΠ½ΠΎ, ΠΏΠΎΡΠΎΠΌΡ ΡΡΠΎ ΠΌΠ½ΠΎΠ³ΠΈΠ΅ ΡΠ΅ΠΊΡΡΠΈΠ΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ ΠΏΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ
ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ ΠΊ ΡΠ»ΠΎΠΆΠ½ΡΠΌ ΠΈ ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅ΡΠ½ΡΠΌ Π΄Π°Π½Π½ΡΠΌ. ΠΡΠ»ΠΈΡΠ½ΡΠΉ ΠΏΡΠΈΠΌΠ΅Ρ ΠΈ
Π²Π΅ΡΠΎΡΡΠ½ΠΎ, ΡΠ°ΠΌΡΠΉ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠΉ β Π½Π°ΡΡΠΈΡΡΡΡ ΠΈΠ³ΡΠ°ΡΡ Π² ΠΈΠ³ΡΡ Atari Ρ Π½ΡΠ»Ρ.
(210,160,3)-ΠΌΠ΅ΡΠ½ΡΠ΅ ΠΌΠ°ΡΡΠΈΠ²Ρ. ΠΠΈΠ½Π΅ΠΉΠ½Π°Ρ ΡΡΠ½ΠΊΡΠΈΡ ΠΏΡΠΎΡΡΠΎ Π½Π΅ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½Π° ΠΏΡΠΈ
ΠΈΠ·ΡΡΠ΅Π½ΠΈΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΠΉ \(Q(s,a)\) Π΄Π»Ρ ΡΡΠΈΡ
Π·Π°Π΄Π°Ρ, ΠΏΠΎΡΠΎΠΌΡ ΡΡΠΎ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ
ΠΏΠΎ ΡΠ²ΠΎΠ΅ΠΉ ΡΡΡΠΈ Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½ΡΠΉ ! ΠΠ°Π»ΡΠ½Π΅ΠΉΡΠ΅Π΅ ΠΎΠ±ΡΡΠΆΠ΄Π΅Π½ΠΈΠ΅ ΡΡΠΎΠ³ΠΎ Π²ΠΎΠΏΡΠΎΡΠ° Π²ΡΡ
ΠΎΠ΄ΠΈΡ Π·Π° ΡΠ°ΠΌΠΊΠΈ
ΡΡΠΎΡ ΠΏΠΎΡΡ, Π½ΠΎ Π΅ΡΠ»ΠΈ Π²Π°ΠΌ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΠΎ, ΠΠ½Π΄ΡΡ ΠΠ³ ΠΎΠ±ΡΠ°ΡΠΈΠ»ΡΡ ΠΊ ΡΡΠΎΠΌΡ Π² ΡΠ²ΠΎΠ΅ΠΌ Π²ΡΡΡΡΠΏΠ»Π΅Π½ΠΈΠΈ Π½Π°
Π¨ΠΊΠΎΠ»Π° Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Bay Area ΠΌΠ΅ΡΡΡ Π½Π°Π·Π°Π΄. ΠΠ΅Π²ΠΈΠ½ ΠΠ°ΠΊΠΊΠ° Π²Π΅Π΄Π΅Ρ Ρ
ΠΎΡΠΎΡΠΈΠΉ Π±Π»ΠΎΠ³
ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΠ΅, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ ΡΠ΅Π·ΡΠΌΠΈΡΡΠ΅ΡΡΡ Π²ΡΡΡΡΠΏΠ»Π΅Π½ΠΈΠ΅ ΠΠ³. 1 Π ΡΠ΅ΠΆΠΈΠΌΠ΅ ΠΌΠ°Π»ΡΡ
Π΄Π°Π½Π½ΡΡ
ΠΌΠ½ΠΎΠ³ΠΈΠ΅
Π°Π»Π³ΠΎΡΠΈΡΠΌΡ ΠΌΠΎΠ³ΡΡ Π΄ΠΎΡΡΠΈΠ³Π°ΡΡ Β«Ρ
ΠΎΡΠΎΡΠ΅ΠΉΒ» ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ Ρ ΡΠ°Π·Π»ΠΈΡΠΈΡΠΌΠΈ, Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡΠΈΠΌΠΈ Π² Π±ΠΎΠ»ΡΡΠΈΡ
ΡΠ°ΡΡΡ ΠΈΠ·-Π·Π° ΡΠΎΠ³ΠΎ, ΠΊΡΠΎ Π±ΠΎΠ»ΡΡΠ΅ Π½Π°ΡΡΡΠΎΠΈΠ» ΡΠ²ΠΎΠΉ Π°Π»Π³ΠΎΡΠΈΡΠΌ, Π½ΠΎ Π² ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅ΡΠ½ΠΎΠΌ
ΡΠ΅ΠΆΠΈΠΌ Π±ΠΎΠ»ΡΡΠΈΡ
Π΄Π°Π½Π½ΡΡ
, ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΠΌΠ΅Π΅Ρ Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅. ΠΠ΅ΠΉΡΠΎΠ½Π½ΡΠ΅ ΡΠ΅ΡΠΈ ΠΌΠΎΠ³ΡΡ
ΠΈΠ·ΡΡΠ°ΡΡ ΠΈ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡ Π³ΠΎΡΠ°Π·Π΄ΠΎ Π±ΠΎΠ»Π΅Π΅ ΡΠ»ΠΎΠΆΠ½ΡΠ΅ ΡΡΠ½ΠΊΡΠΈΠΈ.
ΠΠΎΡΡΠΎΠΌΡ Π² ΡΠ²ΠΎΠ΅ΠΌ ΡΠ»Π΅Π΄ΡΡΡΠ΅ΠΌ ΠΏΠΎΡΡΠ΅ Ρ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Ρ ΠΈ ΠΎΠ±ΡΡΠΆΡ Q-Learning Ρ ΠΏΠΎΠΌΠΎΡΡΡ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ
ΡΠ΅ΡΠ΅ΠΉ.
ΡΠ΅ΡΠ΅ΠΉ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΡΡΠ½ΠΊΡΠΈΠΈ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ. ΠΠ½ Π±ΡΠ΄Π΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΈΠ³ΡΡ Atari Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅
Ρ
ΠΎΠ΄ΠΎΠ²ΠΎΠΉ ΠΏΡΠΈΠΌΠ΅Ρ. Π‘Π»Π΅Π΄ΠΈΡΠ΅ Π·Π° ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡΠΌΠΈ!
ΠΠ΄ΠΎΡΠΎΠ²ΠΎ, ΡΡΠΎ ΠΎΠ½ ΡΡΠΎ Π½Π°ΠΏΠΈΡΠ°Π», ΠΏΠΎΡΠΎΠΌΡ ΡΡΠΎ Π²ΡΠ΅ ΡΠΎΠ»ΠΈΠΊΠΈ Π½Π° ΡΡΡΠ±Π΅ Ρ ΠΠ³
talk (Π½Π° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ) Π½Π΅ ΠΈΠΌΠ΅Π΅Ρ Π²ΠΊΠ»ΡΡΠ΅Π½Π½ΠΎΠΉ ΠΎΠΏΡΠΈΠΈ Π°Π²ΡΠΎΠ·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠ². Π― Π½Π΅ ΡΠ²Π΅ΡΠ΅Π½
ΠΏΠΎΡΠ΅ΠΌΡ, ΠΈ, Π½Π΅ΡΠΌΠΎΡΡΡ Π½Π° Π½Π΅Π΄ΠΎΡΡΠ°ΡΠΊΠΈ Π°Π²ΡΠΎΠ·Π°Π³ΠΎΠ»ΠΎΠ²ΠΊΠΎΠ², ΡΡΠΎ ΠΎΡΠ΅Π½Ρ ΠΏΠΎΠΌΠΎΠ³Π»ΠΎ Π±Ρ.
Π― ΠΏΠΎΠΏΡΡΠ°Π»ΡΡ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ Π²ΡΡΡΡΠΏΠ»Π΅Π½ΠΈΠ΅ ΠΠ³ ΠΈ ΡΠ΄Π°Π»ΡΡ ΡΠ΅ΡΠ΅Π· Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΌΠΈΠ½ΡΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Ρ Π±ΡΠ»
Π½Π΅ Π² ΡΠΎΡΡΠΎΡΠ½ΠΈΠΈ ΠΏΠΎΠ½ΡΡΡ ΡΠ»ΠΎΠ²Π°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΎΠ½ Π³ΠΎΠ²ΠΎΡΠΈΠ». β©
ΠΠΊΠ»ΡΡΠΈΡΠ΅ JavaScript Π΄Π»Ρ ΠΏΡΠΎΡΠΌΠΎΡΡΠ° ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π² Ρ ΠΏΠΎΠΌΠΎΡΡΡ Disqus.
ΠΠΎΠΊΠ°Π·ΡΠ΅ΠΌΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ Ρ ΠΏΡΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ
Π§ΠΈ ΠΠΆΠΈΠ½, Π§ΠΆΡΠΎΡΠ°Π½ Π―Π½, Π§ΠΆΠ°ΠΎΡΠ°Π½ ΠΠ°Π½, ΠΠ°ΠΉΠΊΠ» ΠΠΆΠΎΡΠ΄Π°Π½
Π’ΡΡΠ΄Ρ ΡΡΠΈΠ΄ΡΠ°ΡΡ ΡΡΠ΅ΡΡΠ΅ΠΉ ΠΊΠΎΠ½ΡΠ΅ΡΠ΅Π½ΡΠΈΠΈ ΠΏΠΎ ΡΠ΅ΠΎΡΠΈΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ,Β PMLR 125:2137-2143,Β 2020.
ΠΠ½Π½ΠΎΡΠ°ΡΠΈΡ
Π‘ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±ΡΡΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ ΠΊ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠΌ Π·Π°Π΄Π°ΡΠ°ΠΌ Ρ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎΠΌ ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ, Π³Π΄Π΅ \emph{Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±ΡΡΡ ΡΠ°Π·Π²Π΅ΡΠ½ΡΡΠ° Π΄Π»Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ Π»ΠΈΠ±ΠΎ ΡΡΠ½ΠΊΡΠΈΠΈ ΡΠ΅Π½Π½ΠΎΡΡΠΈ, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡΠΈΠΊΠΈ. ΠΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ ΡΡΠ½ΠΊΡΠΈΠΉ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π΅Ρ ΡΡΠ½Π΄Π°ΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΠΉ Π½Π°Π±ΠΎΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ, ΡΠ²ΡΠ·Π°Π½Π½ΡΡ Ρ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΈ ΡΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΡΡ, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ ΡΡΠΈΡΡΠ²Π°Ρ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΡ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΊΠΎΠΌΠΏΡΠΎΠΌΠΈΡΡΠΎΠΌ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ°Π·Π²Π΅Π΄ΠΊΠΎΠΉ ΠΈ ΡΠΊΡΠΏΠ»ΡΠ°ΡΠ°ΡΠΈΠ΅ΠΉ. Π ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ΅ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΉ Π²ΠΎΠΏΡΠΎΡ RL ΠΎΡΡΠ°Π΅ΡΡΡ ΠΎΡΠΊΡΡΡΡΠΌ: ΠΊΠ°ΠΊ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠ°ΡΡ Π΄ΠΎΠΊΠ°Π·ΡΠ΅ΠΌΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΡΠ΅ Π°Π»Π³ΠΎΡΠΈΡΠΌΡ RL, ΠΊΠΎΡΠΎΡΡΠ΅ Π²ΠΊΠ»ΡΡΠ°ΡΡ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΉ? ΠΡΠΎΡ Π²ΠΎΠΏΡΠΎΡ ΡΠΎΡ ΡΠ°Π½ΡΠ΅ΡΡΡ Π΄Π°ΠΆΠ΅ Π² Π±Π°Π·ΠΎΠ²ΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠ΅ Ρ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Π΄ΠΈΠ½Π°ΠΌΠΈΠΊΠΎΠΉ ΠΈ Π»ΠΈΠ½Π΅ΠΉΠ½ΡΠΌ Π²ΠΎΠ·Π½Π°Π³ΡΠ°ΠΆΠ΄Π΅Π½ΠΈΠ΅ΠΌ, Π΄Π»Ρ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ ΡΡΠ΅Π±ΡΠ΅ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΡ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ. 3T}) $ ΡΠΎΠΆΠ°Π»Π΅Π½ΠΈΠ΅, Π³Π΄Π΅ $d$ β ΠΎΠΊΡΡΠΆΠ°ΡΡΠ΅Π΅ ΠΈΠ·ΠΌΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π° ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ², $H$ β Π΄Π»ΠΈΠ½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠΏΠΈΠ·ΠΎΠ΄Π°, Π° $T$ β ΠΎΠ±ΡΠ΅Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ°Π³ΠΎΠ². ΠΠ°ΠΆΠ½ΠΎ ΠΎΡΠΌΠ΅ΡΠΈΡΡ, ΡΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΎΠΆΠ°Π»Π΅Π½ΠΈΠ΅ Π½Π΅ Π·Π°Π²ΠΈΡΠΈΡ ΠΎΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ ΠΈ Π΄Π΅ΠΉΡΡΠ²ΠΈΠΉ.
ΠΡΠΎΡΠΈΡΠΈΡΠΎΠ²Π°ΡΡ ΡΡΡ ΡΡΠ°ΡΡΡ
ΠΠΈΠ±Π’Π΅ΠΊΡ
@InProceedings{pmlr-v125-jin20a,
title = {ΠΠΎΠΊΠ°Π·ΡΠ΅ΠΌΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ Ρ ΠΏΡΠΈΠ±Π»ΠΈΠΆΠ΅Π½ΠΈΠ΅ΠΌ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ},
Π°Π²ΡΠΎΡ = {Π¦Π·ΠΈΠ½Ρ, Π§ΠΈ ΠΈ Π―Π½, Π§ΠΆΠΎΡΠ°Π½ ΠΈ ΠΠ°Π½, Π§ΠΆΠ°ΠΎΡΠ°Π½ ΠΈ ΠΠΆΠΎΡΠ΄Π°Π½, ΠΠ°ΠΉΠΊΠ» I},
booktitle = {ΠΠ°ΡΠ΅ΡΠΈΠ°Π»Ρ ΡΡΠΈΠ΄ΡΠ°ΡΡ ΡΡΠ΅ΡΡΠ΅ΠΉ ΠΊΠΎΠ½ΡΠ΅ΡΠ΅Π½ΡΠΈΠΈ ΠΏΠΎ ΡΠ΅ΠΎΡΠΈΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ},
ΡΡΡΠ°Π½ΠΈΡΡ = {2137--2143},
Π³ΠΎΠ΄ = {2020},
ΡΠ΅Π΄Π°ΠΊΡΠΎΡ = {ΠΠ±Π΅ΡΠ½Π΅ΡΠΈ, ΠΠΆΠ΅ΠΉΠΊΠΎΠ± ΠΈ ΠΠ³Π°ΡΠ²Π°Π», Π¨ΠΈΠ²Π°Π½ΠΈ},
Π³ΡΠΎΠΌΠΊΠΎΡΡΡ = {125},
ΡΠ΅ΡΠΈΡ = {ΠΠ°ΡΠ΅ΡΠΈΠ°Π»Ρ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ},
ΠΌΠ΅ΡΡΡ = ββ{09--12 ΠΈΡΠ»Ρ},
ΠΈΠ·Π΄Π°ΡΠ΅Π»Ρ = {PMLR},
pdf = {http://proceedings.mlr.press/v125/jin20a/jin20a.pdf},
URL = {https://proceedings.mlr.press/v125/jin20a.html},
abstract = { Π‘ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±ΡΡΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ ΠΊ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠΌ Π·Π°Π΄Π°ΡΠ°ΠΌ Ρ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎΠΌ ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ, Π³Π΄Π΅ \emph{Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±ΡΡΡ ΡΠ°Π·Π²Π΅ΡΠ½ΡΡΠ° Π΄Π»Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ Π»ΠΈΠ±ΠΎ ΡΡΠ½ΠΊΡΠΈΠΈ ΡΠ΅Π½Π½ΠΎΡΡΠΈ, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡΠΈΠΊΠΈ. 3T}) $ ΡΠΎΠΆΠ°Π»Π΅Π½ΠΈΠ΅, Π³Π΄Π΅ $d$ β ΠΎΠΊΡΡΠΆΠ°ΡΡΠ΅Π΅ ΠΈΠ·ΠΌΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π° ΠΏΡΠΈΠ·Π½Π°ΠΊΠΎΠ², $H$ β Π΄Π»ΠΈΠ½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠΏΠΈΠ·ΠΎΠ΄Π°, Π° $T$ β ΠΎΠ±ΡΠ΅Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ°Π³ΠΎΠ². ΠΠ°ΠΆΠ½ΠΎ ΠΎΡΠΌΠ΅ΡΠΈΡΡ, ΡΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΎΠΆΠ°Π»Π΅Π½ΠΈΠ΅ Π½Π΅ Π·Π°Π²ΠΈΡΠΈΡ ΠΎΡ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ ΠΈ Π΄Π΅ΠΉΡΡΠ²ΠΈΠΉ. }
}
Π‘Π½ΠΎΡΠΊΠ°
%0 ΠΠΎΠΊΡΠΌΠ΅Π½Ρ ΠΊΠΎΠ½ΡΠ΅ΡΠ΅Π½ΡΠΈΠΈ
%T ΠΠΎΠΊΠ°Π·ΡΠ΅ΠΌΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠ΅ΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ
%Π Π§ΠΈ ΠΠΆΠΈΠ½
%A Π§ΠΆΠΎΡΠ°Π½ Π―Π½
%A Π§ΠΆΠ°ΠΎΡΠ°Π½ ΠΠ°Π½
%A ΠΠ°ΠΉΠΊΠ» I ΠΠΆΠΎΡΠ΄Π°Π½
%B Π’ΡΡΠ΄Ρ ΡΡΠΈΠ΄ΡΠ°ΡΡ ΡΡΠ΅ΡΡΠ΅ΠΉ ΠΊΠΎΠ½ΡΠ΅ΡΠ΅Π½ΡΠΈΠΈ ΠΏΠΎ ΡΠ΅ΠΎΡΠΈΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ
%C ΠΠ°ΡΠ΅ΡΠΈΠ°Π»Ρ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ
%D 2020
%E ΠΠΆΠ΅ΠΉΠΊΠΎΠ± ΠΠ±Π΅ΡΠ½Π΅ΡΠΈ
%E Π¨ΠΈΠ²Π°Π½ΠΈ ΠΠ³Π°ΡΠ²Π°Π»
%F ΠΏΠΌΠ»Ρ-v125-jin20a
%I PMLR
%P 2137--2143
%U https://proceedings.mlr.press/v125/jin20a.html
%V 125
%X Π‘ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Ρ ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅ΠΌ (RL) ΠΎΠ±ΡΡΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ ΠΊ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠΌ Π·Π°Π΄Π°ΡΠ°ΠΌ Ρ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎΠΌ ΡΠΎΡΡΠΎΡΠ½ΠΈΠΉ, Π³Π΄Π΅ \emph{Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΡ ΡΡΠ½ΠΊΡΠΈΠΈ} Π΄ΠΎΠ»ΠΆΠ½Π° Π±ΡΡΡ ΡΠ°Π·Π²Π΅ΡΠ½ΡΡΠ° Π΄Π»Ρ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ Π»ΠΈΠ±ΠΎ ΡΡΠ½ΠΊΡΠΈΠΈ ΡΠ΅Π½Π½ΠΎΡΡΠΈ, Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»ΠΈΡΠΈΠΊΠΈ. ΠΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π°ΠΏΠΏΡΠΎΠΊΡΠΈΠΌΠ°ΡΠΈΠΈ ΡΡΠ½ΠΊΡΠΈΠΉ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π΅Ρ ΡΡΠ½Π΄Π°ΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΠΉ Π½Π°Π±ΠΎΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ, ΡΠ²ΡΠ·Π°Π½Π½ΡΡ
Ρ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΈ ΡΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΡΡΡΡ, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ ΡΡΠΈΡΡΠ²Π°Ρ Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΡ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΊΠΎΠΌΠΏΡΠΎΠΌΠΈΡΡΠΎΠΌ ΠΌΠ΅ΠΆΠ΄Ρ ΡΠ°Π·Π²Π΅Π΄ΠΊΠΎΠΉ ΠΈ ΡΠΊΡΠΏΠ»ΡΠ°ΡΠ°ΡΠΈΠ΅ΠΉ.