DACrew 1๊ธฐ ์ฃผ๊ฐ„ ๋ฆฌ๋ทฐ 8์ฃผ์ฐจ

2022. 3. 7. 00:48ใ†์Šคํ„ฐ๋””/DACrew

๐ŸŒŸ ๋ณธ ํฌ์ŠคํŒ…์€ ๋ฐ์ด์ฝ˜ ์„œํฌํ„ฐ์ฆˆ “๋ฐ์ดํฌ๋ฃจ" 1๊ธฐ ํ™œ๋™์˜ ์ผํ™˜์ž…๋‹ˆ๋‹ค. ๐ŸŒŸ

 

8์ฃผ์ฐจ ๋ฐ์ดํฌ๋ฃจ ํ™œ๋™์€ ์ œ๊ฐ€ ์•„๋Š” ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ตฌ์กฐ๋ฅผ ์‚ดํŽด๋ณด๊ณ , ํŒŒ์ดํ† ์น˜์—์„œ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์˜ ์‹œ๊ฐํ™” ๋ฐฉ๋ฒ•์„ ์ •๋ฆฌํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ์ฃผ ๋‹ค๋ฃฌ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ตฌ์กฐ๋Š” ResNet์˜ skip๊ณผ autoencoder์ž…๋‹ˆ๋‹ค. ์š”์ฆˆ์Œ ๊ฑด๊ฐ•์ƒ ์ด์œ ๋กœ ๊ธ€์„ ์ ๋Š”๋ฐ ์‹œ๊ฐ„์„ ๊ฒฌ๋”œ ์ฒด๋ ฅ์ด ์•ˆ๋˜์„œ ์Šฌํ”„๋„ค์š”. ๊ณต๋ถ€์™€ ์ด๋Ÿฐ ์ •๋ณด ๊ณต์œ ๋ฅผ ์ž˜ ํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋”๋”์šฑ ์ฒด๋ ฅ๊ณผ ๊ฑด๊ฐ•๊ด€๋ฆฌ๋ฅผ ํ•ด์•ผํ•  ํ•„์š”์„ฑ์„ ๋Š๋ผ๋Š” ์š”์ฆ˜์ž…๋‹ˆ๋‹ค.


๐Ÿ‘‰Residual Net(Short cut) ๊ฐ„๋‹จํžˆ ์‚ดํŽด๋ณด๊ธฐ

 

Skip(ResNet ํ•ต์‹ฌ์š”์†Œ) ๊ฐ„๋‹จํžˆ ์‚ดํŽด๋ณด๊ธฐ

 

dacon.io

๊ฐ„๋‹จํžˆ ์‚ดํŽด๋ณด๊ธฐ ์‹œ๋ฆฌ์ฆˆ๋กœ Skip ๊ตฌ์กฐ์— ๋Œ€ํ•ด ์ •๋ฆฌํ•ด๋ณด์•˜์Šต๋‹ˆ๋‹ค. Skip๊ตฌ์กฐ๋Š” ์ œ๊ฐ€ ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๋ฉด์„œ, ๋ชจ๋ธ ๊ตฌ์กฐ์˜ ์ค‘์š”์„ฑ์„ ์ฒ˜์Œ์œผ๋กœ ๋Š๋‚€ ๊ตฌ์กฐ์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์„ ๊ณต๋ถ€ํ•œ ์ดํ›„, ๋ชจ๋ธ ๊ตฌ์„ฑ์— ๋Œ€ํ•œ ๋™๊ธฐ(motivation)๊ฐ€ ์•„์ฃผ ์ค‘์š”ํ•จ์„ ์•Œ๊ฒŒ ๋˜์—ˆ๊ณ  ๋…ผ๋ฌธ์„ ์ฝ์„ ๋•Œ ๊ผญ ๊ทธ ๋ถ€๋ถ„์— ๋Œ€ํ•œ ๊ธ€์„ ์ฝ์œผ๋ฉฐ ์ € ์—ญ์‹œ ์—ฐ๊ตฌํ•  ๋•Œ๋„ ๊ทธ๋Ÿฐ ๋ชจ๋ธ์„ ๋งŒ๋“ค์–ด๋ณด๋ ค ๋จธ๋ฆฌ๋ฅผ ๊ตด๋ ค๋ณด๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

์‚ฌ์‹ค ๊ธ€ ์ „์ฒด์— ResNet์„ ๋‹ด์„ ์ˆ˜๋„ ์žˆ์—ˆ์ง€๋งŒ, ์ด ๊ธ€์„ ๊ฐ€๋ณ๊ฒŒ ๋ณด๊ณ  ๋‹ค์–‘ํ•œ ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์—ˆ์œผ๋ฉด ํ•˜์—ฌ skip๋งŒ ๋‹ด์•˜์Šต๋‹ˆ๋‹ค. skip์€ CNN์ด์™ธ์—๋„ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ์ข…๋ฅ˜์— ์ ์šฉ์„ ํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ ๊ฐ™๊ธฐ๋„ ํ•ด์„œ ์ด ๋ถ€๋ถ„๋งŒ ๋นผ์„œ ์ž‘์„ฑ์„ ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ๋ถ„๋“ค๊ป˜์„œ๋„ ์ €์ฒ˜๋Ÿผ ์ด๋Ÿฌํ•œ ๊ตฌ์กฐ๋กœ๋ถ€ํ„ฐ ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์œผ๋ฉด ์ข‹๊ฒ ์Šต๋‹ˆ๋‹ค.

 

๐Ÿ‘‰Autoencoder(์˜คํ† ์ธ์ฝ”๋”) ๊ฐ„๋‹จํžˆ ์‚ดํŽด๋ณด๊ธฐ

 

Autoencoder(์˜คํ† ์ธ์ฝ”๋”) ๊ฐ„๋‹จํžˆ ์‚ดํŽด๋ณด๊ธฐ

 

dacon.io

์ด๋ฒˆ์— ์†Œ๊ฐœํ•  autoencoder๋Š” ์ œ๊ฐ€ ๋ฐ์ดํ„ฐ ์ฐจ์› ์ถ•์†Œ์— ๊ฐ€์žฅ ๋งŽ์ด ํ™œ์šฉํ•˜๋Š” ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ๋ชจ๋ธ์€ ๊ณ ์ •๋œ ์ธ์ฝ”๋”๋ฅผ ๊ฐ–๊ฑฐ๋‚˜, ์„ ํ˜•์ ์ธ ์„ฑ์ง์„ ๋ ๊ณ  ์žˆ๋Š”๋ฐ์š”. autoencoder๋Š” ์ธ๊ณต์‹ ๊ฒฝ๋ง์œผ๋กœ ๊ตฌ์„ฑ๋˜๋‹ค๋ณด๋‹ˆ ๋น„์„ ํ˜•์œผ๋กœ ๊ตฌ์„ฑํ•  ์ˆ˜๋„ ์žˆ๊ณ , ์ด๋ฏธ์ง€์—์„œ ํ™œ์šฉ๋„ ์šฉ์ดํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ‘‰๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ์‹œ๊ฐํ™”: Pytorch ํŽธ

 

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ์‹œ๊ฐํ™”: Pytorch ํŽธ

 

dacon.io

์ด์ „์— ์ž‘์„ฑํ–ˆ๋˜ ๊ธ€์„ ์‚ดํŽด๋ณด๋‹ˆ Keras๋ฅผ ํ™œ์šฉํ•œ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ์‹œ๊ฐํ™”๊ฐ€ ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋•Œ, Keras ํŽธ์ž„์„ ๋ช…์‹œํ•˜๊ณ  Pytorch ํŽธ ์—ญ์‹œ ์ž‘์„ฑํ•˜๋ ค ๊ณ„ํšํ•˜๊ณ  ์žˆ์—ˆ๋Š”๋ฐ์š”, ์—ฌ๋Ÿฌ์ฃผ์ œ๋กœ ๊ธ€์„ ์“ฐ๋‹ค๋ณด๋‹ˆ ๋น ์ ธ ์ด๋ฒˆ์— ์ž‘์„ฑํ•˜๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์•„๋ฌด๋ž˜๋„ Pytorch๋Š” ์ž…๋ฌธ์ž๋„ ์•ˆ๋˜๋Š” ์ˆ˜์ค€์ด๋ผ ์–ด๋–ค ํŒจํ‚ค์ง€๊ฐ€ ๋งŽ์ด ์‚ฌ์šฉ๋˜๋Š”์ง€ ๋ชจ๋ฅด๊ฒ ์Šต๋‹ˆ๋‹ค๋งŒ, ์‚ฌ์šฉ์ด ๊ฐ„๋‹จํ•œ ๋‘ ๊ฐœ์˜ ํŒจํ‚ค์ง€๋ฅผ ํ™œ์šฉํ•œ ๋ฐฉ๋ฒ•์„ ํ•ด๋ณด์•˜์Šต๋‹ˆ๋‹ค.


8์ฃผ์ฐจ๋กœ ๋ฐ์ดํฌ๋ฃจ 1๊ธฐ ํ™œ๋™์ด ๋งˆ๋ฌด๋ฆฌ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์—๋Š” ๋ฐ์ดํฌ๋ฃจ ํ™œ๋™ ์š”์•ฝ๊ณผ ์†Œ๊ฐ์— ๋Œ€ํ•œ ๊ธ€์„ ์˜ฌ๋ฆด ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

์ฝ์–ด์ฃผ์…” ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค ๐Ÿฅฐ