91ฟดฦฌอ๘

ว๊™์ˆ ยท์—ฐ๊ตฌ

์ด์šฐ์ง„ ๊ต์ˆ˜, ใ€ŒNeurlPS 2021ใ€์— ๋…ผ๋ฌธ 2ํŽธ ๋ฐœํ‘œ

๋“ฑ๋ก์ผ 2021.12.15. ์กฐํšŒ 2909

 

๋™๊ตญ๋Œ€ ์ธ๊ณต์ง€๋Šฅํ•™๊ณผ ์ด์šฐ์ง„ ๊ต์ˆ˜๊ฐ€ ์ง€๋‚œ 6์ผ(์›”)๋ถ€ํ„ฐ 14์ผ(ํ™”)๊นŒ์ง€ ์ง„ํ–‰๋œ ์„ธ๊ณ„ ์ตœ๊ณ  ๊ถŒ์œ„์˜ ์ธ๊ณต์ง€๋Šฅ(AI) ํ•™ํšŒ ใ€ŒNeurlPS 2021ใ€์— 2ํŽธ์˜ ๋…ผ๋ฌธ์„ ๋ฐœํ‘œํ–ˆ๋‹ค.

 

NeurlPS(Neural Information Processing System)๋Š” ICML, ICLR ๋“ฑ๊ณผ ํ•จ๊ป˜ ์„ธ๊ณ„์ ์ธ ์ธ๊ณต์ง€๋Šฅ ๋ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™ํšŒ๋กœ ๋ถ„๋ฅ˜๋œ๋‹ค. ์Šน์ธ์œจ์€ ์•ฝ 20%๋กœ ๊ธฐ์ˆ  ์˜ํ–ฅ๋„๊ฐ€ ๋›ฐ์–ด๋‚œ ์—ฐ๊ตฌ๊ฒฐ๊ณผ๋“ค์ด ์‚ฐ์ถœ๋œ๋‹ค.

 

์ด ๊ต์ˆ˜๋Š” ์„œ์šธ๋Œถฤว๊™๊ต ๋ณ€์ค€์˜ ์—ฐ๊ตฌ์›, ์ด์žฌ์šฑ ๊ต์ˆ˜์™€ ํ•จ๊ป˜ ๊ณต๋™ ์—ฐ๊ตฌํ•œ <Parameter-free HE-friendly Logistic Regression>์ด๋ผ๋Š” ๋…ผ๋ฌธ์—์„œ ๊ฐตำธ์ •๋ณด ๋ณดํ˜ธ๋ฅผ ์œ„ํ•ด ์•”ํ˜ธํ™” ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„๋ฅ˜์ž‘์—…์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ƒˆ๋กœ์šด ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์•ˆํ–ˆ๋‹ค. ์—ฐ๊ตฌํŒ€์€ ์•”ํ˜ธํ™”๋˜์ง€ ์•Š์€ ์„ ์ƒ ๋ชจ๋ธ (Teacher model)์„ ํ•™์Šต์‹œํ‚จ ํ›„, ์„ ์ƒ ๋ชจ๋ธ์˜ ์ง€์‹์„ ์•”ํ˜ธํ™”๋œ ๋ฐ์ดํ„ฐ์— ์ „์ด์‹œํ‚ค๋ฉฐ ํ•™์Šต์„ ์ง„ํ–‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ฒ˜์Œ์œผ๋กœ ์ œ์•ˆํ–ˆ๋‹ค.

 

์ด๋ฅผ ํ™œ์šฉํ•˜๋ฉด ํšจ์œจ์ ์œผ๋กœ ๋ชจ์ˆ˜(parameter)์— ์˜ํ–ฅ์„ ๋ฐ›์ง€ ์•Š๋Š” ์•ˆ์ •์ ์ด๊ณ  ์•”ํ˜ธํ™”๋œ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ถ„์„ ๋ชจํ˜•์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์„ ๊ฒƒ์œผ๋กœ ์˜ˆ์ƒ๋œ๋‹ค. ์—ฐ๊ตฌํŒ€์€ โ€œ์ตœ๊ทผ ๋ฐ์ดํ„ฐ์˜ ๋ฌด๋ถ„๋ณ„ํ•œ ํ™œ์šฉ์œผ๋กœ ์ธํ•œ ๊ฐตำธ์ •๋ณด ์œ ์ถœ์€ ๋ฐฉ์ง€ํ•˜๋ฉด์„œ ๋ฐ์ดํ„ฐ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ ๊ตฌ์ถ•์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์–ด ํ–ฅํ›„ ๋งŽ์€ ๋ถ„์•ผ์—์„œ ํ™œ์šฉ๋  ๊ฒƒโ€์ด๋ผ๊ณ  ๊ธฐ๋Œ€๊ฐ์„ ๋‚˜ํƒ€๋ƒˆ๋‹ค.

 

๋˜ํ•œ, ์ด ๊ต์ˆ˜๋Š” ๊ณ ๋“ฑ๊ณผํ•™์› ์ด์„ฑ์œค ๋ฐ•์‚ฌ, ์„œ์šธ๋Œถฤว๊™๊ต ๋ฐ•์ง„์„ฑ ์—ฐ๊ตฌ์›, ์ด์žฌ์šฑ ๊ต์ˆ˜์™€ ํ•จ๊ป˜ ์—ฐ๊ตฌํ•œ <Towards Better Understanding of Training Certifiably Robust Models against Adversarial Examples> ๋…ผ๋ฌธ๋„ ๋ฐœํ‘œํ–ˆ๋‹ค. ์ด ๋…ผ๋ฌธ์—์„œ ์ธ๊ณต์ง€๋Šฅ์˜ ์•ˆ์ „์„ฑ๊ณผ ๊ด€๋ จ๋œ ํ•ต์‹ฌ์š”์†Œ๋ฅผ ๋ถ„์„ํ–ˆ๊ณ , ์ƒˆ๋กœ์šด ๋ฐฉ๋ฒ•๋ก ์„ ํ†ตํ•ด ๊ฒ€์ฆ๋œ ์•ˆ์ „ํ•œ ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์„ ์ œ์‹œํ–ˆ๋‹ค.

 

๊ธฐ์กด ํ•™์ž๋“ค์ด ์ฃผ๋ชฉํ–ˆ๋˜ ๋ชจ๋ธ ๊ทผ์‚ฌํ™”์˜ Tightness ์™ธ์—๋„ ๋ชจ๋ธ์„ ์ ์ ˆํ•˜๊ฒŒ ์ตœ์ ํ™” ์‹œํ‚ฌ ์ˆ˜ ์žˆ๋Š” ํ•™์Šต๊ณผ์ •์—์„œ์˜ Smoothness๊ฐ€ ์ค‘์š”ํ•œ ์š”์†Œ์ž„์„ ๋ฐํ˜”๋‹ค. ๋˜ํ•œ, ๋น„์„ ํ˜•ํ•จ์ˆ˜์˜ ์ตœ์ ํ™”๋ฅผ ํ†ตํ•œ ๊ทผ์‚ฌ๋กœ Tightness์™€ Smoothness๋ฅผ ๋™์‹œ์— ๋งŒ์กฑ์‹œํ‚ฌ ์ˆ˜ ์žˆ๋Š” ์ƒˆ๋กœ์šด ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์•ˆํ–ˆ๋‹ค. ์—ฐ๊ตฌํŒ€์€ โ€œ์˜๋ฃŒ ์ธ๊ณต์ง€๋Šฅ์ด๋‚˜ ์ž์œจ์ฃผํ–‰๊ณผ ๊ฐ™์€ ์•ˆ์ •์„ฑ์ด ์ค‘์š”ํ•œ ๋ถ„์•ผ์—์„œ ๊ด€๋ จ์—ฐ๊ตฌ๊ฐ€ ํ™œ๋ฐœํ•˜๊ฒŒ ์‚ฌ์šฉ๋˜๊ธฐ๋ฅผ ๋ฐ”๋ž€๋‹คโ€๊ณ  ์ „ํ–ˆ๋‹ค.