๋๊ตญ์์
์ด์ฐ์ง ๊ต์, ใNeurlPS 2021ใ์ ๋ ผ๋ฌธ 2ํธ ๋ฐํ
๋๊ตญ๋ ์ธ๊ณต์ง๋ฅํ๊ณผ ์ด์ฐ์ง ๊ต์๊ฐ ์ง๋ 6์ผ(์)๋ถํฐ 14์ผ(ํ)๊น์ง ์งํ๋ ์ธ๊ณ ์ต๊ณ ๊ถ์์ ์ธ๊ณต์ง๋ฅ(AI) ํํ ใNeurlPS 2021ใ์ 2ํธ์ ๋
ผ๋ฌธ์ ๋ฐํํ๋ค.
NeurlPS(Neural Information Processing System)๋ ICML, ICLR ๋ฑ๊ณผ ํจ๊ป ์ธ๊ณ์ ์ธ ์ธ๊ณต์ง๋ฅ ๋ฐ ๋จธ์ ๋ฌ๋ ํํ๋ก ๋ถ๋ฅ๋๋ค. ์น์ธ์จ์ ์ฝ 20%๋ก ๊ธฐ์ ์ํฅ๋๊ฐ ๋ฐ์ด๋ ์ฐ๊ตฌ๊ฒฐ๊ณผ๋ค์ด ์ฐ์ถ๋๋ค.
์ด ๊ต์๋ ์์ธ๋ถฤว๊๊ต ๋ณ์ค์ ์ฐ๊ตฌ์, ์ด์ฌ์ฑ ๊ต์์ ํจ๊ป ๊ณต๋ ์ฐ๊ตฌํ <Parameter-free HE-friendly Logistic Regression>์ด๋ผ๋ ๋ ผ๋ฌธ์์ ๊ฐตำธ์ ๋ณด ๋ณดํธ๋ฅผ ์ํด ์ํธํ ๋ ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฅ์์ ์ ํ์ฉํ ์ ์๋ ์๋ก์ด ๋ฐฉ๋ฒ๋ก ์ ์ ์ํ๋ค. ์ฐ๊ตฌํ์ ์ํธํ๋์ง ์์ ์ ์ ๋ชจ๋ธ (Teacher model)์ ํ์ต์ํจ ํ, ์ ์ ๋ชจ๋ธ์ ์ง์์ ์ํธํ๋ ๋ฐ์ดํฐ์ ์ ์ด์ํค๋ฉฐ ํ์ต์ ์งํํ๋ ๋ฐฉ๋ฒ์ ์ฒ์์ผ๋ก ์ ์ํ๋ค.
์ด๋ฅผ ํ์ฉํ๋ฉด ํจ์จ์ ์ผ๋ก ๋ชจ์(parameter)์ ์ํฅ์ ๋ฐ์ง ์๋ ์์ ์ ์ด๊ณ ์ํธํ๋ ๋ก์ง์คํฑ ํ๊ท๋ถ์ ๋ชจํ์ ๊ตฌ์ถํ ์ ์์ ๊ฒ์ผ๋ก ์์๋๋ค. ์ฐ๊ตฌํ์ โ์ต๊ทผ ๋ฐ์ดํฐ์ ๋ฌด๋ถ๋ณํ ํ์ฉ์ผ๋ก ์ธํ ๊ฐตำธ์ ๋ณด ์ ์ถ์ ๋ฐฉ์งํ๋ฉด์ ๋ฐ์ดํฐ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ ๊ตฌ์ถ์ ํ์ฉํ ์ ์์ด ํฅํ ๋ง์ ๋ถ์ผ์์ ํ์ฉ๋ ๊ฒโ์ด๋ผ๊ณ ๊ธฐ๋๊ฐ์ ๋ํ๋๋ค.
๋ํ, ์ด ๊ต์๋ ๊ณ ๋ฑ๊ณผํ์ ์ด์ฑ์ค ๋ฐ์ฌ, ์์ธ๋ถฤว๊๊ต ๋ฐ์ง์ฑ ์ฐ๊ตฌ์, ์ด์ฌ์ฑ ๊ต์์ ํจ๊ป ์ฐ๊ตฌํ <Towards Better Understanding of Training Certifiably Robust Models against Adversarial Examples> ๋ ผ๋ฌธ๋ ๋ฐํํ๋ค. ์ด ๋ ผ๋ฌธ์์ ์ธ๊ณต์ง๋ฅ์ ์์ ์ฑ๊ณผ ๊ด๋ จ๋ ํต์ฌ์์๋ฅผ ๋ถ์ํ๊ณ , ์๋ก์ด ๋ฐฉ๋ฒ๋ก ์ ํตํด ๊ฒ์ฆ๋ ์์ ํ ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ์ ์ ์ํ๋ค.
๊ธฐ์กด ํ์๋ค์ด ์ฃผ๋ชฉํ๋ ๋ชจ๋ธ ๊ทผ์ฌํ์ Tightness ์ธ์๋ ๋ชจ๋ธ์ ์ ์ ํ๊ฒ ์ต์ ํ ์ํฌ ์ ์๋ ํ์ต๊ณผ์ ์์์ Smoothness๊ฐ ์ค์ํ ์์์์ ๋ฐํ๋ค. ๋ํ, ๋น์ ํํจ์์ ์ต์ ํ๋ฅผ ํตํ ๊ทผ์ฌ๋ก Tightness์ Smoothness๋ฅผ ๋์์ ๋ง์กฑ์ํฌ ์ ์๋ ์๋ก์ด ๋ฐฉ๋ฒ๋ก ์ ์ ์ํ๋ค. ์ฐ๊ตฌํ์ โ์๋ฃ ์ธ๊ณต์ง๋ฅ์ด๋ ์์จ์ฃผํ๊ณผ ๊ฐ์ ์์ ์ฑ์ด ์ค์ํ ๋ถ์ผ์์ ๊ด๋ จ์ฐ๊ตฌ๊ฐ ํ๋ฐํ๊ฒ ์ฌ์ฉ๋๊ธฐ๋ฅผ ๋ฐ๋๋คโ๊ณ ์ ํ๋ค.