Tech-Innovation Research for a Sustainable Future Society - 2nd Technology Innovation Forum

지속가능한 미래 사회를 위한 기술혁신 연구 – 제2회 기술혁신 포럼

KOREAN LAW

Seunggyu Lee (이승규) | FLAT

5/10/20245 min read

release, 100 million monthly users logged in to the platform, attracting global attention and interest. The influence of ChatGPT extended not only to technological industries but also across various sectors of society. Its chatbot technology brought significant innovation to many industries such as content creation, finance, IT, law, and education. ChatGPT made a profound impact in various forms and shapes in industries ranging from content and advertising script writing to customer service, feedback evaluation, credit analysis, and performance reviews. Two years after the release of ChatGPT 3.5, various forms of generative AI, including Google's Gemini and Entropic Cloud 3, have been launched internationally, alongside OpenAI's ChatGPT 4. Additionally, in February 2024, OpenAI unveiled the video generation AI 'SORA', which uses AI technology to create video generation AI services. However, the advancement of generative AI and technology has simultaneously brought forth several societal issues. Many industry experts, researchers, and legal professionals are striving to address the legal and ethical issues arising from AI through various means.

First, we need to examine the problems arising from technological advancements. At a Technology Innovation Forum, Choi Hee-seok, the Director of Policy Strategy at the Korea Institute of Science and Technology Information, presented various topics under the title "Implementation of a Human-Centered AI Ecosystem," discussing environmental changes, the dichotomy between benefits and harms due to technological advancements, and AI ethics. Specifically, regarding problems relating to ChatGPT, leakage of personal information, copyright, plagiarism and forgery issues, cyber attacks, hallucinations, and biased outcomes were highlighted, shedding light on concerns shared by domestic and international companies and government agencies. In fact, due to such issues, the giant American online shopping platform 'Amazon' issued warnings against the use of ChatGPT to prevent employees from leaking and sharing sensitive company information. Similarly, the renowned European email security company 'Vade' also expressed concerns about the increase in phishing emails due to the misuse of ChatGPT.

Furthermore, Professor Oh Sang-jin from the Department of Artificial Intelligence at Korea University, who presented the second session at the forum, addressed the topic "AI Robustness Issues Toward the Future," discussing the potential hallucinations, biases, AI runaway (phenomenon where AI surpasses the control of developers), threats to human survival, and infringement of personal information and copyright that could arise as side effects of generative AI. Thus, generative AI technology harbors various issues, and blindly trusting this technology 100% at this stage would be a risky choice. However, ignoring the very positive aspects that generative AI brings to society and the multitude of social, political, economic, and legal issues intertwined with this technology suggests that slowing down or preventing the advancement of this technology will remain extremely difficult in the future.

Although various problems related to generative artificial intelligence like ChatGPT have been raised, first, technology experts are making efforts to create ethical and trustworthy generative AI technologies based on several criteria and attributes. For instance, adding references to the results generated by artificial intelligence to avoid hallucinations, establishing ethical guidelines regarding AI bias, excluding political, racial, sexual, and preference-based factors from AI learning processes, granting AI watermarks to address copyright issues, and developing technologies such as Explainable AI (XAI) to ensure the reliability of AI by providing interpretations and logical backgrounds for the results produced by AI are being pursued. Additionally, to address the problems caused by artificial intelligence as mentioned earlier, secondly, many legal experts and politicians are proposing various legislative measures. In fact, major countries such as China, the United Kingdom, the United States, and the European Union (EU) have long been aware of future issues caused by AI and have been advancing discussions related to AI regulation. Firstly, China announced the "Next-Generation AI Ethics Norms" in 2021, presenting norms for the management, supply, and use of AI. Unlike major European countries, China plans to create and enforce individual laws for emerging AI products rather than providing a comprehensive legal framework for AI regulation. Next, the United States enacted the "AI Initiative" Act in 2021, and subsequently, President Biden signed an executive order on "Safe and Trustworthy AI." The United States prioritizes the autonomy of companies in the market and adopts a voluntary regulation approach, choosing to regulate and control the use of AI technology by the federal government only when AI technology is used as a cause of specific national security, serious economic, and life-threatening threats. Meanwhile, the United Kingdom chose a flexible AI regulatory approach more similar to that of the United States rather than following the direction of neighboring EU countries. Finally, in February 2024, the EU presented the "AI Act," which was unanimously approved by all member states, making it the world's first bill on AI regulation. This bill categorizes AI technologies into four categories and regulates and manages them based on a risk-based approach. Furthermore, with a focus on regulation, the bill includes provisions for substantial fines for violations. Although there are clear differences in approaches to artificial intelligence and technology among each company, country, and experts, it is evident that they are all striving to recognize and improve various aspects of the problem.

Lastly, the Republic of Korea, aspiring to be a leading player in technological innovation, is also endeavoring to present AI-related bills and guidelines through initiatives such as the "Republic of Korea Artificial Intelligence Leap Plan," "Requirements for Enhancing the Reliability of AI Systems," the pending "Artificial Intelligence Bill" in the current National Assembly, and "Digital Bill of Rights." However, the "Republic of Korea Artificial Intelligence Leap Plan," including nationwide AI normalization and the "ex-post regulation" approach in AI bills, and one of the five principles of the Digital Bill of Rights, "Promotion of Digital Innovation," are perceived more as guidelines on how to advance and enhance AI technology more efficiently rather than how to address the problems arising from AI. Of course, based on the previous discussions, it's evident that different countries and experts have different approaches to technology. However, it is expected that in the future, rather than AI-centric legislation, efforts toward human-centered AI laws and technological endeavors will be more necessary. Especially, the role and efforts of technical experts are crucial, even more so than legal experts. Since laws are often applied much slower than the development of technology, technical experts should be aware of this and strive to create technologies that assist people ethically and flawlessly more than anyone else. Moreover, efforts should be directed towards creating technologies capable of resolving issues that may arise with any given technology. Looking ahead, we anticipate the emergence of technologists and experts who prioritize human rights, morality, and ethical values, contributing to the development of society with safer and more trustworthy technology.

In November 2022, OpenAI released one of the world's largest AI language model, ChatGPT 3.5, and made it available for free to the general public. As a result, within just two months of its

지난 2022년 11월, 오픈AI는 대형언어모델인 ChatGPT 3.5를 출시하여 일반인들에게 무료로 사용할 수 있도록 개시하였다. 그 결과, 출시 두 달 만에 월간 사용자 1억명을 돌파하며 전세계적으로 이목을 집중시켰다. ChatGP는 술산업 뿐만이 아니라, 사회 전반에 걸쳐 지대한 영향을 미쳤다. ChatGPT에 도입된 챗봇 기술은 콘텐츠, 금융, IT, 법률, 교육, 분야와 같이 사회 가운데 존재하고 있는 많은 산업 환경에 큰 혁신의 바람을 불러 일으켰다. 이는 실제로 콘텐츠 및 광고 대본 작성, 고객상담, 고객평가, 신용분석, 인사평가 등 다양한 형태와 모습으로 산업계에 큰 영향을 미치고 있다. 한편 ChatGPT 3.5버전이 출시되고 2년이 지난 현 시점, 오픈 AI의 ChatGPT 4 버전과 더불어, 구글 제미나이, 엔트로픽 클로드 3, 등 여러가지 형태의 생성형 인공지능이 국내/외에서 출시되고 있다. 또한 2024년 2월 오픈AI는 영상 생성 AI ‘SORA’를 발표하면서 이미지 생성형 인공지능 기술을 한 단계 더 진화 시켜 비디오 생성형 인공지능을 선보였다. 그러나 생성형 인공지능과 기술의 발전은 동시에 여러 사회문제를 야기하고 있기에, 기업 전문가들, 연구진, 법률가들까지 분야를 초월한 전문가들이 다양한 방법을 모색하며 인공지능으로 인한 법적, 윤리적 문제를 해소하기 위해 힘쓰고 있다.

먼저, 우리는 기술의 발전으로 인해 발생하는 문제를 살펴볼 필요가 있다. 본 기술혁신 포럼에서 최희석 한국과학기술정보연구원 정책전략본부장은 ‘인간 중심의 AI생태계 구현 방안’ 이라는 제목으로 환경변화, 기술 진보에 따른 명과 암, AI윤리, 그리고 여러 논의사항들을 제시하였다. 특별히 ChatGPT로 인한 문제들을 소개하며 대표적인 예로 개인정보 유출, 저작권 문제, 표절 및 대필 문제, 사이버 공격, 환각, 그리고 편향된 결과물에 대한 문제를 제시하였고, 현재 국내/외 기업 및 정부기관들이 염려하고 있는 부분들을 명시하였다. 이러한 이슈와 관련된 실제 사례를 살펴보면, 미국의 거대 온라인 쇼핑 플랫폼 ‘아마존’은 직원들이 기업의 민감정보 유출 및 공유하게 되는 상황을 방지하기 위해 ChatGPT를 사용하는 것에 대해 경고하였고, 유럽 유명 이메일 보안회사인 ‘베이드’ 또한 ChatGPT 오남용으로 인한 피싱 메일 증가를 우려하는 모습을 보였다.

나아가, 본 포럼의 두번째 발제를 맡았던 고려대학교 인공지능학과 오상진 교수는 ‘미래를 향한 AI 건전성 이슈’라는 제목으로 생성형 인공지능의 부작용으로 충분히 발생할 수 있는 환각, 편견, 탈옥 (인공지능이 개발자의 통제 범위를 넘어서는 현상), 인간 생존 위협 가능성, 그리고 개인정보 저작권 침해 가능성을 제시하였다. 생성형 인공지능 기술이 내포하고 있는 이러한 문제들을 검토하였을 때 현시점에서 이 기술을 온전히 신뢰하는 것은 매우 위험한 선택일 것임에도 불구하고 생성형 인공지능이 사회에 가져다 주는 매우 긍정적인 측면을 무시할 수는 없다. 또한 인공지능 사용에 있어서 복합적인 사회, 정치, 경제, 법률적 문제들이 혼재하기에 앞으로 인공지능 기술의 발전을 더디게 하거나 막는 것은 어려울 것으로 보인다. 이하에서는 현 상황에서 인공지능 사용에 관한 몇 가지 시사점을 검토하고자 한다.

첫째로, ChatGPT와 같은 생성형 인공지능과 관련하여 발생하는 위와 같은 다양한 문제들에 대한 해결방안이자 후속 조치로서, 기술 전문가들은 몇가지 기준과 속성들을 토대로 윤리적이고 신뢰할 수 있는 생성형 인공지능 기술을 만들기 위해 사력을 다하고 있다. 일례로, AI 환각 이슈와 관련하여 인공지능이 만든 결과에 대해 레퍼런스(reference)를 추가하게 하는 방안, 인공지능 편향성에 대해서는 윤리적 가이드라인을 바로 세워 정치, 인종적, 성적, 성향적 요소들을 인공지능 학습 과정에서 제외시키는 방안, 저작권에 대한 문제와 관련해서는 AI Watermark를 부여하는 방안, 그리고 인공지능의 신뢰성을 확보하기 위해서 XAI 즉, 설명 가능한 인공지능을 만들어 인공지능이 도출해 낸 결과에 대한 해석 및 논리적 배경을 제시하게 하는 기술들을 개발해 나감으로써 기존에 지적된 문제들을 개선하여 나가고 있다.둘째로, 앞서 제시된 인공지능으로 인한 문제들을 해결하기 위해 많은 법률가 및 정치인들이 다양한 입법안을 제시하고 있다. 해외 주요국인 중국, 영국, 미국, 그리고 유럽연합(‘EU’)는 이전부터 지속적으로 AI로 인해 발생할 잠재적인 문제들에 대한 경각심을 가져온 바 있고, AI규제와 관련된 논의를 진행하여 왔다.

중국은 지난 2021년 ‘차세대 AI윤리규범’을 발표하며 AI관리, 공급, 사용에 대한 규범을 제시하였다. 중국은 유럽 국가들과는 달리 전체적인 인공지능 규제를 위한 법적 틀을 제시하기보다는, 새롭게 등장하는 인공지능 제품들에 대해 앞으로 개별 법안들을 만들어 시행할 계획을 가지고 있다.

미국은 지난 2021년 ‘AI 이니셔티브’ 법안을 제정하였고, 바이든 미국 대통령은 ‘안전하고 신뢰할 수 있는 AI’에 대한 행정명령에 서명하였다. 미국은 시장내 기업의 자율성을 중요하게 여겨 자율 규제 방식을 채택하며 특정 국가 안보, 심각한 경제, 그리고 생명의 위협의 원인으로 인공지능 기술이 사용될 때 연방정부가 규제 및 통제를 주도하는 방안을 선택하였다.

영국은 인공지능 규제와 관련하여 주변 EU 국가의 방향을 따르기보다는, 오히려 미국과 유사한, 유연한 AI 규제 방법을 선택하였다. EU는 지난 2024년 2월 회원국 전원 합의로 승인된 ‘AI Act’를 제시하며 세계 최초로 인공지능 규제에 관한 법안을 제정하였다. 본 법안은 위험기반 접근 방식을 토대로 인공지능 기술을 네 가지로 분류하여 규제 및 관리한다. 또한 법안 특성상 ‘규제’에 큰 초점을 두고 있어, 법 위반시 막대한 벌금 부과 내용을 포함하고 있다. 비록, 각 기업, 국가, 전문가들이 인공지능과 기술에 대한 접근에 차이가 분명하게 존재하지만, 공통적으로 다양한 측면에서 문제를 인식하고 개선해 나가기 위해 힘쓰고 있는 모습을 확인할 수 있다.

끝으로, 기술혁신의 선두주자를 희망하는 대한민국은 ‘대한민국 인공지능 도약방안’, ‘인공지능 시스템 신뢰성 제고를 위한 요구사항’, 현재 국회에 보류되고 있는 ‘인공지능 법안’, 그리고 ‘디지털 권리장전’들을 통해 인공지능 관련 법안 및 가이드라인을 제시하려 하고 있다. 그러나 ‘대한민국 인공지능 도약 방안’에 내포되어 있는 전국민 인공지능 일상화나, 인공지능 법안의 ‘선 허용 – 후 규제’ 법안 및 디지털 권리장전의 5대 원칙 중 하나인 ‘디지털 혁신의 촉진’은 인공지능 관련 문제들의 해결방안을 제공하기보다는 인공지능 기술 자체를 어떻게 발전시키고 더 효율적으로 향상시킬 수 있을지에 대한 가이드라인들로 볼 수 있다.

앞선 내용을 토대로 다양한 방법론을 확인할 수 있었다. 그러나 AI 중심적인 법안보다, 사람 중심적인 AI(Human Centered AI, HCAI)법안 및 기술적 노력을 하는 것이 앞으로 더 필요 할 것으로 보인다. 특히, 법률가들보다 기술 전문가들의 역할과 노력이 강조된다. 법은 기술의 발전이 이루어지고, 논의 후 법률이 제정된 이후 시점이 되어서야 비로소 우리 사회 가운데 적용되기 때문에 기술 전문가들은 이를 인지하고 누구보다 더 윤리적이고 완벽하게 사람을 보좌해 주는 기술들을 만들고, 어떤 한 기술에 대해 문제가 발생하였을 때, 기술로서 다시금 그러한 문제를 해결할 수 있게끔 힘써야 할 것이다. 앞으로 인간의 권리와 도덕적, 윤리적 가치를 중요하게 여기고 갖춘 기술자 및 전문가들이 우리 사회 가운데 배출되어, 더욱 안전하고 신뢰할 수 있는 기술이 사회의 발전에 기여할 것을 기대한다.

Sources:

  1. Choi, Hee-Seok, “Implementation of a Human-Centered AI Ecosystem”, KISTI, 2024.03.26.

  2. Oh, Sang-Jin. "AI Robustness Issues Toward the Future", KISTI, 2024.03.26.