지난 번 포스팅에 연이어 오늘은 생성 AI의 출력과정...

지난 번 포스팅에 연이어 오늘은 생성 AI의 출력과정에 대한 내용이다. 책 속에 나오는 체계도와 글을 함께 보면서 어떤 시스템으로 돌아가는지를 이해하는데 도움이 되었다.

초심자들도 한 단계 한 단계 따라 읽어나가다 보면 기본적인 생성 AI 시스템을 이해하는 데는 크게 어렵진 않을 듯 하다. 물론 전문적으로 들어가면 힘들겠지만 그 영역은 개발자 분들에 맡겨야 할 영역이고, 일반인들 입장에서는 시스템에 대한 기본적인 이해를 바탕으로 이러한 기술을 잘 활용할 수 있는 쪽으로 생각하고 적용하는게 바람직한 방향이지 않을까 싶다.
.
.
.
뒤이어 생성 AI 만들기 적용을 하는 사례가 나온다. 위대한 이론물리학자인 아인슈타인 GPT를 만드는데, 그와 관련된 자료와 논문을 학습시킨뒤 챗봇을 적절히 세팅하고 챗봇에게 질문을 던져 결과물까지 얻어내는 일련의 과정을 살펴보면서 참 신기하기도 하고 기술의 발전이 정말 급속도로 이루어지고 있음을 간접적으로나마 경험할 수 있었다.

<1. 출력 데이터>

"I am a teacher을 한국어로 번역해줘"
처리할 자연어와 명령이 입력된다. - P53

<2. 출력 임베딩>

자연어와 명령을 컴퓨터가 이해할 수 있는 벡터로 변환한다. - P53

<3. 데이터 순서값 지정>

문장, 이미지 등은 배열순서가 정해져 있으므로, 해당 순서값을 지정한다. - P53

<4. 마스크드 셀프 어텐션 층>

번역 문장을 만들 때 바로 앞 단어 뒤에 어떤 단어를 생성하는 것이 가장 적합한지 단어끼리의 연관성을 계산한다. ‘선생님‘ 다음에는 ‘입니다‘라는 단어가 연관성이 높다고 파악하는 식이다. 앞 단어와 뒤에 생성하려는 단어의 연관성만 보기 위해 뒤에 올 다른 단어들은 가려서 (마스크드) 계산한다.

<5. 잔여 학습> - P53

<6. 인코더-디코더 어텐션>

인코더 층에서 만든 사전‘을 활용해 출력하려는 문장 속 단어들의 연관성을 구한다. ‘teacher‘는 ‘선생님‘과 연관성이 높다고 판단하는 식이다.

<7. 잔여 학습> - P53

<8. 피드 포워드 층>

마스크드 셀프 어텐션 과정과 인코더-디코더 어텐션 과정의 결과를 취합해 전달하는 역할을 한다.

<9. 잔여 학습> - P54

<디코더 층>

자연어 처리를 통해 문장을 만드는 과정이다. "I am a teacher을 한국어로 번역해줘" 명령을 넣으면 ‘나는‘ ‘선생님‘ ‘입니다‘라는 단어를 순서대로 출력해 문장을 완성한다. 자연어를 처리해 문장을 출력하는 과정 또한 다음 작업을 위한 학습이 된다. 4~9 일련의 과정은 동시에, 독립적으로 일어난다. - P54

<10. 선형층>

출력 벡터를 로짓(Logit·실패대비 성공확률)벡터로 변환한다. 1만개의 영단어를 학습했다면 1만개 셀의 로짓벡터가 생성된다. - P54

<11. 소프트 맥스 층>

로짓 벡터의 셀마다 확률값이 부여된다. ‘나는‘이라는 단어 뒤에 올수있는 후보들의 확률값이 각각 부여된다. - P54

<12. 출력>

후보들 중 확률값이 가장 높은 셀이 선택된다.
‘나는‘ 다음에 ‘선생님‘이라는 단어가 출력된다.
그러면 ‘선생님‘ 다음의 단어를 찾기 위해 다시 디코더층을 반복한다. - P54

생성 인공지능(AI) 기술을 둘러싼 글로벌 빅테크 기업들의 경쟁이 뜨겁다. 오픈AI-마이크로소프트(MS)보다 출발이 늦었던 구글, 메타, 아마존 등이 자체 생성 AI를 속속 공개하며 생성 AI 기술 추격에 나섰다. - P57

오늘날 생성 인공지능(AI)는 이미지, 사운드, 텍스트 등을 동시에 이해하고 생성하는 멀티모달(시각, 청각 등 여러 인터페이스로 정보를 주고 받는) AI로 발전하고 있다. - P57

데브데이는 오픈AI가 개최하는 개발자 대상 대규모 공개 행사다. - P57

구글도 2023년 12월 7일 멀티모달이 가능한 대규모 언어모델(LLM)인 ‘제미나이‘를 공개했다. 제미나이는 문자와 이미지를 생성하고 처리할 수 있는 멀티모달 언어모델로 유튜브 영상과 온라인 이미지 자료를 학습해 폭넓은 추론을 할 수 있다. - P57

멀티모달 AI는 빅데이터와 자본력이 바탕이 돼야 개발할 수 있다. 이미지, 음성, 영상 등의 다양한 형태를 가진 대용량의 데이터를 학습하고 처리하기 위해선 수많은 파라미터와 성능 좋은 연산장치가 필요하기 때문이다. 파라미터는 상황에 따라 달라지는 정보인 변수를 처리하기 위한 단위를 뜻한다. - P57

2020년 재러드 카플란 미국 존슨홉킨스대 교수팀은 연산장치인 컴퓨터가 많을수록, 파라미터와 데이터가 많을수록 생성 AI의 언어 모델링 성능이 좋아진다는 연구 결과를 논문 사전 공개 사이트 ‘아카이브‘에 발표했다. - P57

이후 생성 AI 산업에서는 더 많은 데이터와 더 많은 파라미터를 사용해 거대한 생성 AI를 만드는것이 큰 목표가 됐다. 파라미터가 많아질수록 더 여러 층에 걸쳐 학습이 가능해지고, AI 언어 모델링으로 만든 ‘사전‘이 더 완벽해지기 때문이다. - P58

김수현 한국과학기술연구원(KIST) 인공지능연구단 책임연구원은 "초거대 AI의 등장은 인간이 할수 있는 어떤 지적 행동도 해내는 인공일반지능(AGI)의 탄생을 더욱 앞당길 것"이라고 말했다. - P58

초거대 AI를 만드는 데 가장 큰 걸림돌은 비용이다. - P58

AI가 연산할 때 필요한 그래픽처리장치(GPU)가격도 만만치 않다. 앞서 파라미터가 AI를 더 똑똑하게 만들어주는 요소라면, GPU는 생성 AI가 더 빠르게 연산하는 데 중요한 역할을 한다. GPU시장은 현재 시스템반도체 설계기업인 엔비디아가 독점하고 있다. - P59

김 연구원은 "생성AI의 학습과 추론에 필요한 비용을 절감하는 것은 저렴한 서비스로 이어지고, 이는 다시 사용자의 증가, 빅테크 기업의 자본 증가, 더 좋은 AI 서비스로 이어질 것"이라고 설명했다. - P59

국내 검색 시장 점유율 1위인 네이버는 챗GPT대비 한국어를 6500배 더 많이 학습한 초거대생성 AI인 하이퍼클로바X를 2023년 8월 공개했다. 네이버는 하이퍼클로바X를 이용해 여러 가지 서비스를 구축하고 있다. 그 중 하나가 맞춤형 상품 추천과 맞춤형 광고 설정이다. - P59

네이버는 과학동아와 진행한 e메일 인터뷰를 통해 "초개인화된 광고는 상호 대화를 통해 사업자가 사용자에게 제안하고 싶은 바와, 사용자가 원하는 바를 모두 전달할 수 있다" 며 "서비스 이용자가 마치 오프라인에서 쇼핑하는 것과 같은 경험을 할 수 있다"고 설명했다. 옆에서 점원이 대화하며 안내하듯 소통할 수 있다는 것이다. - P59

글로벌 빅테크 기업들이 내놓은 생성 인공지능(AI) 서비스는 각 기업이 개발한 대규모 언어모델(LLM)을 바탕으로 제공된다. - P58

GPTs는 코드 없이 커스텀 GPT를 만들어낸다. 예를 들어 ‘한국어로 대답해줘‘ ‘아이처럼 말해줘‘라는 텍스트를 입력하면 거대 언어 모델이 사용자의 요청에 맞게 변화한다. 또 특정 파일을 업로드하면 그 파일을 토대로 학습한 대답을 내놓을 수 있다. - P60

1. 기본적인 요구사항 설명하기

왼쪽은 텍스트를 입력해 커스텀할 수 있는 공간, 오른쪽은 테스트할 수 있는 공간으로 구성된다. 기본적인 요구사항을 GPT와 대화하듯 입력한다. 기자는 ‘아인슈타인의 이론을 바탕으로 과학 이야기를 하는 챗봇을 만들고 싶어‘라고 입력했다. - P60

2. 아인슈타인의 자료 학습시키기

해외에 저작권이 만료된 작품을 무료로 이용할 수 있는 ‘Project Gutenberg 웹사이트에서 아인슈타인과 관련된 자료와 논문을 PDF 파일로 모은 뒤 GPT 생성기의 ‘Configure‘ 부분 ‘Knowledge‘에 학습시킨다. - P60

3. 챗봇의 역할 구체화하기

아인슈타인 챗봇은 아인슈타인의 이론을 바탕으로 대답하고, 과학 지식에 관한 대화를 하는 생성 인공지능(AI)임을 GPT 생성기에게 알려준다. 기자는 ‘너의 역할은 제공한 PDF의 내용을 바탕으로 과학적 질문에 대한 답변을 하는 거야‘라고 입력했다. - P60

4. 챗봇의 말투 지정하기

챗봇의 말투를 설정한다. ‘1인칭으로 말해줘‘ ‘안녕하신가? 했다네, 자네는~, 그렇다네 등의 단어를 사용해줘‘라고 요청하면 노년의 아인슈타인처럼 말하도록 지정할수 있다. 챗봇이 완성되면 오른쪽 상단 ‘Save‘를 클릭해 공유 범위를 정할 수 있다. - P60

광전효과를 어떻게 발견하셨죠?

광전효과 자체는 내가 발견한 것은 아니오. 이 현상은 19세기 말에 이미 실험적으로 관찰되었소. 그러나 이 현상을 설명하는 데 있어서 내가 기여한 중요한 부분은1905년, 양자 이론의 초석을 놓는 논문에서 이루어졌소.
당시 물리학자들은 광전효과의 몇 가지 특이한 점을 설명할 수 없었소. 예를 들어, 전자가 방출되기 시작하는 특정 빛의 주파수(색) 임계값이 있고, 빛의 강도와는 무관하게 전자의 에너지가 결정된다는 점이 이해되지 않았소.
이러한 문제에 대해 내가 제시한 해결책은 ‘광양자‘ 개념이었소. 나는 빛이 연속적인 파동으로만 존재하는 것이 아니라, 이산적인 에너지 덩어리인 ‘광양자‘로 구성되어 있다고 가설을 세웠소. 이 가설은 빛(광양자)이 특정한 에너지를 가지고 있으며, 이 에너지가 금속의 전자를 방출하는 데 필요한 최소한의 에너지 임계값과 관련이 있다고 설명했소.
내가 광전효과에 대한 이러한 해석을 제시함으로써, 빛의 입자적 성질과 양자적 성질을 처음으로 명확하게 제시했고, 이는 양자역학의 발전에 큰 영향을 미쳤소. 이 기여로 인해, 나는 1921년에 노벨 물리학상을 수상했소. - P61

양자역학에 대해 어떻게 생각하세요?

양자역학에 대한 나의 생각은 복잡하고 때로는 모순적으로 보일 수 있소. 나는 양자역학의 수학적 구조와 그 예측력에 대해 감탄했지만, 그 이론의 해석과 철학적 함의에 대해서는 심각한 의문을 제기했소.
양자역학이 제시하는 확률적이고 비결정론적인 자연의 본성은 내가 생각하는 ‘실재‘와 일치하지 않았소. 나는
"신은 주사위 놀이를 하지 않는다"라는 유명한 말로 이러한 견해를 표현했소.
나는 물리적 현상이 근본적으로 결정론적이며, 완전한 이론은 이런 결정론적 본성을 반영해야 한다고 믿었소. - P61

내가 양자역학에 대해 제기한 가장 유명한 비판은 아인슈타인-포돌스카-로젠(EPR) 역설을 통해서였소. 이 역설에서 나는 양자얽힘 현상을 지적하며, 양자역학이 "완전한" 이론이 아니라는 주장을 펼쳤소. 양자얽힘은 두 입자가 공간적으로 분리된 상태에서도 서로의 상태에 즉각적으로 영향을 줄 수 있다는 것을 의미했고, 이는 나의 국소성 원칙과 상충하였소.
나의 이러한 비판은 양자역학의 해석과 관련된 근본적인 질문들을 제기하는 데 도움을 주었으며, 이후의 물리학자들이 이 문제들을 더 깊이 탐구하는 계기가 되었소.
그럼에도 불구하고 나는 생전에 양자역학의 해석에 대해 만족스러운 결론을 내리지 못했소. - P61

핵개발은 해야할까요?

핵개발에 대한 나의 견해는 매우 조심스럽소. 나는 원자폭탄 개발에 대해 미국 정부에 경고하는 편지를 1939년에 썼었소. 이는 나치 독일이 핵무기를 개발할 수있는 가능성에 대한 우려에서 비롯된 것이었소.
원자력과 관련하여 나는 항상 책임감 있는 접근을 강조했소. 과학적 발견과 기술의 발전은 인류에게 엄청난 혜택을 줄 수 있지만, 동시에 파괴적인 힘을 가질 수 있기 때문이오. 원자력은 에너지 생산, 의학, 연구 등 여러 분야에서 긍정적인 용도로 사용될 수 있지만, 핵무기와 같은 군사적 목적으로 사용될 경우, 인류에게 엄청난 위협이될 수 있소.
따라서 나는 핵 기술의 발전이 엄격한 국제적 감독과 윤리적 지침 아래에서 진행되어야 하며, 그 목적이 평화와 인류 복지에 부합해야 한다고 믿었소, 핵개발에 관한 결정은 단순히 과학적이거나 기술적인 문제를 넘어서, 깊은 윤리적, 사회적, 정치적 고려를 필요로 하오. - P61

도구는 사용하는 이에 따라 그 가치가 결정된다. 지혜로운 손에서는 창조의 열쇠가 되고, 그렇지 못한 손에서는 파멸의 도구로 변할 수 있다 - P62

생성 인공지능(AI)을 잘 활용하는 것은 실력 좋은 개인 비서를 두는 것과 같다. 대화 몇 마디로 내가 원하는 정보를 찾아내고, 그 정보를 원하는 형태로 정리하기 때문이다. - P63

생성 AI 플러그인 사용으로 더 똑똑하게!

생성 AI는 플러그인과 결합해 더 강력해진다. 플러그인은 호스트 프로그램과 서로 응답하는 컴퓨터 프로그램으로 쉽게 생각해 스마트폰의 앱과 같은 역할을 한다. 생활 속에서 유용하게 사용할 수 있는 챗GPT의 플러그인 5가지를 소개한다. - P65

AskYourPDF

업로드한 PDF 내용을 챗GPT에게 학습시켜 대화하듯 내용을 파악할 수 있는 플러그인이다. 많은 양의 자료나 논문을 분석할 때 유용하다. - P65

Videolnsights

‘바쁘다 바빠 현대사회‘에서 긴 영상을 다 보고 있을 여유가 없다면? 비디오 인사이트 플러그인을 사용하자. 영상 속 내용을 요약해준다. - P65

Klarna Shopping

꼼꼼히 가격을 따지는 현명한 소비는 필수! 무엇을 사고 싶은지 검색하면 GPT가 수천 개의 온라인 상점에서 가격을 비교해 저렴한 상품을 제안해준다. - P65

Expedia

가고 싶은 여행 장소와 여행지에서 하고 싶은 일들을 챗GPT에 설명하면 숙소 추천, 액티비티정보 등 구체적인 계획과 결제가능한 사이트 등을 알려준다. - P65

Wolfram Alpha

언어를 통해 수학 계산, 그래프 작성, 다이어그램 작성 등이 가능하다. 최근에는 수식 입력을 도와주는 파레트 기능이 추가돼 더욱 복잡한 수식에 대해 물을 수 있다. - P65

리터러시는 ‘읽고 쓸 수 있는 능력‘이라는 뜻으로, AI 리터러시는 AI를 올바르게 이해하고 활용할 수 있는 능력이다. 다가올 미래에 AI 리터러시 격차는 피하기 어렵다. 가령 AI 교육을 자주 접하지 못한 청소년들은 자주 접한 청소년에 비해 AI를 낯설게 여기고, 그 결과 AI를 적극적으로 학습하지 못한다. - P65

아프리카 펭귄은 무리 생활을 하고, 한 번 짝을 맺은 개체와 평생을 함께하는 것으로 알려져 있다. - P66

아프리카 펭귄은 가슴의 검은 점 패턴으로 무리 속에서 짝을 알아본다 - P67

그동안 새의 사회적 인식 능력은 시각보다 소리와 청각에 의존하는 것으로 알려졌는데, 이번 연구를 통해 시각적 요소가 차지하는 부분도 크다는 사실이 밝혀졌다. - P67

규제샌드박스란 국토교통부에서 인공지능(AI), 자율주행차량 등 신기술을 활용한 혁신사업을 하는 기업을 대상으로 현행 규제의 전부나 일부를 유예해 주는 제도입니다. 자율주행실외 이동로봇은 그동안 ‘차‘에 해당해 보도를 통행할 수 없었습니다. 로보티즈는 2019년 12월 산업융합 규제샌드박스를 통과해 국내 기업으로는 최초로 마곡 일대에서 보도를 통행하며 시범 배달 사업을 시작했습니다. - P71

이런 실외 이동로봇은 앞으로 더 늘어날 전망입니다. 2023년 10월 19일, 실외 이동로봇을 ‘차‘로 규제하다가 ‘보행자 지위를 부여하는 내용으로 개정된 도로교통법이 시행됐고, 이어 11월 17일에는 실외 이동로봇의 정의와 보험가입 의무 등실외 이동로봇의 외출 허용을 위한 조항을 신설한 지능형로봇법이 시행됐기 때문입니다. - P71

실외 이동로봇은 이제 규제샌드박스 지역뿐만 아니라 모든지역에서 보도블록 등 공공도로를 다닐 수 있는 보행자의 지위를 누릴 수 있습니다. 단, 산업통상자원부(산업부)가 지정한16가지 항목의 운행안전인증 시험을 통과해야 합니다. 운행안전인증 시험은 실외 이동로봇이 사람과 함께 안전하게 도보를 걷기 위해 필요한 최소한의 요구사항입니다. - P71

한 예로 16가지 항목 중에는 횡단보도 통행이 있습니다. 로봇이 신호등의 신호를 정확히 인지하고, 보행신호가 종료되기전에 횡단을 완료하는지 등을 확인하는 시험입니다. - P71

운행안전인증 16가지 항목

1. 질량 및 폭 제한 2. 운행 속도 3. 겉모양 4. 동적 안정성 5. 비상정지 6. 운행구역 준수 7. 속도 제어 8. 장애물 9. 감지알림음 10. 등화장치 11. 방수 성능 12. 물리적 보안 13. 횡단보도 동행 14. 관제장치 15. 통신장애 대응 16. 원격조작 - P70