˝이미 지나간 걸 놓을 줄 알아야 해. 과거를 놓을 ...

"이미 지나간 걸 놓을 줄 알아야 해. 과거를 놓을 줄 알아야 하지." - P191

온전한 정신상태를 유지하는 것은 일종의 묘기다.
일종의 테크닉이다. 온전한 정신은 꼭 붙들고 있어야 하는 것이다. 너무 오랫동안 느슨하게 쥔 탓에 정신이 두려워하는 곳이나 갈망하는 곳으로 훌러가버리면 아예 사라져버릴 위험도 있다.
살다보면 정신 건강을 위해 떠올리지 말아야 하는 것을이 있기 마련이다. - P300

• 입출력 프롬프팅 Input-Output Promp...

• 입출력 프롬프팅 Input-Output Prompting: IO
: 가장 간단한 형태로, 질문에 대한 답변을 직접적으로 생성합니다

• 생각 사슬 프롬프팅 Chain of Thought Prompting: CoT
: 질문에 답하기 위해 중간 단계의 추론을 먼저 생성합니다.

• 자기 일관성 프롬프팅 Self Consistency with CoT: SC
: 여러 추론 경로를 고려하여 가장 일관된 답변을 선택합니다.

• 생각 트리 프롬프팅 Tree of Thoughts: ToT
: 여러 단계의 추론 경로를 다양하게 탐색하며 최적의 추론 경로를 찾아나갑니다. 각 노드(상자)는 하나의 추론 단계를 대표합니다.
(=> 트리구조로 답변을 생성해 내면서 중간 단계에서 진행 상황을 스스로 평가하여 생각 트리를 확장하고 선택하는 방법)

• 계획-풀이 프롬프팅 Plan-and-Slove Prompting
: 생각 사슬, 자기 일관성 등의 기법을 사용했을 때 잘못된 답변을 하는 경우 가장 큰 문제인 중간 문제 풀이 단계가 누락되는 오류를 해결하기 위한 기법.
전체 작업을 더 작은 하위 작업으로 계획을 세우고 그 계획에 따라 하위 작업을 수행하거나 평가하면서 전체 문제를 해결. - P342

프롬프트 엔지니어링이란 프로그래밍을 한마디로 말하면...

프롬프트 엔지니어링이란

프로그래밍을 한마디로 말하면 컴퓨터와 상호 작용하는 방법입니다. 프롬프트 엔지니어링 prompt engineering의 등장은 컴퓨터와 상호 작용하는 새로운 방법이 나타난 것과 같습니다. 
그 새로운 방법이란 바로 인간이 쓰는 자연어로 컴퓨터와 상호 작용하는 것입니다. 이로써 더 넓고 복잡한 영역의 프로그램 개발이 가능해짐은 물론, 결정론적인 방법을 적용한 프로그램과 비결정론적 방법을 적용한 머신러닝 프로그램 모두 개발 속도를 크게 높일 수 있게 되었습니다. 따라서 소프트웨어 3.0 시대는 모다 많은 사람들이 프로그래머가 될 수 있는 세상이 온 것을 의미하기도 합니다. - P19

LLM의 숨은 영웅, 임베딩

LLM으로 정보를 찾는 과정을 이해하려면 임베딩 embedding을 알아야 합니다.
컴퓨터는 숫자를 사용해 계산하고 데이터를 처리합니다. 하지만 우리가 사용하는 언어는 단어와 문장으로 이루어져 있습니다. LL.M에서 임베딩이란단어나 문장 같은 언어의 조각들을 숫자로 바꾸는 과정을 말합니다. 임베딩의 사전적 의미, 즉 ‘무언가를 다른 공간이나 형태로 집어 넣는 것과 같이 임베딩에 의해 변환된 숫자들은 숫자의 집합, 벡터 형태를 가지며, 이 숫자의집합(배열)은 단어나 문장 같은 언어 조각들의 개념적 위치를 알려 주는 역할을 합니다.
예를 들어, ‘사과‘라는 단어는 [0.1.0.2]. ‘바나나‘는 10.3.0.4]라는 벡터로 변환합니다. 이런 벡터 값에 의해 ‘사과‘ 와 ‘바나나‘는 다른 단어이지만 숫자로 표현된 공간에서 서로 가까운 위치에 있다는 것을 알 수 있습니다. 또한 컴퓨터는 두 단어 모두가 ‘과일‘이라는 범주에 있느누것을 포착하여 해당 단어를 더 잘 이해할 수 있습니다.
이와 같은 과정을 임베딩이라고 하며, 텍스트를 숫자로 바꾸는 머신러닝모델을 임베딩 모델 (Embedding model) 이라고 합니다.
임베딩 모델은 대량의 텍스트 데이터를 분석하여 각 단어나 문장이 가진 의미와 문맥을 숫자 벡터로 표현합니다. - P93

벡터 서치와 시맨틱 서치

고차원 (임베딩)벡터는 인간이 볼 수 없는 수준(무려 1,000차원이 넘음)이지만 그만큼 단어의 특징은 잘 표현 한다고 볼 수 있습니다. 이 처럼 단어를 n차원네 배치한 것을 임베딩 공간이라고 합니다. 그리고 이 임베딩 공간에서 기준이 되는 단어와 가까운 단어를 찾는 것이 벡터 서치(vector search)
..
(중략)
키워드 기반의 전통적인 검색 엔진은 검색의 정확도와 속도를 늎이기 위해 입력된 텍스트에서 불필요한 문제들을 제거하고 단어를 기본 현태로 변형하는 형태소 분석, 유사어 및 다국어 처리 등과 같은 복잡한 과정을 거쳐야 합니다.

반면, 벡터 서치을 사용하면 이러한 전처리 과정을 거치지 않아도 의미나 맥락까지 고려한 유사 정보를 쉽게 찾아낼 수 있습니다. 도한 의미기반(semantic search)느로 검색하기 때문에 정확도와 성능 또한 크게 향상시킬 수 있어 자연어 처리(NLP), 이미지 검색, 추천 시스템 등 다양한 LLM에 널리 사용되고 있습니다. - P97

Inexpérience미경험 『참을 수 없는 존재의...

Inexpérience미경험

『참을 수 없는 존재의 가벼움』의 처음 제목은 ‘미경험의 행성‘ 이었다. 인간의 조건의 한 특성으로서의 미경험. 우리는 단 한 번만 태어나며, 결코 이전 삶의 경험을 갖고 다른 삶을 다시 시작 할 수 없다. 우리는 젊음이 무엇인지 모르는 채 어린 시절에서 벗어나고, 결혼이 무엇인지 모른 채 결혼하며, 노년에 접어들어서도 어디로 가는지 알지 못한다.
즉 노인들은 자신의 노년을 모르는 천친한 아이들이다. 그런 의미에서, 인간의 지구는 미경험의 행성이다.

- <89개의 말> 중에서 - P42

*Beauté(et connaissance). 아름...

*Beauté(et connaissance).

아름다움(과 인식)브로흐처럼 인식이 소설의 유일한 도덕이라고말하는 이들은 과학과의 연관성 때문에 너무 오염된 이 ‘인식‘이라는 말의 금속성 아우라에 배신당한다. 그래서 이렇게 덧붙여야 한다. 소설이 발견하는 실존의 모든 측면, 소설은 그것들을 아름다움으로 발견한다고. 최초의 소설가들은 모험을 발견했다. 모험이 그 자체로 우리에게 아름다워 보이고 우리가 모험을 갈망하는 건 그들 덕분이다.
 카프카는 비참하게 덫에 걸린 인간의 상황을 그렸다. 지난날, 카프카 전문가들은 카프카가 우리에게 희망을 주었는지 아닌지를 놓고 많은 논쟁을 벌였다. 아니, 희망은 없다. 다른 게 있다. 카프카는 삶이 불가능한 그런 상황조차도,기이한, 검은 아름다움으로 발견한다. 아름다움, 그것은 더는 희만이 없는 인간이 가질 수 있는 최후의 승리다.
예술에서의 아름다움이란, 한 번도 들어 본 적 없는 것이 발하는 돌연한 빛이다.
위대한 소설들이 발하는 그 빛은 세월이 흘러도 어두워지지 않는다. 인간은 늘 인간의 실존응 망각하기에, 소설가들이 이룬 발견들은 아무리 오래되어도 부단히 우리에게 놀라움을 안겨 주기 때문이다.

--< 89개의 말 > 중에서 - P23