My Progress

1. CPU와 GPU의 차이 1. 1 코어의 개수 차이Number of Core in GPU is extremely larger than that of CPU. 1.2  성능의 차이Perfomance of each core of CPU is much better than GPU. 2. GPU의 코어가 많아야 되는 이유한 스크린에는 몇만개의 픽셀이 있다. 이 픽셀들의 RGB값을 계산을 하기 위해선 코어가 많은 GPU 훨씬 유리하다. 수학적 계산이 많이 필요한 딥러닝이라는 분야가 뜨면서 코어 개수가 많은 GPU의 중요성이 커졌다. 3.  컴퓨터가 고등사고가 가능한 이유와 그외GPU와 CPU가 연동을 하여 메세지를 주고 받는 과정 덕분에 고등사고가 가능하다. 그외: Nvidia의 CUDA가 제일 인기가 많은 ..

ChatGPT가 나온 이후로 언어모델의 대한 관심 급증하기 시작하고 기업들은 너도 나도 할것없이 이 언어모델을 개발하고 도입하기 시작한다. 이와 동시에 "Prompt Engineering. / 프롬프트 엔지니어링" 이라는 분야가 생겨나고 각광 받기 시작한다.  테슬라의 전 AI 책임자가 ‘가장 있기 있는 새로운 프로그래밍 언어는 영어’라고 할 정도로 프롬프트 엔지니어링의 중요성이 높아지고 있다. Anthropic AI가 올해 초 프롬프트 엔지니어 채용 공고 에서는 제시한 연봉이 무려 25만에서 33만 달러 (대략적으로 한화 3억 2천만원에서 4억 3천만원)이라고 한다. 그럼 왜 프롬프트 엔지니어링이라는 분야가 생겨났고 어떤 기술을 사용하는지 알아보자 1. 생겨난 이유프롬프트 엔지니어링이 중요하고 생겨나게..

1. 연구목적:GPT-4와 GPT-3.5의 2023 3월과 6월에 스냅샷 된 두가지 버전사이의 변화 측정 2. 연구방법4가지 작업에 대해서 평가  1. 수학문제풀이: 정확도비교2. 민감하거나 위험한 질문에 대한 답변: 답변률3. 코드생성: 생성된 코드로 직접 실행 가능여부4. 시각적 추론: 정확성 추가 측정 방법:1. 생성길이2. 답변이 일치하는지에 대한 중복성과 일관성 3. 4가지 작업에 대한 비교 평가 4. 연구 결과 - GPT-3.5와 GPT-4의 행동이 짧은 시간 동안 상당히 변했다는 것을 확인했다.- 대형 언어 모델의 행동을 지속적으로 평가하고 검증해야한다  출처: https://arxiv.org/pdf/2307.09009.pdf

2023 Summer AI/언어모델 시장은 크게 3가지로 나눌수있다.1. 기업들간 생성 AI 경쟁 과열2. Open source와 Closed Source 언어모델들간의 경쟁3. AI 발전에 대한 우려 1.기업들간의 생성 AI 경쟁 과열 모두가 알다시피 GPT가 큰 인기를 얻게 되기 시작하면서 시장의 트렌드가 언어모델 또는 AI에 집중되었다. 수많은 기업들이 LLM(Large Language Model)/ 언어모델을 개발을 하면 경쟁을 하기 시작한다. 기업들간의 경쟁1. ChatGPT by OpenAI2. Bard by Google3. Bing AI by Microsoft4. LLaMA by Meta5. 기타 등등이렇게 수많은 언어모델들이 앞다투어 나오기 시작한다. 이 트렌드에 힘 입어 수많은 기업들이 ..

2가지 종류의 언어모델1. 통계학적 방법 / Probabilistic Methods뜻: 다음 단어를 확률적으로 추론하는 방법N-gram possibilities설명:n-단어 시퀀스, 여기서 n은 0보다 큰 정수인 경우n-그램의 마지막 단어가 특정한 n-1 그램을 따르는 조건부 확률(마지막 단어를 제외한 경우)마지막 단어를 제외한 n-1 그램 뒤에 따르는 마지막 단어의 출현 비율단점:이전의 n 단어만이 다음 단어의 확률 분포에 영향을 미침결정에 문맥을 포함하지 않음다음 단어가 이전 n 단어로부터 명백하지 않을 수 있음모든 순열을 계산해야 함발생하지 않는 n-그램은 희소성 문제를 야기할 수 있음품질이 낮을 수 있음2. 인공 신경망 기반 방법 / Neural network-based뜻: 인공 신경망을 이용하여..