My Progress

1. IntuitionLinear Regression is not a good method for Classification Problem.Why?One outlier on the right changes the linear regression function. It moves decision boundary dramatically. 2. Logistic Regression2.1 FormulaLogistic function allows the function to be curved unlike the linear regression. This is a sigmoid function aka logistic function. x-axis represents the number z. It outputs a v..

1. What is Feature Engineering? Using intuition to design new features, by transforming or combinging original features. Example) House price. If we are given the dimension of the house such as length and width, we can create a new variable to include for price prediction of a house. For example, we create a area variable with length and width. 2. Feature engineering in Polynomial Regression We ..

1. Checking Gradient descent for convergence How to check if Gradient descent is working well? 1.1 Graph This graph is called Learning curve. As the iteration increases, the minimum cost should decrease. If the graph remains constant after enough iterations, we call that it has converged 1.2 Epsilon / Automatic convergence test Let epsilon be 0.001 If the cost function decreaes by epsilon in one..

1. Intuition House example: Lets say we are predicting the price of a house based on its size and number of bed rooms. Number for size of a house is relatively larger than the number of bed rooms. This large difference between numbers will make it hard to accurately predict the price. How is this related to gradient descent? Since the number for size is large, it takes smaller w value to make a ..

1. CPU와 GPU의 차이 1. 1 코어의 개수 차이Number of Core in GPU is extremely larger than that of CPU. 1.2  성능의 차이Perfomance of each core of CPU is much better than GPU. 2. GPU의 코어가 많아야 되는 이유한 스크린에는 몇만개의 픽셀이 있다. 이 픽셀들의 RGB값을 계산을 하기 위해선 코어가 많은 GPU 훨씬 유리하다. 수학적 계산이 많이 필요한 딥러닝이라는 분야가 뜨면서 코어 개수가 많은 GPU의 중요성이 커졌다. 3.  컴퓨터가 고등사고가 가능한 이유와 그외GPU와 CPU가 연동을 하여 메세지를 주고 받는 과정 덕분에 고등사고가 가능하다. 그외: Nvidia의 CUDA가 제일 인기가 많은 ..

1. Linear Regression Purpose: To predict the output based on the given examples or dataset 1. 1 Terminology Univariate linear regression: Linear regression with one(single feature x) variable fw,b(x) = wx + b 1.2 Code Necessary Libraries #Numpy, a popular library for scientific computing import numpy as np #Matplotlib, a popular library for plotting data import matplotlib.pyplot as plt x_train =..

ChatGPT가 나온 이후로 언어모델의 대한 관심 급증하기 시작하고 기업들은 너도 나도 할것없이 이 언어모델을 개발하고 도입하기 시작한다. 이와 동시에 "Prompt Engineering. / 프롬프트 엔지니어링" 이라는 분야가 생겨나고 각광 받기 시작한다.  테슬라의 전 AI 책임자가 ‘가장 있기 있는 새로운 프로그래밍 언어는 영어’라고 할 정도로 프롬프트 엔지니어링의 중요성이 높아지고 있다. Anthropic AI가 올해 초 프롬프트 엔지니어 채용 공고 에서는 제시한 연봉이 무려 25만에서 33만 달러 (대략적으로 한화 3억 2천만원에서 4억 3천만원)이라고 한다. 그럼 왜 프롬프트 엔지니어링이라는 분야가 생겨났고 어떤 기술을 사용하는지 알아보자 1. 생겨난 이유프롬프트 엔지니어링이 중요하고 생겨나게..

1. 연구목적:GPT-4와 GPT-3.5의 2023 3월과 6월에 스냅샷 된 두가지 버전사이의 변화 측정 2. 연구방법4가지 작업에 대해서 평가  1. 수학문제풀이: 정확도비교2. 민감하거나 위험한 질문에 대한 답변: 답변률3. 코드생성: 생성된 코드로 직접 실행 가능여부4. 시각적 추론: 정확성 추가 측정 방법:1. 생성길이2. 답변이 일치하는지에 대한 중복성과 일관성 3. 4가지 작업에 대한 비교 평가 4. 연구 결과 - GPT-3.5와 GPT-4의 행동이 짧은 시간 동안 상당히 변했다는 것을 확인했다.- 대형 언어 모델의 행동을 지속적으로 평가하고 검증해야한다  출처: https://arxiv.org/pdf/2307.09009.pdf

2023 Summer AI/언어모델 시장은 크게 3가지로 나눌수있다.1. 기업들간 생성 AI 경쟁 과열2. Open source와 Closed Source 언어모델들간의 경쟁3. AI 발전에 대한 우려 1.기업들간의 생성 AI 경쟁 과열 모두가 알다시피 GPT가 큰 인기를 얻게 되기 시작하면서 시장의 트렌드가 언어모델 또는 AI에 집중되었다. 수많은 기업들이 LLM(Large Language Model)/ 언어모델을 개발을 하면 경쟁을 하기 시작한다. 기업들간의 경쟁1. ChatGPT by OpenAI2. Bard by Google3. Bing AI by Microsoft4. LLaMA by Meta5. 기타 등등이렇게 수많은 언어모델들이 앞다투어 나오기 시작한다. 이 트렌드에 힘 입어 수많은 기업들이 ..