My Progress

1. Neurons and the brain Origins: Algorithms that try to mimic the brain Development RoadMap: speech -> images -> text(NLP) -> ... Since the development of Large Neural Network and GPU, we could perform many different task using the "Big Data". 2. Example - Demand Prediction We use sigmoid function to solve the classification problem. We called the function we use f(x). In the neural network, we..

1. IntuitionLinear Regression is not a good method for Classification Problem.Why?One outlier on the right changes the linear regression function. It moves decision boundary dramatically. 2. Logistic Regression2.1 FormulaLogistic function allows the function to be curved unlike the linear regression. This is a sigmoid function aka logistic function. x-axis represents the number z. It outputs a v..

1. What is Feature Engineering? Using intuition to design new features, by transforming or combinging original features. Example) House price. If we are given the dimension of the house such as length and width, we can create a new variable to include for price prediction of a house. For example, we create a area variable with length and width. 2. Feature engineering in Polynomial Regression We ..

1. Checking Gradient descent for convergence How to check if Gradient descent is working well? 1.1 Graph This graph is called Learning curve. As the iteration increases, the minimum cost should decrease. If the graph remains constant after enough iterations, we call that it has converged 1.2 Epsilon / Automatic convergence test Let epsilon be 0.001 If the cost function decreaes by epsilon in one..

1. Intuition House example: Lets say we are predicting the price of a house based on its size and number of bed rooms. Number for size of a house is relatively larger than the number of bed rooms. This large difference between numbers will make it hard to accurately predict the price. How is this related to gradient descent? Since the number for size is large, it takes smaller w value to make a ..

ChatGPT가 나온 이후로 언어모델의 대한 관심 급증하기 시작하고 기업들은 너도 나도 할것없이 이 언어모델을 개발하고 도입하기 시작한다. 이와 동시에 "Prompt Engineering. / 프롬프트 엔지니어링" 이라는 분야가 생겨나고 각광 받기 시작한다.  테슬라의 전 AI 책임자가 ‘가장 있기 있는 새로운 프로그래밍 언어는 영어’라고 할 정도로 프롬프트 엔지니어링의 중요성이 높아지고 있다. Anthropic AI가 올해 초 프롬프트 엔지니어 채용 공고 에서는 제시한 연봉이 무려 25만에서 33만 달러 (대략적으로 한화 3억 2천만원에서 4억 3천만원)이라고 한다. 그럼 왜 프롬프트 엔지니어링이라는 분야가 생겨났고 어떤 기술을 사용하는지 알아보자 1. 생겨난 이유프롬프트 엔지니어링이 중요하고 생겨나게..

1. 연구목적:GPT-4와 GPT-3.5의 2023 3월과 6월에 스냅샷 된 두가지 버전사이의 변화 측정 2. 연구방법4가지 작업에 대해서 평가  1. 수학문제풀이: 정확도비교2. 민감하거나 위험한 질문에 대한 답변: 답변률3. 코드생성: 생성된 코드로 직접 실행 가능여부4. 시각적 추론: 정확성 추가 측정 방법:1. 생성길이2. 답변이 일치하는지에 대한 중복성과 일관성 3. 4가지 작업에 대한 비교 평가 4. 연구 결과 - GPT-3.5와 GPT-4의 행동이 짧은 시간 동안 상당히 변했다는 것을 확인했다.- 대형 언어 모델의 행동을 지속적으로 평가하고 검증해야한다  출처: https://arxiv.org/pdf/2307.09009.pdf