LLM (19) 썸네일형 리스트형 RAG - Multimodal Recommender System https://learn.deeplearning.ai/courses/building-multimodal-search-and-rag/ Building Multimodal Search and RAG - DeepLearning.AIBuild smarter search and RAG applications for multimodal retrieval and generation.learn.deeplearning.ai Recommendation은 농구 져지 주세여 했을 때좀 더 개인화해서 알맞은 걸 주는 거 멀티모달은 개인화 제공함 개인화 함으로서 벡터값 하나로 이 모든 정보를 나타낼 수도 있고각 모달리티마다 벡터값으로 나타낼 수도 있음 어떤 사람은 사진만 보고, 어떤 사람은 캡션만 보고 음식/메뉴를 고를 수 있기.. RAG - Industry Applications https://learn.deeplearning.ai/courses/building-multimodal-search-and-rag/ Building Multimodal Search and RAG - DeepLearning.AIBuild smarter search and RAG applications for multimodal retrieval and generation.learn.deeplearning.ai 실제 산업에 적용될 수 있는 예시들!인풋이 영수증이나 송장이면 정보들을 json 데이터로 추출 회사 투자 덱이면 마크다운 테이블 형식으로 추출 logical flow chart의 implement를 text나 python code로 받고싶다면 이것도 가능 import warningswarnings.f.. RAG - Multimodal RAG (MM-RAG) https://learn.deeplearning.ai/courses/building-multimodal-search-and-rag/ Building Multimodal Search and RAG - DeepLearning.AIBuild smarter search and RAG applications for multimodal retrieval and generation.learn.deeplearning.ai 언어 모델에 프롬프트 형태로 질문만 제공하는 대신 질문과 함께 관련 정보 검색해 제공모델은 검색 후 생성 작업 수행해 사용자가 질문에 답하기 전에 관련 정보 읽어올 수 있음 그 다음, 프롬프트 사용해 벡터 데이터베이스에서 가장 관련성 높은 문서를 검색하고해당 관련 문서를 프롬프트와 함께 LLM의 컨텍.. RAG - Large Multimodal models https://learn.deeplearning.ai/courses/building-multimodal-search-and-rag/ Building Multimodal Search and RAG - DeepLearning.AIBuild smarter search and RAG applications for multimodal retrieval and generation.learn.deeplearning.ai 현재 LLM은 모두 생성형 사전 학습 트랜스포머임 (Llama2, Chat-GPT, Mistral 등)이런 모델은 한 번에 하나의 토큰 또는 단어 조각을 생성하기 때문에 자기회귀적-> 생성되는 다음 토큰은 이전에 제공되거나 생성된 토큰에만 의존 이런 모델은 비지도 학습 방식으로 훈련됨수조 개의 토큰에.. RAG - Multimodal search https://learn.deeplearning.ai/courses/building-multimodal-search-and-rag Building Multimodal Search and RAG - DeepLearning.AIBuild smarter search and RAG applications for multimodal retrieval and generation.learn.deeplearning.ai 어떤 모달리티로 들어와도 그 어떤 모달리티로 리트리브 가능 MM model 통과 후 벡터값 출력모달리티에 구애받지 않고 비슷한 내용(e.g. 사자)의 입력값이면 비슷한 벡터값 가짐 import warningswarnings.filterwarnings('ignore')import osfrom dotenv.. RAG - Overview of multimodality Building Multimodal Search and RAG https://www.deeplearning.ai/short-courses/building-multimodal-search-and-rag/ Building Multimodal Search and RAGBuild multimodal RAG systems that retrieve multimodal context and reason over it to generate more relevant answers.www.deeplearning.ai RAG 찍먹 드가자~ 사자라는 텍스트, 사자 울음소리라는 오디오, 사자 영상 등등'사자'와 관련있는 것은 임베딩 스페이스에서 가깝게,사자와 트럼펫처럼 관계없는건 멀게 한번에 한 모달리티는 그 모달리티에 해당하.. LangChain - Agents 언어 모델을 추론 엔진으로 사용하는 방법 AgentType은 사용하고 싶은 에이전트 유형 지정하는데 사용됨사용할 언어 모델 초기화 (추론 엔진으로 사용) 에이전트 초기화도구, 언어모델, 에이전트 타입 (CHAT_ZERO_SHOT_REACT_DESCRIPTIO) React는 언어 모델로부터 더 나은 생각을 이끌어내는 프롬프팅 전략"handle_parsing_errors=True"LLM 출력인 문자열 분석해 사용할 수 있는 특정 형식으로 변환할 수 있는지는 매우 중요 question = "Tom M. Mitchell is an American computer scientist \and the Founders University Professor at Carnegie Mellon University (CMU.. LangChain - Evaluation 성능이 좋아졌는지 아닌지 어케 평가할건데!필요한 패키지 임포트사용하던 데이터 불러오고 인덱스 생성retriever QA Chain 생성언어모델, 체인 종류, 검색기, 출력할 상세 수준 (verbosity) 지정 어떤 데이터 포인트들을 기준으로 어플리케이션 평가하고 싶은지 파악하기1. 좋은 예시라고 생각하는 데이터 포인트 정하기데이터 일부를 직접 살펴보고예시 질문과 그에 대한 정답 만들어 나중에 평가에 재사용할 수 있음이 방법은 확장성이 좋지 않음예시를 하나하나 살펴본 다음 무슨 일이 일어나고 있는지 파악하는 데 시간 꽤 걸림 이 과정을 자동화할 수 있을까?-> 언어 모델 자체를 이용하자! LangChain에 이를 수행할 수 있는 체인있음OA 생성 체인 임포트하면from langchain.evaluatio.. PREV 1 2 3 NEXT
