본문 바로가기
728x90
반응형

IT 공부56

[생성형 AI] 프롬프트 엔지니어링 애플리케이션 고도화 및 생성형 AI 오남용 앱 고도화 방안유틸리티 추가API 비용 모니터링프롬프트 엔지니어링보안 강화API Key 유출 방지를 위하여 .env 생성 및 데이터 분리루트 디렉토리 기준main.pypricing.py.envbanner.png이미지 생성 모델의 프롬프트 엔지니어링이미지 생성 모델 프롬프팅DALL-E 3는 DALL-E 2와 달리 더 우수한 텍스트(Caption)를 통하여 훈련상세한 이미지 설명을 더욱 잘 따르며단어를 무시하거나 프롬프트의 의미를 혼동할 가능성 축소즉, 더 구체적인 프롬프트에서 우수한 이미지를 생성DALL-E 기본 프롬프팅 팁묘사의 대상과 동작시공간적 배경그림의 분위기와 대상의 감정색상, 색상 스키마(팔레트), 화풍시야와 관점긍정 프롬프트와 부정 프롬프트Stable Diffusion의 대표적인 프롬프트 엔지.. 2024. 11. 20.
[생성형 AI] 컴퓨터 비전(Computer Vision)과 Diffusion 컴퓨터 비전(Computer Vision)컴퓨터가 디지털 이미지를 분석하고 이해하여 인간의 시각 능력을 모방하는 기술목적에 따라 판별 문제와 생성 문제로 구분판별 모델(Discriminative Models)분류, 객체 탐지, 이미지 분할생성 모델입력 데이터의 패턴을 학습하여 새로운 이미지를 생성하는 알고리즘스타일 전이, 이미지 복원, Text-to-Video, 2D to 3D이미지 생성 모델이미지 생성 모델의 변천이미지를 생성하기 위해 사용했던 두 가지 대표적 알고리즘VAE(Variational Auto Encoder): 학습이 안정적이며 노이즈에 강하지만 이미지의 품질이 낮음GAN(Generative Adversarial Network): 이미지가 정교하지만 학습이 불안정하며, 다양한 이미지를 생성하.. 2024. 11. 20.
[생성형 AI] 프롬프트 엔지니어링 애플리케이션 구현 1차 프롬프트 작성생성 AI 애플리케이션에서의 프롬프트거대 언어 모델을 활용하는 애플리케이션에서 프롬프트란 보통 시스템 프롬프트를 의미시스템 프롬프트를 통해 사용자의 예상 인풋, 원하는 아웃풋 형태, 톤앤매너 등을 조정할 수 있음답변의 품질을 높이기 위해 예시를 넣어주기도 함(사용자 입력, 모범 답안)을 페어로 넣어주면 이를 참고해서 답변을 생성대표적인 시스템 프롬프트의 종류애플리케이션의 성격과 목적에 따라 시스템 프롬프트의 내용은 천차만별톤앤매너 조정답변의 형태 특정모범답안 예시 제공애플리케이션을 위한 프롬프트 기획애플리케이션의 목적이 코디 추천이므로, 답변의 적절성, 유용성, 창의성 등이 중요적절성(Sensibleness): 사용자의 상황/요청사항 등을 충실히 반영하였는지ex) 계절적 배경, TPO,.. 2024. 11. 20.
[생성형 AI] 프롬프트 엔지니어링 애플리케이션 설계 주제 소개애플리케이션 설명기능: 사용자가 기분, 상황, TPO 등을 설명하면 적절한 옷 코디 제안입력: 사용자의 기분/상황/TPO 설명(자연어)ex) 겨울비가 와서 기분이 울적할 때, 소극장에서 하는 친구 공연을 보러 갈 때출력: 해당 입력 값에 알맞은 옷 코디(자연어) + 색상 배합(이미지)ex) 전체적인 코디 스타일 및 색상 조합애플리케이션 개발 FLOW파이프라인 아웃라인각 기능별 필요한 세부 기능 확인프론트엔드 설계input과 output을 중심으로 디자인구현 및 디버깅애플리케이션 파이프라인 아웃라인사용자 Input(자연어): 질문, 혹은 요청의 형태생성 AI (LLM): 시스템 프롬프트 조정생성된 Output(자연어): 사용자 요청에 알맞은 코디색상 배합(이미지): 제안한 코디 시각화프론트엔드 설.. 2024. 11. 20.
[생성형 AI] 애플리케이션 개발을 위한 생성AI 활용 프로세스 이해하기 애플리케이션 개발을 위한 생성AI 활용 프로세스 이해하기사용자 input과 생성 AI outputLanguage Interface현재 우리 사회를 강타하고 있는 생성 AI 열풍의 밑바탕에는 자연어 인터페이스가 존재인류 최고의 발명이라고도 불리는 "언어"는 가장 직관적이고 가장 표현력이 뛰어난 매체언어 생성 모델도, 이미지 생성 모델도 과거부터 존재해왔지만 Language Interface를 갖추면서 대중적인 관심을 모으게 됨Input과 Output함수, 컴퓨터 프로그램, AI 모델 등은 모두 입력(input)과 출력(output)의 관점으로 이해할 수 있음Input이란 우리(사용자)가 제공하는 정보이고, output은 우리에게 반환되는 정보최근 활용되고 있는 대부분의 생성 AI 모델에서 사용자 입력은 자.. 2024. 11. 11.
[생성형 AI] 미드저니, AI IMAGE 미드저니, AI IMAGEAI IMAGE, 누구나 이미지를 생성하는 시대Input Text -> Output Text: AI Chat BotInput Text -> Output Image: AI IMAGE GENERATORAI Image-전문가 영역: 빠르게 교체되고 있는 디자인 산업효율적인 프로세스로 교체이미지 레퍼런스와 소싱의 변화비즈니스 산업 구조적 변화AI Image-비전문가 영역: 누구나 이미지를 만드는 시대퍼스널브랜딩/블로거, SNS, 유튜브, 커뮤니티비즈니스 프리젠테이션/인포그래픽도서 출판/퍼블리싱 디자인/교육개인적인 기념 이벤트/포장지와 선물 패키지온라인 비즈니스/로컬 비즈니스AI Image-생산성1 Prompt : 4 picture * 60 minute * 4 hours = 960 pic.. 2024. 11. 11.
[생성형 AI] 프롬프트 비식별화 프롬프트 비식별화프롬프트 보안의 필요성ChatGPT 민감정보 유출4.7%의 직원이 ChatGPT 민감 정보 입력 경험직원이 입력하는 데이터의 11%가 민감 정보내부정보, 소스코드, 고객 데이터, 개인정보, 건강정보, 프로젝트 계획 등ChatGPT와 같이 외부로 데이터를 반출, 저장하는 경우 유출의 우려 존재비식별화: 식별자 제거를 통해 개인 식별, 추론을 방지하는 것식별자: 개인을 식벼할 수 있는 정보(1:1 대응이 가능한 모든 정보)예) 이름, 주민번호, 이메일, 계좌번호, MRI 사진 등준식별자: 다른 데이터와의 결합을 통해 개인을 추론할 수 있는 정보예) 거주 도시, 몸무게, 혈액형 등프롬프트 비식별화 과정식별자 인식 -> 비식별화 -> 프롬프팅 -> 원상복구입력 프롬프트에서 개인을 특정할 수 있는.. 2024. 11. 9.
[생성형 AI] 프롬프트 관련 확장 프로그램 프롬프트 관련 확장 프로그램프롬프팅의 한계인공지능 기술의 한계언어모델의 구조적 한계프롬프팅 기법 자체의 한계최신 지식 업데이트 비용학습 시점 이후의 데이터에 대해서 추가 학습 필요막대한 학습 비용, 온라인 학습 기술의 한계한정된 입력 토큰의 수언어모델의 기반 구조인 트랜스포머입력 토큰의 수에 따라 계산 비용이 기하급수적으로 증가텍스트 대상 학습언어모델은 주로 자연어, 코드를 학습서식, PDF, PPT, 이미지, 영상 등 다양한 형태의 데이터를 다루기 어려움방대한 탐색 공간 프롬프트 엔지니어링: 대화형 언어 모델에 최적화된 프롬프트를 찾는 과정최적의 프롬프트는 모델 종류, 학습된 데이터, 학습된 시점에 따라 다름프롬프팅 한계의 극복: 앞서 다룬 한계점들을 다루는 다양한 확장 프로그램 존재프롬프트 템플.. 2024. 11. 9.
[생성형 AI] 프롬프트 엔지니어링 테크닉 프롬프트 엔지니어링 테크닉프롬프트 디자인대화형 생성 AIOpenAI ChatGPTGoogle Bard대규모 언어모델(Large Language Models)언어모델 정렬(Aligning Language Models)언어모델: 학습한 텍스트를 바탕으로 자연스러운 단어를 찾는 모델대부분의 자연어처리 문제들을 언어모델이 학습하는 방식으로 전환 가능대규모 (생성형) 언어모델앞에서부터 한 단어씩 만드는 단방향 언어모델자연스러운 문장을 구사하는 데에 강점대규모 언어모델들은 대부분 생성형 언어모델의 구조언어모델 정렬정렬: 인간의 의도에 부합하는 결과물을 만들어내도록 조정하는 것일반적인 언어모델은 웹 상의 텍스트로 학습자연스러운 대화에 초점이 맞춰져 있지 않음문장을 채우는 것에 주로 초점언어모델(GPT-3) -> 인간.. 2024. 11. 9.
[생성형 AI] 프롬프트 엔지니어링 LLM을 활용한 기초 프로그래밍프롬프트 엔지니어링을 통해 우리는 무엇을 할 수 있을까?문서 요약언어 생성 이름 식별(엔티티 인식)문장 구조, 문법 형식 분석 텍스트 분류프로그래밍LLM을 활용한 기초 프로그래밍코드 생성 요청 언어와 task를 주고 코드 생성 요청ex) Tensorflow로 회귀 분석을 진행하고 싶어. 데이터는 ~야. 코드를 작성해줘파이썬 뿐만 아니라 다른 언어도 가능오픈 소스를 알려주고 해당 기능 추가 요청ex) (내가 작성한 코드)에 (오픈 소스 코드) 이 기능을 반영하고 싶은데 추가해서 코드 작성해줘코드 튜토리얼 요청오픈 소스 사용법 요청ex) Tensorflow 2.x를 처음 사용해보려 하는데 설치 방법과 예제를 알려줘프로그래밍 언어 툴 사용법 요청LLM을 활용한 디버깅코드 오류 수.. 2024. 10. 30.
728x90
반응형

티스토리툴바