바로 시작하겠습니다. 댓글에서 뵙겠습니다.
※ 본래 5월 24일 새벽 1시, 5월 25일 새벽 1시 30분에 진행했었으나, 이번 2023년에는 '마이크로소프트' 부문이 첫 중계이고 해서
키노트 중심으로 진행할려고 했으나, 어느 쪽을 중계해야 할지 감이 오지 않아서 부득이하게 25일까지 미루었다가 어제 바로 최종 확정되서
주말에 진행하기로 결정되었습니다. 이 부분은 너그러운 양해를 부탁드리겠습니다.
인터넷 / 소프트웨어
:
윈도우즈, 리눅스, 기타 운영체제, 각종 어플리케이션, 프로그램, 소프트웨어, 인터넷, 인터넷 서비스에 대한 이야기, 소식, 테스트, 정보를 올리는 게시판입니다.
소식
2023.05.27 16:31
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(2차 - 'AI CO-Pilot의 시대' 키노트)
| 참고/링크 | https://twitter.com/msdev/status/1650530155419385857 |
|---|
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(3차 -...
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(1차 -...
-
바로 시작합니다! -
마이크로소프트 최고 기술 책임자(CTO) 겸 AI(인공지능) 부서 담당 EVP, 케빈 스캇 등장!
-
AI(인공지능) : 빠르게 확산되며, 미국 뿐만 아니라 전 세계에서 혁신을 일으키고, 긍정적인 영향을 미침.
-
마이크로소프트 빌드 2023 컨퍼런스의 주제('AI CO-Pilot의 시대')
- AI, 지난 한 해 동안 세계에서 일어난 일과 미친 영향
- AI, 개발자 모두에게 의미하는 바 무엇인가? -
마이크로소프트 & 오픈AI
-
마이크로소프트 & 오픈AI
- AI 기초 모델
- 파트너쉽으로 주도하는 빠른 속도의 혁신과 급속한 발전(속도를 조절)
- ChatGPT : 해당 모델 기반으로 구축하는 애플리케이션(많은 시대정신이 포착됨) -
마이크로소프트 & 오픈AI의 파트너쉽 성공의 주요 요인(End To End 플랫폼 구축 기반)
- 슈퍼 컴퓨터 : 세계에서 가장 강력한 슈퍼 컴퓨터
- 오픈 소스 : 호스팅 ~ 오픈 소스에 이르는 유능한 기반 모델(애저 클라우드 기반 실행되고 있는 API 포함)
- 개발 환경 : 세계 최고의 AI 개발 환경 인프라스트럭쳐
- 개발자와의 협력 : 현재 할 수 있는 것보다 먼 미래를 볼 수 있다는 점. -
마이크로소프트 애저 클라우드[(AI(인공지능)을 위한 클라우드]
- 오픈AI : 모든 인프라 위에서 수행한 놀랍고 기술적으로 복잡하고 뛰어난 태스킹을 보유함.
- 마이크로소프트 : CO-Pilot 애플리케이션 및 자체 고급 AI 모델을 보유 및 구축을 수행함. -
마이크로소프트 윈도우 OS[AI 개발을 위한 최고의 클라이언트(Feat. 윈도우 CO-Pilot)]
- 강력한 AI 모델 실행
- 클라우드 플랫폼까지 확장
※ 진정한 하이브리드 OS AI 애플리케이션을 개발할 수 있는 기능 → 윈도우 OS -
마이크로소프트 CO-Pilot
- 최신 AI를 사용하여 복잡한 인지 작업을 지원하는 애플리케이션.
- 인지 작업을 지원하는 대화형 인터페이스도 존재함.
- ChatGPT에서도 적합함
- 다른 제품 : Bing 채팅, GitHub CO-Pilot, 보안 CO-Pilot, 365 CO-Pilot, 디자이너
※ 주목 포인트 : 사용자 환경을 훌륭하게 구성하는 방법 및 작업들을 대규모로 안전하고 책임감 있으면서 비용 효율적으로 제공할 수 있는 기술 스택이 무엇인지 이해하도록 공통적으로 살펴봐야 한다는 부문임. -
오픈 생태계(CO-Pilot)
- 마이크로소프트 : 애저, 윈도우, 오픈 소스 커뮤니티 -
오픈AI 창업자 겸 사장, 그렉 브록만 등장!
-
오픈AI 창업자 겸 사장, 그렉 브록만 등장!
- GPT-3 : 회사로서 상당한 결과였고, 해당 모델의 성능을 능가하려는 시도가 여러 번 실패함.
(제도판으로 돌아가 전체 인프라를 재구축하는 것을 목표로 변경함)
- GPT 시리즈(GPT-4) : 전통적 GPT-3 기본 모델을 보유하고 있었고, 사전 훈련도 받았음.[ChatGPT의 일부를 지원함]
- 사전 방향 조정 X : GPT-3.5용 API에 있었고, 지시 받은 계약자가 있는 곳에서 지시를 내리는 지점에 도달함
- 완료해야 하는 방법 : GPT-4의 교육
- 작은 실험 : 2번째 지시를 내릴 때의 경우(무언가 생성한 후 모델은 이전의 모든 것들을 통합한 완벽한 응답으로 결과 도출)
- 세부 사항의 파악 : 버그는 있었으나, 모든 엔지니어링 허용 오차가 엄청나게 작기를 원하는 로켓을 만드는 것과 같다는 것.
- 머신 러닝 : 대부분 상관하지 않고 복원함(작은 세부 사항, 체크포인트의 버그 → 잘못된 순간에 작업 종료시 다시 작업을 해야 할 때의 가중치와 이전 가중치가 혼합됨) -
컨퍼런스 같은거도 해왔나보군요 -
강력한 CO-Pilot를 위해서 ChatGPT를 구축한 경험
- ChatGPT : 몇 년 동안 인프라 및 ML 관점에서 흥미로움
- 아이디어 : 몇 년 동안 ;채팅 시스템"을 갖기 위한 관점(초기 버전인 WebGPT 빌드 데모를 선보였음)
- 데모 시연(계약자) : 당시 해당 시스템을 이용 및 비용 지불을 위한 100명 계약자가 있었음. -
마이크로소프트, 윈도우 CO-Pilot의 플러그인 접근 방식
- 권한 부여 : 모든 개발자가 사용할 수 있도록 부여할 것(사티아 나델라 회장)
- ChatGPT : 같은 기능을 확장할 수 있는 소프트웨어이자, MS가 구축하는 모든 CO-Pilot과 동일함
- 오픈AI : 모든 개발자가 플러그인을 활용하여, 모든 사람들에게 나은 시스템을 제공할 수 있는 놀라운 기회임.(이것이 바로 개방형 표준을 설계한 이유이며, 한번 빌드시 모든 AI를 사용이 가능함)
- 월드 와이드 웹 : 누구나 웹사이트를 구축 및 액세스를 할 수 있고, API를 구축하여 누구나 활용할 수 있다는 부분.
- 플러그인 : 개념적으로 간단하고, 핵심 개념을 이해하면 매우 강력하게 빠르게 세울 수 있음.
- 플러그인의 설계 원칙 : 플러그를 꽂아서, 시스템의 성능 향상 및 모든 도메인의 ChatGPT로 가져올 수 있기를 원하는 개발자를 가질 수 있다는 것. -
오픈AI와 인텔
- 인텔의 틱톡 전략 : 혁신을 생각해 낸 다음, 실제로 밀어붙임과 해당 전략 주기가 있다는 것.
- GPT4 : 실제로 추진하는 초기 단계(현재 비용은 비쌈)
→ 2년 전에 70% 가격 인하를 좋아했던 역사를 되돌린 시점 기준(90% 비용 절감, 세금 비용을 인하함) -
마이크로소프트와 오픈AI
- 개발자 : 기술이 점점 더 좋아지고 있으나, 모든 개발자가 할 수 있다고 생각하는 것
- 마이크로소프트 규모 : 특정 영역에 들어가서, 이 기술을 작동시키는 방법을 알아내는 것은 어렵다. -
마이크로소프트, 기술 스택 ☞ 플랫폼[초대 창업자 겸 CEO(회장) 빌 게이츠(윌리엄 헨리 게이츠 3세)]
① 플랫폼을 사용하는 모든 사람의 경제적 가치가 만드는 회사의 가치를 초과할 때임
② 플랫폼의 진정한 가치가 구체화되는 때는 그 플랫폼에서 창출된 가치가 플랫폼 빌더 자체가 아니라, 플랫폼 위에 구축하는 사람들에게 순항할 때임
③ 그렇지 않는 플랫폼이 있다면 그것은 실제 플랫폼이 아니며, 플랫폼을 잠재적으로 생산할 수 있는 모든 가치보다 훨씬 더 크게 만드는 것은 사람들이 그렇게 할 필요가 없도록 하는 것 -
AI 모델의 컴퓨팅(페타플롭스/s-Day, 선형적 그래프)
- 그래프(연도 : 2012년 ~ 2022년, 10년 기간)
- 2012년 : ImageNET
- 2018년 : 알파제로
- 2020년 : 오픈AI(GPT-3)
※ 마이크로소프트의 컴퓨팅의 양과 인프라 규모 : 천문학적으로 엄청남 -
마이크로소프트 "CO-Pilot" ← 플러그인 → '디지털 세상'
- 기초 모델 : 강력한 모델이 있고, 점점 더 강력해지는 모델도 있음
- 기다림 : 모델을 훈련시킬 때까지 기다릴 필요가 없음
- 수용성 : 응용 프로그램을 수용할 수 있는 방법
- 애플리케이션 빌드 : 모델 자체가 불완전하거나 불완벽한 경우에도 해당 기술 기반으로 빌드함.
※ MS 플러그인의 생각 방식 : 세계의 디지털 작동기와 같음. -
마이크로소프트 플러그인
- AI 시스템을 강화하여 API에 액세스
- 유용한 정보 검색
- 새로운 계산 수행
- 사용자를 대신하여 안전하게 행동 -
?
블레이더영혼님 축하합니다.
팡팡!에 당첨되어 5포인트를 보너스로 받으셨습니다. -
AI로 소프트웨어 개발의 재구상
- 사용자 경험
- 애플리케이션 아키텍처
- 보안성과 안전함 -
개발자 : '훌륭한 제품'을 만들어야 합니다.
- -
개발자 : '훌륭한 제품'을 만들어야 합니다.
- 사용자 요구 : 충족되지 않은 부분, 더 나은 제품을 만들기 위해서 노력하는 부분, 다른 사람이 가지고 있지 않은 것을 반영하기 위해서는 '고유한 이해'가 있는 곳을 이해해야 함.
- 기술 : 불가능하거나 실현 불가능 혹은 고비용성이 존재하는 많은 것들을 쉽고 저렴하게 제작함.
※ 누구에게도 좋은 제품을 만드는 것이 어떤 것에 대한 사고의 책임을 면제하지 않음. -
'모델' : 사용자의 제품이 아님
- 모델 자체 : 제품을 가능하게 하는 인프라 회사가 아닌 한 모델은 제품이 아니라는 것.
- 기술 종사자 : 사람들이 '제품에 집착'보다 '인프라에 집착'하는 것이 실수 중 하나임 -
'훌륭한 경험'을 만드는 것은 개발자에게 달려 있음.
-
마이크로소프트 'CO-Pilot' 스택 구조
▶ CO-Pilot 프론트엔드
① 플러그인 확장성
② UX(사용자 경험 - 에이다 러브에이스가 1st 프로그램을 작성한 이래 180년 이상 동일한 방식을 사용함)
▶ 오케스트라 프레임워크(오케스트라) - 문제 해결이 아닌 새로운 아이디어를 보게 될 것임.
① 프롬프트 & 응답 필터링 : 내부에서 조작하는 기본적 수단
- 프롬프트 → 토큰 버킷이며, 응용 프로그램의 사용자 환경 계층에서 생성됨) : 자연어와 오케스트레이션의 시작 단계임!
- 응답 필터링 : 프롬프트를 허용하지 않는 이유(프로그램 요구 사항의 미충족, 비안전성 작업을 수행하는 방식으로 응답하게 될 가능성이 있을 수 있음.
② 메타프롬프트 : 'CO-Pilot'에게 제공하는 상설 지침 세트(대화의 모든 턴에서 모델로 전달 및 구축하려는 파일럿에세 자신을 수용하는 방법을 전달함)
③ 그라운딩(Feat. 벡터 데이터베이스 + 웹-API, 플러그인)
- 검색 증강 생성(Retrieval Augmented Generation, RAG)
- 모델이 아래로 흐르는 프롬프트의 응답에 도움이 될 수 있는 프롬프트에 추가 컨텍스트를 추가
④ 플러그인 실행('플러그인 확장성' 연동)
- 플러그인을 사용 및 모델로 내려가기 전에 프롬프트에 몇 가지 추가 컨텍스트를 추가.
- 시스템에서 작업 수행이 가능하도록 모델에서 백업하는 도중에 실행을 수행이 가능함.
※ LangChain : 인기 있는 오픈 소스 오케스트레이션 메카니즘 솔루션
▶ 기초 모델 및 미세 조정
- 투자 모델 : 호스팅 기반 모델(미세 조정 기반 모델 포함), BYO 모델
- 투자 모델 및 인프라 : MS 애저 클라우드, 윈도우 OS, CO-Pilot
- 애저 OpenAI API 서비스의 사용 가능 모델 : ChatGPT, GPT 3.5, GPT4(미세 조정중)
▶ AI 인프라스트럭쳐
※ 애플리케이션 ↔ 인공지능 오케스트라 ↔ 투자 모델(3가지 항목 : AI 안전성) -
오픈소스 언어 모델의 종류
- 로컬 : 위스퍼 모델(증명서)
- 로컬 : Dolly 2.0 모델(게스트 이름 추출)
- 클라우드 : Bing 검색 접지 API(게스트의 약력 검색)
- 클라우드 : GPT-4 기반 '애저 오픈AI'(소셜 미디어 문구 생성)
- 클라우드 : DALL-E 2 기반 '애저 오픈AI'(이미지 생성)
- 클라우드 : CO-Pilot 기반 링크드인 플러그인(포스팅)
※ 전체 코드는 'GitHub repo'를 확인(github.com/microsoft/PodcastCopilot) -
(출시 예정)미디어 출처도구
- 생성형 AI 기반 콘텐츠에 출처에 대한 메타데이터를 표시하고 서명하는 데 사용되는 암호화 방법,
- 소비자가 이미지나 비디오가 AI에 의해 생성되었는지 여부를 확인이 가능함. -
마이크로소프트 CO-Pilot
- 신규 개발 패턴
- 특이한 아키텍처
- 어디에나 있음. -
Do Legendary Shit : 개발자의 도전은 언젠가 전설적인 'XX' 표현이 나올 해내는 것!
-
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(2차 - 'AI CO-Pilot의 시대' 키노트가 끝났습니다. 시청해주셔서 감사합니다.
-
잠시 후에 쉬었다가, '3차 - '애저 클라우드를 사용하는 개발자 기반 차세대 인공지능' 키노트'를 재방송 중계하겠습니다!
작성된지 4주일이 지난 글에는 새 코멘트를 달 수 없습니다.
-
Read More
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(3차 - '애저 클라우드를 사용하는 개발자 기반 차세대 인공지능' 키노트)
바로 시작하겠습니다. 댓글에서 뵙겠습니다. ※ 본래 5월 24일 새벽 1시, 5월 25일 새벽 1시 30분에 진행했었으나, 이번 2023년에는 '마이크로소프트' 부문이 첫 중계이고 해서 키노트 중심으로 진행할려고 했으나, 어느 쪽을 중계해... -
Read More
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(2차 - 'AI CO-Pilot의 시대' 키노트)
바로 시작하겠습니다. 댓글에서 뵙겠습니다. ※ 본래 5월 24일 새벽 1시, 5월 25일 새벽 1시 30분에 진행했었으나, 이번 2023년에는 '마이크로소프트' 부문이 첫 중계이고 해서 키노트 중심으로 진행할려고 했으나, 어느 쪽을 중계해... -
Read More
마이크로소프트 빌드 2023 컨퍼런스 댓글 재방송 중계(1차 - 빌드 2023 오프닝 키노트)
바로 시작하겠습니다. 댓글에서 뵙겠습니다. ※ 본래 5월 24일 새벽 1시, 5월 25일 새벽 1시 30분에 진행했었으나, 이번 2023년에는 '마이크로소프트' 부문이 첫 중계이고 해서 키노트 중심으로 진행할려고 했으나, 어느 쪽을 중계해... -
Read MoreNo Image
ChatGPT 플러그인에 인젝션 공격이 가능한 취약점이 존재
ChatGPT 플러그인에 인젝션 공격이 가능한 취약점이 존재합니다. 원문에서 다양한 사례를 소개하고 있는데 유튜브 편집 스크립트, 웹 페이지를 요약하는 플러그인에서 다른 플러그인을 트리거, PDF 파일을 통한 프롬프트 인젝션, 자바스크... -
Read MoreNo Image
중국 정부 차원에서 인프라를 공격하는 해킹 팀을 운영
Volt Typhoon이라는 해킹 팀이 2011년부터 미국과 여러 지역의 인프라를 공격했습니다. 통신, 제조, 유틸리티, 운송, 건설, 해양, 정부, 정보 기술, 교육 부문 등 그 공격 대상은 매우 넓습니다. 이들은 로컬/네트워크의 자격 증명을 포함... -
Read More
구글 서비스는 여전히 나사가 빠져 있네요
구글 서비스는 나사가 하나씩 빠져 있단 말이죠 https://gigglehd.com/gg/14102315 구글 지도에서 특정 지역을 표시한 후, '즐길 거리'를 눌렀더니 그 지역의 명소를 보여주는 게 아니라 '즐길'이라는 게 들어가는 가게를... -
Read More
빌드 2023에서 발표한 기능이 탑재된 윈도우 11 프리뷰 버전
윈도우 11 인사이더 프리뷰 빌드 23466이 나왔습니다. 마이크로소프트 빌드 2023에서 발표한 일부 신기능에 여기에 탑재됐습니다. 새 시스템을 셋팅할 때 마이그레이션을 간단하게 수행하는 백업 앱 처음 설치할 때 복원하는 기능 correct... -
Read More
분당 3000단어를 소화하는 위스퍼 AI 벤치마크
최고의 그래픽 카드는 게임만을 위한 것이 아니며, 특히 AI 기반 알고리즘이 대세인 요즘에는 더욱 그렇습니다. 데이터 센터 하드웨어에서 실행되는 ChatGPT, Bard, Bing Chat(일명 시드니) 외에도 자체 로컬 버전의 Stable Diffusion, 텍... -
Read MoreNo Image
감성분석은 ChatGPT가 짱이네요
회사 솔루션의 긍부정 나누는거 정확도가 떨어지기 때문에 (다른회사도 마찬가지) 혹은, 자체적으로 데이터를 받아서 단독으로 로컬로 분석진행할시, 제가 갖고있는 감성분석 패키지를 사용하는데 회사꺼나 제꺼나 당연히 긍부정 나누... -
Read MoreNo Image
마이크로소프트, 개발자의 차세대 AI 앱 구축 돕는 기술 대거 발표
마이크로소프트가 한국시간 24일 개막한 연례 개발자 컨퍼런스 마이크로소프트 빌드(Microsoft Build 2023)에서 개발자를 위한 차세대 AI 기반 도구를 대거 선보였다. 지난 1월, 마이크로소프트는 오픈AI와의 파트너십 확대를 발표했다. 2... -
Read MoreNo Image
어도비의 AI 모델 제품군인 파이어플라이, 제네레이티브 필을 지원
어도비의 AI 모델 제품군인 파이어플라이에서 제네레이티브 필을 지원합니다. 포토샵에서 원하는 영역을 지정하고 글자로 바꾸길 원하는 내용을 입력하면 AI가 그대로 이미지를 합성해 줍니다. 아래 짧은 영상에선 배경을 지정한 대로 그... -
Read More
윈도우 11, Tar, 7z, RAR, gz 등의 압축 파일을 지원
윈도우 11이 libarchive 오픈소스 프로젝트를 도입해 Tar, 7z, RAR, gz를 비롯한 다양한 압축 파일을 네이티브 지원합니다. 또 개발자를 위한 Dev Home, Dev Drive 스토리지, Arm 윈도우의 개발 환경 강화, MS 스토어에 AI 기능 탑재, 터... -
Read More
마이크로소프트의 다이렉트 머신-러닝(Direct-ML), 'Stable Diffusion 인공 지능 모델' 최적화 발표
마이크로소프트가 다이렉트X의 주요 기능 중 하나인 다이렉트 머신-러닝(이하 Direct-ML)이 영국의 'Stability AI'에서 개발한 'Stable Diffusion(Text To Image) 인공 지능 모델'에 맞춰서 '윈도우 H/W 생태계 시스템'의 최적화 및 ... -
Read More
검색의 절대 강자 '네이버'마저…이대로 가다간 '초비상'
국내 검색시장의 절대 강자인 네이버 점유율이 50%대 중반으로 급락했다. 생성형 인공지능(AI) 등 새로운 서비스로 무장한 구글이 네이버의 점유율을 갉아 먹는 모양새다. 전 세계적으로 벌어지는 ‘검색 전쟁’이 국내 시장에 ... -
Read MoreNo Image
테슬라, 트위터 광고 시작
지난주 주주 총회에서 일론 머스크는 테슬라가 광고를 시작할 것이라고 밝혔습니다. 그리고 이제 테슬라 아시아 트위터 계정에 2분 짜리 광고 영상이 올라왔습니다. 다른데다 광고하는 것도 아니고, 트위터에 광고라니 그을쎄요. 이게 정...
M16
