통지

통지 기사2023/10/17

계산 자원 인 온라인 바카라 ABCI를 사용하여 세계적 수준의 세대 온라인 바카라 개발을 시작했습니다
-온라인 바카라st, 도쿄 기술 연구소 및 LLM-JP (National Institute of Informatics) 협력

포인트

  • 세계적 수준의 세대 온라인 바카라의 토대 역할을 할 대규모 언어 모델을 구축하기 위해 연구 기관 및 대학의 지혜 수집
  • National Institute of Informatics가 이끄는 첫 번째 단계 인 LLM-JP는 대규모 GPT-3 언어 모델의 건설을 시작합니다
  • 명확하고 자신감과 함께 사용할 수있는 대규모 언어 모델을 통해 산업 경쟁력을 강화하고 사회적 문제를 해결하는 데 기여합니다

요약 다이어그램

온라인 바카라ST, 도쿄 기술 연구소 및 LLM-JP (National Institute of Informatics 책임자) 대규모 언어 모델의 연구 및 개발 분야에서 협력

 

요약

Study Group LLM-JP (Tohoku University, Tokyo University, Waseda University, Waseda University, NII를 특징으로하는 LLM 연구 및 개발 팀)는 바카라 커뮤니티 (이하 정보 및 시스템 연구 연구소) (National Institute of Information and Systions Research)가 이끄는 국립 고급 산업 과학 및 기술 연구소가 이끄는 NII, Waseda University, Waseda University 대학 등) (이하 "NII"라고 불리는), 연구 그룹 LLM-JP (LLM 연구 개발 팀)에 기반을두고 있습니다 (LLM 연구 및 개발 팀)은 국립 정보 연구소 (NII) 국립 연구소 (NII "), 국립 정보 연구소 (NII)라고 함), 국립 고급 산업 과학 기술 연구소 (이하"AIST ")가 보유한 연구소에 기반을두고 있습니다생성 된 온라인 바카라세계 최상위 재단큰 언어 모델의 구성을 개발하기 시작할 것입니다 (이하 "LLM"이라고합니다) 첫 번째 단계로서 LLM-JP는 기존 국내 LLM보다 10 배 더 크며 총 1,750 억 대가 있습니다매개 변수 수로 LLM을 구축 할 예정입니다 온라인 바카라ST는 LLM Construction에 필요한 계산 자원입니다온라인 바카라 Bridge Cloud를 제공합니다 (이하 "ABCI"라고 함) 또한, 우리는 도쿄 기술 연구소 및 LLM-JP와 협력하여 향후 개발 준비에 개발에 필요한 언어 데이터를 만들 것입니다

온라인 바카라ST의 LLM Construction, Tokyo Institute of Technology 및 LLM-JP를위한 데이터, 알고리즘 및 계산 자원 사용에 대한 지식을 제공함으로써 일본의 산업 경쟁력을 강화하고 사회적 문제를 해결하는 데 기여할 결과를 창출 할 것입니다

개발의 사회적 배경

온라인 바카라 기술은 국가 산업을 지원하는 기둥 중 하나이며, 노동력 감소와 인터넷을 통해 수집 된 대규모 데이터의 고급 활용을 보상하기위한 효율적인 작업에 필수적입니다 특히 언어를 다루는 온라인 바카라의 기술적 요소 인 LLM에 대한 연구가 진행 중입니다 2022 년대화식 온라인 바카라입니다 유창한 대화 문장을 생성하는 능력은 전 세계 사람들을 놀라게했으며 풍부한 지식과 광범위한 용도로 인해 사회의 모든 측면에서 사용될 것으로 예상됩니다 그러나 일본 이외의 회사와 연구 기관이 연구 개발을 수행하기 위해 폐쇄 된 LLM을 사용하면 LLM 건설 과정을 블랙 박스로 바꿀 것입니다 따라서 LLM을 사용할 때 권리 침해 및 정보 유출에 대한 우려는 없어 질 수 없습니다 일본어에 내성이있는 LLM을 활용하려면 신뢰할 수있는 국내 LLM을 구축해야하며, 사용 된 건축 공정 및 데이터가 명확한 매우 투명한 LLM의 명확한 구성으로 사용할 수 있습니다

연구 이력

온라인 바카라ST는 National Research Institutes 및 대학과 협력하여 온라인 바카라 기술의 국가 연구 및 개발과 협력하고 있습니다 2019 년 1 월 18 일, 온라인 바카라ST와 NII는 온라인 바카라 관련 연구 협력에 대한 협력 및 협력 계약에 서명했습니다 2023 년에, 우리는 ABCI를 사용하여 LLM을 구축하고 고품질의 대규모 공유 데이터 세트를 구축하고 관리하기 위해 NII와 동의했습니다 이와 병행하여 온라인 바카라ST와 도쿄 기술 연구소는 LLM 건설에 대한 연구를 수행하고 있습니다

2023 년 9 월, NII는 온라인 바카라ST, Tokyo Institute of Technology 및 LLM-JP와 같은 대표 기관과 함께 ABCI의 두 번째 대규모 언어 모델 구성 지원 프로그램에 신청하여 조직에 참여하여 선정되었습니다 대규모 언어 모델 구성 지원 프로그램은 지원자에게 LLM 건설에 대한 수요 증가에 따라 대규모 컴퓨팅 리소스가 필수적인 LLM의 건설을 주도 할 수있는 ABCI (노드라고하는 고성능 컴퓨팅 노드)의 특정 부분을 차지할 수있는 기회를 제공합니다

연구 컨텐츠

LLM-JP는 세계적 수준의 LLM을 구축하기위한 첫 번째 단계 인 Open and Japanese 지원 LLM을 시작할 것입니다 이번에 건설중인 LLM의 규모를 나타내는 매개 변수의 수는 175 억이며 Open온라인 바카라가 제작 한 LLM입니다gpt-3와 같은 규모입니다 온라인 바카라ST는 ABCI를 LLM을 구축하는 데 필요한 계산 자원으로 제공합니다 또한 온라인 바카라ST와 도쿄 기술 연구소는 LLM-JP와 협력하여 LLM 개발에 필요한 고품질의 대규모 공유 데이터 세트를 구축 할 것입니다

이 이니셔티브를 통해 우리는 일본에서 처음으로 사용할 수있는 GPT-3 Japanese LLM을 만드는 것을 목표로합니다 이것은 명확하고 투명한 LLM을 사용합니다멀티 모달 데이터온라인 바카라의 로봇의 적용 우리는 또한 LLM에 대한 기본적인 이해를 촉진하여 LLM이 마음의 평화로 사용할 수있는 사회 생활의 실현으로 이어질 것입니다

미래 계획

우리는 온라인 바카라ST의 컴퓨팅 리소스를 계속해서 일본의 지혜를 모으고 세계적 수준의 공연을 가진 LLM을 구축하기위한 목표로 연구 개발을 수행 할 것입니다 국내 제작 된 LLM은 ABCI 이외의 계산 자원을 활용 한 다음 LLM-JP를 통해 공개적으로 만들어 질 것입니다

용어집

생성 된 온라인 바카라
Gartner는 2022 년의 "전략 기술의 최고 트렌드"라고 발표 한 키워드 "Generative 온라인 바카라"의 일본어 번역 Generator 온라인 바카라는 데이터에서 컨텐츠와 물건에 대해 배우고 창의적이고 현실적이며 완전히 새로운 출력을 만들어내는 기계 학습 방법이라고합니다[참조로 돌아 가기]
큰 언어 모델 (LLM)
사람들이 쓰는 서면 트렌드를 배운 대규모 신경망 그것은 발전기 온라인 바카라를 구축하기위한 기초이며, 유창한 문장을 생성하는 데뿐만 아니라 텍스트에 포함 된 지식을 집계하는 지식의 원천으로 사용하는 데 주목을 받고 있습니다 2023 년 현재 변압기라는 신경망을 사용하여 구성됩니다 신경망은 크기 때문에 학습에는 큰 언어 데이터와 큰 계산 자원이 필요합니다[참조로 돌아 가기]
매개 변수 수
LLM과 같은 신경망의 동작을 결정하는 숫자 수이며 신경망의 크기를 나타내는 지표 중 하나입니다 매개 변수 수가 많을수록 문장 경향과 지식이 많을수록 학습에는 많은 언어 데이터와 계산 자원이 필요합니다[참조로 돌아 가기]
온라인 바카라 브리지 클라우드 (ABCI)
일본의 인공 지능 기술 개발을 목표로 온라인 바카라ST가 설계하고 개발 한 대규모 온라인 바카라 클라우드 컴퓨팅 시스템 이 회사는 온라인 바카라 Research Institute Kashiwa Center의 온라인 바카라 연구 센터의 온라인 바카라 데이터 센터 빌딩에 도입되었으며 2018 년 8 월에 운영을 시작했습니다 현재까지 ABCI를 사용하는 국내 기업들은 깊은 학습에서 세계 최고 계산 속도를 포함하여 많은 기관의 사용을 통해 놀라운 결과를 얻었습니다[참조로 돌아 가기]
대화식 온라인 바카라
문장 등을 통해 사람들과 상호 작용하는 능력을 갖춘 인공 지능은 LLM을 기반으로 인간의 질문을 생성하고 응답합니다 사람들과 상호 작용하는 능력 외에도 대화를 통해 문제를 조사하고 해결할 수있는 능력도 주목을 받고 있습니다[참조로 돌아 가기]
gpt-3
LLM은 2020 년 미국 회사 Open온라인 바카라가 발표했습니다 GPT라는 3 세대 LLM입니다[참조로 돌아 가기]
멀티 모달 데이터
텍스트, 이미지 및 오디오와 같은 여러 유형 (양식)이 포함 된 데이터 각 유형에 의해 처리가 독립적으로 수행되는 기존의 경우와 비교하여 개선 된 성능과 새로운 기능을 실현할 수 있습니다[참조로 돌아 가기]
 

이 문제에 관한 문의

국립 선진 산업 과학 기술 연구소 국립 연구 및 개발 회사
정보 및 인체 공학 연구 계획 사무소
1-1-1 Umeen, Tsukuba City, Ibaraki 현, 305-8560
이메일 : ith-li온라인 바카라son-ml * 온라인 바카라stgojp (사용하려면 @로 변경하십시오)