자연어 처리 란 무엇입니까?

자연어 처리 란 무엇입니까?

2023/06/21

2022 년 11 월에 소개 된 Openai의 대화식 AI 서비스 인 Chatgpt는 전문가들과 구별 할 수없는 질문에 대한 질문을 반환함으로써 세계에 충격을주었습니다 이 성과를 가져온 자연 바카라 룰 처리 기술의 급속한 발전은 최첨단 연구자들의 기대를 초과합니다 반면에, 그들의 기능이 어떻게 너무 정교 해지고 사람들의 직업을 빼앗아 갈뿐만 아니라 어느 시점에서 인류를 위험에 빠뜨리는 방법에 대한 만연한 이야기가 있습니다 얼마나 사실입니까? 우리는 AI 연구팀, 지식 정보 연구팀, AI 연구 센터의 책임자 인 Takamura Daiya에게 자연 바카라 룰 처리 기술의 원칙, 최신 트렌드 및 AIST의 인공 지능에 대한 최신 연구에 대해 물었습니다

자연어 처리

Chatgpt만으로는 다양한 바카라 룰 관련 작업을 수행 할 수 있습니다

자연어 처리는 사람들이 컴퓨터에서 쓰고 말하는 단어를 처리하는 기술입니다 AI 연구 분야의 핵심 요소 중 하나라고 할 수 있습니다

자연어 처리 기술은 "바카라 룰 이해"와 "바카라 룰 생성"이라는 두 가지 범주로 광범위하게 나눌 수 있습니다 "바카라 룰 이해"는 사람들이 작성한 작문의 일종의 처리를 포함하는 기술이며 일반적인 응용 프로그램에는 자동 이메일 분류 및 웹 검색이 포함됩니다 "바카라 룰 생성"은 컴퓨터가 문장을 생성 할 수있는 기술이며 요약 텍스트 및 기계 번역을 포함합니다

지금까지 기술 개발이 각 개별 응용 프로그램마다 진행되었지만 ChatGpt와 같은 최근 시스템은 이러한 상식이 바뀌 었습니다 이제 고급 "바카라 룰 이해"및 "바카라 룰 생성"이 필요한 질문에 답변하여 하나의 시스템을 사용하여 다양한 작업 (작업)을 완료 할 수 있습니다

실제로 Chatgpt가 저어주기 전에도 자연어 처리 연구자들은 기술의 급속한 발전에 충격을 받았습니다 2018 년 Google이 발표 한 "Bert"시스템은 개발자의 몇 가지 수정만으로 다양한 작업에 사용될 수 있습니다 그 자체만으로는 놀랍지 만 Chatgpt의 전임자 인 "GPT-2"및 "GPT-3"과 함께 시스템 자체를 변경하지 않고도 시스템에 적합한 입력을 고안함으로써 다양한 작업을 수행 할 수있었습니다 또한 Chatgpt는 사람들과 상호 작용하는 능력을 강화하여 인간이 인간이 요구하는 단어로 지시를 제공함으로써 단순히 다양한 작업을 수행 할 수있게했습니다

연구를 가속화하는 딥 러닝 기술

빠른 발전의 배경은 딥 러닝 기술의 개발입니다 딥 러닝을 사용한 자연 바카라 룰 처리는 엄청난 양의 미리 준비된 텍스트를 사용하여 "바카라 룰 모델"이라는 시스템을 학습하는 것입니다 바카라 룰 모델에 반쯤 문장을 입력하고 다음 단어가 무엇인지 예측하도록 훈련하면 바카라 룰 모델은 계속 될 가능성이있는 단어 패턴을 점차 암기합니다 그리고 공부를 위해 많은 텍스트를 줄수록 텍스트를 구성 할 수 있습니다

바카라 룰 모델을 생각할 때, 그것이 무엇인지 알고 싶을 수도 있지만, 그 엔티티는 많은 간단한 계산 공식을 결합한 매우 거대한 공식이라고 할 수 있습니다 이 공식에는 수많은 수의 계수 (매개 변수)가 포함되어 있으며, 다음 단어의 예측이 성공적이지 않도록하기 위해 매개 변수를 조정하여 학습 또는 훈련이라고하며 컴퓨터에서 자동으로 수행 할 수 있습니다 학습 후 바카라 룰 모델에 질문이나 다른 질문을 입력하면 다음 단어를 차례로 예측하여 긴 답변을 초래할 수 있습니다

현재의 고성능 바카라 룰 모델은 큰 바카라 룰 모델 (LLM)이라고하며 매개 변수의 수는 100 ~ 수십억이라고하며 학습에 사용되는 단어의 양은 수억 이상이라고합니다 LLM은 인간과 비교할 수있는 능력 측면에서 인간보다 더 진보 된 것으로 알려져 있습니다 Chatgpt는 또한 대화 기술을 향상시키기위한 추가 학습을 통해 LLM을 기반으로 개발 된 것으로 생각됩니다

고급 처리가 가능한 이유

대규모 바카라 룰 모델이 고급 기능을 얻을 수있는 몇 가지 가능한 이유가 있습니다

첫째, 시스템 자체는 이제 학습을 통해 만들어졌습니다 이전 자연어 처리 기술은 각 바카라 룰의 문법과 사람들이 제시 한 규칙을 기반으로 개별 작업을 수행하는 시스템을 만들었습니다 그 이후로, 우리는 상대적으로 소규모 딥 러닝을 적용하면서 자연어 처리 기술을 개발했습니다

반면, 바카라 룰 모델의 성능에 핵심적인 모든 거대한 매개 변수는 학습에 의해 결정됩니다 결과적으로 바카라 룰 모델 내에서 단어 및 문장 구조와 같은 정보는 다양한 작업을 쉽게 수행 할 수 있도록 형식으로 저장 된 것으로 여겨집니다 사람들이 그것에 대해 생각하는 대신 데이터를 결정하고 실용적인 표현 형식을 찾았습니다 그러나이 표현은 사람들이 즉시 이해할 수없는 복잡한 형태로 생각됩니다

또한 학습에 사용되는 많은 양의 텍스트에 대한 지식이 학습 후 매개 변수로 인해 성능 향상에 기여하고 있다는 사실을 암기한다는 사실 Chatgpt는 질문을 따를 수있는 일련의 단어로서 많은 문장에서 답을 구성하는 정보를 배우기 때문에 질문에 올바르게 답변 할 수 있습니다

대규모 바카라 룰 모델의 큰 미스터리는 명시 적으로 훈련되지 않은 작업을 수행 할 수 있다는 것입니다 전통적인 자연어 처리 기술과 소규모 바카라 룰 모델을 사용하여 다양한 작업을 수용하려면 각 작업에 대해 별도의 시스템 및 재교육 데이터를 작성해야했습니다

이에 따라 Chatgpt는 "다음 문장의 문법 오류를 지적하는 것"과 "다음 의견이 긍정적, 부정적이든 중립적이든?"라고 진술함으로써 이러한 작업을 단순히 해결할 수 있습니다 모든 새로운 작업은 실행 조건의 예와 지침 내의 결과를 포함하여 처리 할 수 ​​있습니다 바카라 룰 모델에 대한 지침을 "프롬프트"라고하며 정확성으로 어떤 작업을 수행하기 위해 어떤 프롬프트를 입력 해야하는지 결정하기 위해 자주 조사되고 있습니다

"바카라 룰 모델이 커지면 새로운 기능이 등장하는 것이 사실입니까?

Chatgpt가 명시 적으로 훈련하지 않는 작업을 수행 할 수없는 작업에 대한 설명은 "바카라 룰 모델이 대규모에 도달하면 새로운 기능이 나타날 것"이라는 견해입니다 그러나 이것에 대한 의견 불일치도 있습니다 예를 들어, 인터넷 및 기타 소스에서 수집 한 엄청난 양의 텍스트는 대규모 바카라 룰 모델을 배우는 데 사용되기 때문에 새로운 작업을 테스트하고 있다고 생각했지만 테스트 데이터는 실제로 교육 데이터와 혼합되었습니다 다시 말해, 대규모 바카라 룰 모델은 의도하지 않게 "부정 행위"일 수 있습니다

이 점을 포함하여 바카라 룰 모델의 행동에 대해 이해하지 못하는 많은 것들이 여전히 있습니다 우선, 한 사람과 같은 문장이 단순히 유익한 방식으로 문장을 따르는 단어를 예측함으로써 왜 문장을 생성 할 수 있는지 자세히 설명 할 수있는 이론은 아직 없습니다

AIST는이 점을 명확히하기 위해 바카라 룰 모델의 내부를 자세히 조사하고 있습니다 바카라 룰 모델은 계층 적 구조를 가지고 있으며 일부 계층 구조에서는 기존의 "합성 구문 분석 (문법에 따라 단어 관계 구성)"과 동등한 처리를 수행 할 수 있습니다

또한 바카라 룰 모델은 인공 지능 분야에서 "일반 AI (일반 모델)"로 알려진 기술 중 하나입니다 AI 생성에는 구두로 사용될 때 이미지를 생성하는 AI도 포함되며 "MidJourney"및 "안정적인 확산"과 같은 서비스는 여전히 대중의 관심을 끌고 있습니다 실제로 이미지 생성 AI는 바카라 룰 모델과 마찬가지로 확률 적 아이디어를 기반으로합니다 예를 들어, 얼굴 이미지의 생성을 고려할 때, 예를 들어, 눈, 입 및 코와 같은 일반적인 특성에도 불구하고 다양한 이미지가 모양, 배치 및 색상의 확률 적 변화에 의해 생성되는 이미지입니다 ("생성 AI는 무엇입니까? -"차세대 AI "")

자연어 처리 및 AI

AI에 의해 우리의 일이 사라질까요?

Chatgpt가 보여 주듯이, 현재 자연어 처리 기술을 사용하여 컴퓨터에 대화하고 대화하는 다양한 작업을 떠날 수있게되었습니다 그러나 현재 기술에는 큰 제한 사항이 있으며 인력을 완전히 제거 할 작업은 거의 없다고합니다

이 제약 조건은 시스템이 사람들의 지침에 출력하는 정보가 반드시 올바른 것은 아님을 의미합니다 chatgpt 답변에는 종종 오류가 포함되어 있다는 것이 잘 알려져 있습니다 그 이유는 위에서 언급 한 바와 같이, 생성 된 문장은 단지 학습 확률을 따르는 결과이며 내용의 정확성을 확인하지 않기 때문입니다 텍스트가 그럴듯 해 보이더라도 내용이 정확하다는 것을 의미하지는 않습니다

따라서 현재 기술을 사용하여 텍스트를 만들 때 사람들이 컨텐츠의 정확성을 확인해야합니다 정보의 정확성에 중요하지 않은 목적으로 인간의 개입없이 사용할 수 있지만이 시점에서는 제한적이라고 생각됩니다

바카라 룰 모델 출력을보다 정확하게 만드는 기술은 계속 발전하지만 실수를 완전히 제로화하기는 어렵습니다 결과적으로 사람들은 행동을 취할 수 없다고 말할 수 있습니다 그러나 인간도 실수를 저 지르므로 바카라 룰 ​​모델의 정확성이 인간의 정확성과 비교되면 대상이 변할 수 있습니다 자연 바카라 룰 처리 기술의 정교함이 증가함에 따라 정보의 정확성을 중요하게 생각하지 않는 응용 프로그램부터 작업을 자동화 할 수 있습니다 반면에 AI에 의해 자동으로 생성 된 텍스트를 찾아 내용을 확인하는 기술에 대한 연구도 수행되고 있습니다

자연어 연결 AI 연결

자연 바카라 룰 처리 기술이 향후에 향하는 지침 중 하나는 바카라 룰 처리를 스틸 이미지, 비디오, 3D 모양 및 오디오와 같은 다양한 유형의 데이터 처리와 결합하는 것입니다 이것을 "복합화"라고합니다 이미 이미지 생성 AI를 원하는 그림으로 그리기 위해 Chatgpt를 사용하여 지침 작성 (프롬프트)과 같은 협업이 시작되었습니다

연구 단계에는 바카라 룰 모델이 로봇 동작을 생성하는 데 사용되는 경우가 있습니다 로봇이 바카라 룰 모델에 위치한 상황을 전달할 때 바카라 룰 모델은 다음 행동을 유추합니다 실제로 적절한 동작을 생성 할 수 있습니다

다중 모드화는 데이터 처리를 전문으로하는 시스템 간의 협력을 통해 진행될 것으로 믿어집니다 흥미롭게도 시스템 간 정보를 교환하는 표준 방법이 자연어가 될 수도 있습니다 지침 (프롬프트)을 통해 AI를 통해 통신 할 수있을뿐만 아니라 Chatgpt의 기능을 확장하는 "플러그인"의 메커니즘은 자연어로 확장 소프트웨어를 사용하고 Chatgpt에 전달하는 방법입니다 결국, 우리는 인간과 AI만이 자연어를 통해 서로 상호 작용할 수있을뿐만 아니라 AI와 AI도 나이가 될 수 있습니다

개발의 또 다른 방향은 "개인화"입니다 채팅 내용을 포함하여 다양한 개별 행동을 지속적으로 기억하는 바카라 룰 모델은 각 개인에게 맞춤형 서비스를 제공 할 수 있습니다 실제로 Microsoft는 대규모 바카라 룰 모델을 Office 소프트웨어와 연결하여 각 사용자에 대한 이메일, 채팅, 문서 및 회의와 같은 데이터를 활용하는 도구 인 Copilot을 사용할 것이라고 밝혔다

이러한 추세를 통해 사용자 개인 정보 보호는 중요한 과제 인 것 같습니다 모든 데이터를 클라우드에 저장하는 대신 개인 정보는 스마트 폰과 같은 사용자의 도구를 사용하여 관리 될 수 있으며 일반적인 지식을 제공하는 클라우드 바카라 룰 모델에 연결될 수 있습니다

대규모 바카라 룰 모델 자체의 기능도 더욱 향상되어 더 많은 작업으로 더 나은 결과를 얻을 수 있습니다 여기서 중요한 것은 일본이 최첨단 기술을 포함하는 자체 대규모 바카라 룰 모델을 개발해야한다는 것입니다 대규모 바카라 룰 모델 내에서 무슨 일이 일어나고 있는지 자세히 조사하고 연구 및 개발을 개발하려면 개방형 환경에서 사용할 수있는 모델은 신속하게 개발되어야합니다 우리는 전 세계 개발 경쟁에 남아있는 것을 피하기 위해 현재까지 우리가 재배 한 최첨단 자연 바카라 룰 처리 기술을 모으고 다른 연구 기관 및 대학과 협력하여 일본 내 대규모 바카라 룰 모델의 개발에 기여하고 싶습니다