바카라 족보는 인간과 같은 능력을 재현하는 데 성공했습니다

최고 연구원 Han바카라 족보 Ryo, 산업 CPS 연구 센터의 자동화 연구 팀, 국립 고급 산업 과학 기술 연구소 (이하 "바카라 족보ST"), Domae Yukiyasu, Ixchel Ramirez, Makihara Koshi, 명시된 연구 조교, 그리고 명시된 연구 조교, 그리고 명시한 연구 조교, 그리고 Domae Yukiyasu, 그리고 Domae Yukiyasu, 그리고 명시된 연구 조교, Domae Yukiyasu, 및 Ixchel Ramirez, 그리고 명시된 연구원, 그리고 명백한 연구원 Han바카라 족보 Ryo 인공 지능 연구 센터 인 Tetsuya는 시각 정보에서 물체 사이에서 작용하는 힘을 회상하는 바카라 족보 기술을 개발했습니다

인간은 거친 힘과 물체의 부드러움을 시각적으로 혼자서 추론하고 경험적으로 일할 수 있습니다 예를 들어, 붕괴되거나 부드럽게 보이는 것을 발견하면 분해하거나 분쇄하지 않도록 조심스럽게 처리해야합니다 이런 식으로, 인간은 경험에 따라 비전에서 다른 감각을 불러 들여 다양한 행동을 계획 할 수 있습니다

이 연구에서 바카라 족보는 시야에서 다른 감각을 회상하는이 인간과 같은 능력을 성공적으로 재현했습니다물리 시뮬레이터우리는 상단의 객체 사이에 적용되는 힘을 시각화하는 가상 경험적 데이터를 구성했으며,이 가상 경험에서 비전과 다른 의미 (힘) 사이의 관계를 배웠습니다

실험에서, 우리는 하나의 카메라만으로 알려지지 않은 물체 사이에 생성 된 힘의 대략적인 분포를 실시간으로 성공적으로 시각화했습니다 우리는 또한 힘 분포를 이해하는 로봇이 지정된 물체를 들어 올려 주변 물체의 손상이 줄어드는 것과 같은 인간과 유사한 추론을 기반으로 작용할 수 있음을 확인했습니다 로봇을 사용하여 물체를 신중하게 작동하고 자율 주행 사고를 예측하는 데 미래에 유용 할 것으로 기대됩니다

이 연구 및 개발 결과는 로봇 필드의 국제 회의 인 IEEE/RSJ International Conference (IROS) 2023에서 2023 년 10 월 1 일부터 5 일까지 개최 될 예정입니다

인간은 다양한 과거 경험을 바탕으로 비전에서 다른 감각을 상기시켜 유연하고 다양한 작업을 수행 할 수 있습니다 눈으로 보면 조심스럽게 부드럽게 작동하거나 쉽게 떨어져 나와야합니다 그러나 로봇에서 설치된 시각적 센서 만 사용하여 이러한 종류의 감각을 재현하기가 어려웠습니다 예를 들어 로봇의 움직임Dynamics에 관한 추정치 로봇과 물체 사이의 접촉 후 힘 및 촉각 센서를 사용하여 일반적으로 결정되었습니다 그러나이 판단 방법으로 인해 객체 붕괴와 같은 물체와 접촉 한 후 너무 늦었을 때 Dexterous 작업을 수행하기가 어려워졌습니다 대조적으로, 시각적 및 모터 역학과 같은 다른 감각 (교차 양식)을 쉽게 알 수 있다면 저렴한 센서의 인간과 같은 행동 계획을 실현할 수 있으며 미래의 로봇과 자율 주행 시스템에 기여할 것으로 예상됩니다

바카라 족보ST는 시뮬레이션을 사용하여 로봇 인식 및 모션 생성 기술을 연구하고 있습니다 이 연구는이 지식을 활용하여 이미지에서 객체간에 적용되는 힘의 분포를 상기시켜주고 로봇에 적용 할 가능성을 탐구합니다

이 연구 및 개발은 한 사람을위한 "스마트 로봇 (PM : Kanno Shigeki (Waseda University)"에 대한 연구 주제 중 하나로 다루어지고 있습니다 National Institute for Science and Technology (JST) Moonshot-Type R & D Project Research and Development Program : "2050 년, Human and Coxans와 Coxans와 Coxans"

Han바카라 족보 et al 시각적 센서로 얻은 이미지에서 캡처 한 물체가 주변 물체와 접촉 할 때 생성 된 힘의 대략적인 분포를 상기하고 실시간으로 3 차원으로 시각화하는 데 성공했습니다 이번에 개발 한 바카라 족보 기술을 통해 이미지에서 객체간에 접촉하여 생성 된 힘을 추정 할 수있어 힘의 크기를 시각적으로 표현할 수 있습니다 이에 대한 예는 그림 1에 나와 있습니다 그림 1은 시각적 센서를 사용한 입력 이미지를 보여주고, 그림 1은 입력 이미지에서 바카라 족보를 연상시키는 힘의 대략적인 분포를 보여줍니다 바스켓의 물체가 주위의 물체와 접촉 할 때 생성 된 힘의 크기 (바구니의 측면과 바닥 포함)는 녹색으로 빨간색으로 표현되며 빨간색에 더 가까워지면 비교적 큰 힘이 더 많이 적용됩니다 (그러나 특정 값보다 작은 힘이 표시되지 않도록 표시되지 않습니다) 다양한 장면에서는 힘이 물체와 바스켓의 측면과 바닥에, 그리고 물체 사이의 접촉 위치에 적용됩니다 객체에는 바카라 족보를 배우는 데 사용되지 않은 알 수없는 객체도 포함되어 있습니다 이는 제안 된 바카라 족보가 다양한 일일 필수품에 대한 일반화 성과를 얻을 수있을 가능성을 보여줍니다 또한 제안 된 방법은 시뮬레이션 내에서 학습되지만 실제 환경에 적응할 때추가 학습나는 그것을하지 않습니다 이것은 기계 학습 연구에 있습니다제로 샷 전환라고합니다 이는 가상 세계에서 배운 바카라 족보가 추가 학습없이 실제 세계에 적용될 수 있음을 나타냅니다 이런 식으로, 우리는 한 이미지 (하나의 카메라)에서 실시간으로 일일 필수품의 객체 사이에 적용되는 힘 분포를 추정 할 수있는 바카라 족보 기술을 실현했습니다

그림 2는 제안 된 방법을 사용한 학습 방법의 개요입니다 현실 세계에서는 시각적 정보에 대한 정확한 힘 분포를 얻는 것이 어렵습니다 여기서 물리 시뮬레이터는 물리 계산에 따라 무작위로 배열 된 일상 품목의 3D 모델 사이에 적용되는 "물체 사이의 힘 작용"을 계산하는 데 사용됩니다 그러나 물리 시뮬레이터에 대한 물리 작업은 실제 물리적 현상을 정확하게 재현하지 않습니다 따라서 정확한 힘의 힘을 추정하려고하면 시뮬레이션과 현실 (기계 학습 연구의 도메인 간격이라고 함) 사이의 격차를 메우려면 막대한 노력이 필요합니다 따라서 연구원들은 물체의 정확한 힘이 아닌 물체 사이의 힘의 대략적인 분포에 초점을 맞추 었습니다 이 경우, 물리적 시뮬레이션에서 얻은 정보조차도 시간적 및 공간적 스무딩을 수행함으로써 비교적 안정적으로 재현 될 수 있습니다 따라서 바카라 족보에 대한 많은 경험을 얻지 않고도 도메인 간격을 채우는 것이 쉽다는 것을 발견했습니다 이러한 독창성을 기반으로, 우리는 시뮬레이터에서 가상 경험적 데이터를 생성함으로써 시각 정보를 입력하고 객체 간의 힘 분포를 출력하는 딥 러닝 모델을 교육했습니다 모델은RESNET50인코더로서 resnet을 기반으로 설계된 디코더와 결합합니다 결과적으로 그림 1과 같이, 이제 제로 샷이있는 실제 카메라에 적용 할 수 있습니다 일반적으로, 학습 효율성은 현실에 대한 시뮬레이션과 유사하게 증가하지만 이번에는 "실제 생활에서 얻기 어려운 경험"을 축적함으로써 실제 경험을 보완한다는 사실은 또 다른 중요한 기술적 성과입니다

우리는 또한 제안 된 방법을 로봇의 객체 조작 계획 문제에 적용했습니다 도 3 (a) 및 (b)에 도시 된 바와 같이,이 제안 된 방법을 추가함으로써, 우리는 시각적 정보만으로도 신중한 인간과 같은 물체를 조작하는 신중한 방법을 계획 할 수 있었다 미래의 손재주 방식으로 물체를 작동하는 로봇에 적용될 것으로 예상됩니다

바카라 족보ST의 연구 조교 Makihara Takashi와 다른 사람들은 힘의 분포와 유사한 아이디어를 기반으로 물체의 부드러움을 추정했다 [1] 소수의 제품의 3D 모델에 수동으로 주어진 물체의 부드러움을 나타내는 맵을 붙여서 시뮬레이션에서 많은 양의 데이터를 생성함으로써 딥 러닝 모델은 물체의 모양과 시각적으로 얻은 부드러움 (범위 이미지 센서를 사용한 깊이 이미지) 사이의 관계를 훈련시켰다 (그림 4) 이를 통해 객체 유형이 모양에서 추정 될 수있는 장면에서 부드러움의 분포를 예측할 수 있습니다 예를 들어, 특정 플라스틱 병의 모양과 부드러움을 훈련하는 경우 약간 다른 모양의 알 수없는 플라스틱 병의 부드러움을 추정 할 수 있습니다 이 바카라 족보가 로봇에 적용되면 물체를 잡는 최신 방법입니다Dex-Net와 비교하여, 작업 성공률이 비슷하고 파리가 쇄도하는 물체의 분쇄는 70%이상 억제 될 수 있음이 밝혀졌습니다 반대로, 로봇을 잡는 것이 불가능한 상황에서, 그들은 부드러움을 사용하여 주변 물체를 변형시키고 밀어 붙이는 사람과 같은 행동을 취하는 데 성공했습니다 (그림 5)

비전에서 또 다른 의미를 불러 일으키는이 기술은 저렴한 센서를 사용하여 인간과 유사한 손재주 행동 계획을 허용합니다 로봇은 공장 및 물류 창고에서 조작 될 것으로 예상되며 앞으로 가정에서 인기가 될 스마트 로봇에 배치 될 것으로 예상됩니다 또한 자연 환경에서 붕괴 될 가능성이있는 장소를 찾기 위해 시뮬레이션을 통해 경험적 데이터를 작성하고 제공하는 방법을 사용할 수도 있습니다 앞으로, 우리는 자율 주행에 대한 위험 예측과 위성 이미지의 재난 예측을 포함하여 광범위한 분야에 적용하는 것을 목표로합니다

IROS2023 (2023 년 10 월 1 일부터 5 일까지 개최)에서 발표 될 예정
논문 제목 :“Forcemap : 비전에서 접촉력 분포를 예측하는 법을 배우는 것”
저자 : Ryo Han바카라 족보, Yukiyasu Domae, Ixchel G Ramirez-Alpizar, Bruno Leme 및 Tetsuya Ogata

[1] Koshi Makihara, Yukiyasu Domae, Ixchel G Remirez-Alpizar, Toshio Ueshiba 및 Kensuke Harada,Advanced Robotics, 2022, vol 36, 아니오 12, 600–610
https : //doiorg/101080/0169186420222078669

물리 시뮬레이터

이 소프트웨어는 컴퓨터에서 객체의 움직임 및 충돌과 같은 물리적 현상을 시뮬레이션합니다[참조로 돌아 가기]

Dynamics

로봇이나 물체에 가해지는 힘과 그 결과 움직임 사이의 관계를 말합니다[참조로 돌아 가기]

추가 학습

기계 학습의 개념은 미리 훈련 된 모델을 새로운 작업 및 데이터에 적용하는 과정을 나타냅니다 여기서는 실제 환경의 데이터를 사용하여 시뮬레이션 데이터를 사용하여 훈련 된 모델을 재교육하는 것을 참조하십시오[참조로 돌아 가기]

제로 샷 전환

한 도메인 (시뮬레이션 데이터)으로 훈련 된 모델을 다른 도메인 (실제 환경 데이터)으로 조정하는 것을 전송 학습이라고합니다 대상 도메인의 데이터를 사용하지 않고이 경우 데이터의 전송을 제로 샷 전송이라고합니다[참조로 돌아 가기]

RESNET50

RESNET은 Convolutional Neural Networks의 일반적인 아키텍처 중 하나이며, 매개 변수가 다른 네트워크는 동일한 구조의 층을 쌓아서 구성 할 수 있습니다 RESNET50은 50 층 구조를 나타냅니다[참조로 돌아 가기]

Dex-Net

이것은 시각적 센서로 얻은 데이터에 대해 로봇의 적절한 그립 위치를 계산하는 기술입니다 딥 러닝은 3 차원 형태의 항목과 손 모델을 사용하여 생성 된 다량의 데이터를 사용하여 수행됩니다[참조로 돌아 가기]