A simple neural network module for relational reasoning

Link : https://arxiv.org/pdf/1706.01427.pdf

A simple neural network module for relational reasoning

Abstract

 

관계 추론(Relational reasoning)은 일반적으로 지능적인 행동의 중심 구성 요소이지만 신경망이 학습하는 것이 어렵다는 것이 입증되었습니다. 본 논문에서는 관계형 추론에 근본적인 문제를 해결하기 위해 간단한 플러그 앤 플레이 모듈로 RN (Relation Networks)을 사용하는 방법을 설명합니다. 우리는 RN-augmented 네트워크를 다음 세 가지 작업으로 테스트했습니다. CLEVR이라는 까다로운 데이터 세트를 사용하여 시각적 인 질문 응답을 제공합니다. CLEVR은 최첨단의 초인적 인 성능을 구현합니다. bAbI 작업 모음을 사용하여 텍스트 기반 질문 응답. 동적 인 물리적 시스템에 대한 복잡한 추론. 그런 다음 Sort-of-CLEVR이라는  curated 데이터 세트를 사용하여 강력한 컨볼루션 네트워크가 관계형 질문을 해결할 수있는 일반적인 능력을 갖고 있지는 않지만 RN을 사용하여 증가 할 때 이 능력을 얻을 수 있음을 보여줍니다. 우리의 연구는 RN 모듈을 갖춘 심층 학습 아키텍처가 어떻게 엔티티와 그 관계에 대해 암시적으로 발견하고 추론 할 수 있는지를 보여줍니다.

Introduction

 

엔티티와 그 속성 사이의 관계를 추론하는 능력은 일반적으로 지능적인 행동의 핵심이다 (그림 1) [18, 15]. 공원에서 가장 멀리 떨어져있는 두 나무 사이의 경주를 제안하는 어린이를 생각해보십시오. 공원의 모든 나무 사이의 쌍 방향 거리를 유추하고 비교하여 어디에서 달리야하는지 비교해야합니다. 또는 독자가 살인-미스터리 소설에서 범인을 예측할 수 있는 증거를 함께 제시 한 것을 고려해보십시오. 각 실마리는 그럴듯한 이야기를 구축하고 수수께끼를 푸는 넓은 의미에서 고려되어야합니다. 인공 지능에 대한 상징적 접근은 본질적으로 관계형이다 [32, 11]. 실무자는 논리와 수학의 언어를 사용하여 기호 사이의 관계를 정의한 다음 추론, 산술 및 대수를 비롯한 다양한 강력한 방법을 사용하여 이러한 관계를 추론합니다. But symbolic approaches suffer from the symbol grounding problem and are not robust to small task and input variations [11]. 통계적 학습을 기반으로하는 것과 같은 다른 접근법은 원시 데이터로부터 표현을 구축하고 다양하고 노이지한 조건을 종종 일반화합니다 [25]. 우리의 연구 결과는 이러한 주장을 뒷받침하며, CNN (convolutional neural network) 및 MLP (multi-layer perceptron)와 같은 강력한 신경망 아키텍처에서 겉으로 보기에는 단순한 관계 추론이 현저하게 어렵다는 것을 입증합니다. 여기서는 신경 네트워크에서 관계형 추론에 대한 일반적인 솔루션으로 "관계 네트워크"(RN)를 탐구합니다. RN은 관계형 추론에 명시적으로 초점을 맞춘 구조이다 [35]. Graph Neural Networks, Gated Graph Sequence Neural Networks, Interaction Networks [37, 26, 2]와 같이 관계 중심적 계산을 지원하는 몇 가지 다른 모델이 제안되었지만 RN은 단순하고 플러그 앤 플레이 방식이며 배타적으로 유연한 관계형 추론에 중점을 둡니다. 또한 공동 훈련을 통해 RN은 CNN 및 LSTM의 상향 표현에 영향을 미치고 모양을 형성하여 관계형 추론에 활용할 수있는 암시적 객체와 같은 표현을 생성 할 수 있습니다. 풍부한 관계형 추론에 대한 요구로 인해 최첨단 접근 방법으로 어려움을 겪고있는 최근 시각적 질문 응답 (QA) 데이터 세트 인 CLEVR [15]에 RN-augmented 아키텍처를 적용했습니다. 우리의 네트워크는 일반적으로 적용 할 수 있는 최상의 시각적 QA 아키텍처보다 크게 뛰어나며 최첨단의 초인적인 성능을 구현합니다. RNs also solve CLEVR from state descriptions, highlighting their versatility in regards to the form of their input. We also applied an RN-based architecture to the bAbI text-based QA suite [41] and solved 18/20 of the subtasks. 마지막으로 복잡한 물리적 시스템 및 모션 캡처 데이터에 대한 까다로운 관계 추론을 수행하기 위해 RN을 교육했습니다. RN의 성공은 관계 추론을 필요로하는 문제를 해결하기위한 RN의 일반적인 유용성에 대한 증거입니다.

Relation Networks

RN은 관계형 추론을 위해 준비된 구조를 가진 신경망 모듈입니다. RN 뒤에있는 디자인 철학은 관계형 추론의 핵심 공통 특성을 포착 할 수 있도록 신경망의 기능적 형태를 제한하는 것입니다. 즉, 관계를 계산할 수있는 능력은 배울 필요없이 RN 아키텍처로 구워집니다.  공간적, 번역 불변 속성에 대한 추론 능력이 CNN에 기본으로 포함되어 있으며 순차적 종속성에 대한 추론 능력이 Recurrent neural networks로 구축됩니다  가장 단순한 형식에서 RN은 복합 함수 입니다.