自然言語処理AIの仕組み｜チャットボットでできること＆できないこと

自然言語処理ができるAIやチャットボットは、サポートデスクなどのさまざまなビジネスシーンで活用されています。これら自然言語処理系の技術は、今後もさらなる活躍が期待されていますが、導入を検討している方の中には以下の疑問を抱えている方も多いのではないでしょうか。

「自然言語処理とはどういう仕組みなのか」

「チャットボットでできること・できないことは何か」

「自然言語処理AIを導入すると、どんな効果が期待できるか」

そこでこの記事では、AI黎明期からさまざまなインターネットサービスを開発してきた、弊社スパイクスタジオが疑問を解決していきます。さらに、自然言語処理技術の現状や、今できる活用法についても解説しますので、ぜひ参考にしてください。

チャットボットに使われる自然言語処理とは

「チャットボット」は、自然言語処理の技術を活用し、顧客からの問い合わせに応答する生成AIのことです。「自然言語処理」とは、人間の話し言葉や書き言葉をコンピューターが解析・処理する技術のことをいいます。この自然言語処理を活用することにより、チャットボット会話をより自然で正確なものに近付けることができるのです。

まずは、自然言語処理系のAIと、チャットボットについてみていきましょう。

自然言語処理（BERT）系のAIとは

「BERT」は、2018年にGoogle社が開発した高精度な自然言語処理モデルです。大量の文章データ（コーパス）を事前に学習させることで、文章の前後を考慮した人間に近い文脈理解ができる特徴があります。現在はオープンソースで公開されており、人工知能と言語学における技術発展に大いに貢献してきました。

一般的なコンピューターが処理できるのは、計算式やプログラミング言語といった、曖昧性のない言語です。しかし、人間の話し言葉や書き言葉には、曖昧さや意味の重複なども含まれています。

たとえば、「きょうとしよりきた」という文は、「今日年寄り来た」「京都市より来た」という二通りの解釈ができるのです。人間はこれを漢字や発話時のイントネーションから自然に処理していますが、物事に関する知見や前後の文脈理解がなければ、文章の意図を正しく理解することはできません。

これを可能にしたモデルが、BERTのような自然言語処理系のAIです。

チャットボットとは

チャットボットは、「チャット」と「ロボット」を組み合わせた造語で、コンピューターがテキストなどを介して自動的に会話をおこなうプログラムです。主に、社内外からの問い合わせ対応に利用されており、以下のような業務改善メリットがあります。

• 問い合わせ対応業務の負担軽減

• 知識の属人化防止

• 応対品質の平準化

対話に必要なデータベースを学習しているため、オペレーターの代わりに24時間365日対応できるのが大きな魅力です。たとえば、Q&Aやマニュアルを読めばわかる質問などは、チャットボットで十分事足ります。

チャットボットの元祖は、1960年代に開発された対話システム「ELIZA」だといわれています。キーワードと会話パターンを事前に登録しておき、テンプレートに当てはめて回答するアルゴリズムです。

これは「シナリオ（ルールベース）型」と呼ばれており、ここに生成AIを組み合わせたものが「AI型」と呼ばれます。AI型はシナリオ型よりさらに膨大なデータを解析・学習し、統計的に適切とされる解答を導き出す、次世代のチャットボットです。

自然言語処理系のAIでできること

自然言語処理系のAIは、チャットボット以外にもさまざまな場面で活用されています。

• 予測変換機能

• 対話アプリ

• 音声認識

• 文章のカテゴリー自動分類

• 記事の自動要約サービス　など

ただし現状ではできることが限られており、本質的にできるのは単語の並び方のパターンを捉えること、単語同士の類似度を算出することだけです。近年では、自然言語処理系のAIを活用した、精度の高い翻訳・要約サービスなども台頭してきています。しかし、これも実は観測できるデータ内から確率的に導き出しているだけなのです。

自然言語処理系のAIだとできないこと

以下は、自然言語処理系のAIでは現状対応しきれない範囲です。

• 意味の理解

• データにない新しい言葉の理解など

現状の生成AIでは、一見意味を理解しているように見えても、その言葉の概念までは捉えられません。AIには人間のような常識というバイアスがないため、「そんな間違えはしないだろう」というアウトプットが産まれることも多々あるのです。

また、毎年流行語で新しい言葉が散見されるように、人間の言葉は日々更新されています。同じ言葉でも時代の移り変わりで意味が変わり、異なる使い方をされることもあるのです。現状では、これらを単一のモデルで自動的に捉えていくことは不可能でしょう。

チャットボットAIで今できること

現状のチャットボットAIでできるのは、範囲を絞った限定されたタスクのみです。会話型のチャットボットに人間のような自然な雑談をさせるのは難易度が高く、タスクを限定して与えたほうが有効活用できる傾向があります。

社内問い合わせ対応の一部をチャットボットAIに担当させる例は以下の通りです。

• 探しているデータや資料を表示する

• ソフトウェアの操作方法を回答させる

AI型のチャットボットも、質問と回答文のセットでデータを認識し、学習しているのには変わりありません。雑談のような会話パターンではあらゆることに返答しなければならず、回答の精度も下がってしまうのです。したがって、限定した範囲内でも十分なデータが集められ、業務負担も軽減できるようなタスクを見極めることが大切になります。

チャットボットAIで今はできないこと

チャットボットAIは、以下の内容を不得意としています。

• 広範囲な質問に回答する

• データにない内容に回答する

• あいまいな文章や主語を省略した文章

先述したように、現在の生成AI技術では、タスクの範囲を広げると回答の精度は落ちてしまいます。また、AIは言葉の意味や概念までは理解できません。チャットボットAIにとって、あいまいな表現が多く主語が省略されがちな日本語は、実は苦手な言語なのです。これは、日本の企業がチャットボットAIを活用する際の障壁にもなりうるでしょう。

【5つの解析方法】自然言語処理の仕組み

ここからは、自然言語処理の仕組みについて簡単に解説していきます。自然言語を処理する技術に用いられているのは、大きく以下の5つの解析方法です。

1. 形態素解析

2. 構文解析

3. 意味解析

4. 文脈解析

5. 感情解析

自然言語系のAIは、上記を1から順番に処理することで文章全体を解析しています。

形態素解析

「形態素」は、文章を可能な限り細分化し、意味を持つ最小の単位にしたものです。「形態素分析」は、文章をこの形態素まで分解して情報を振り分ける作業のことを指します。この解析方法は検索エンジンなどにも活用されているものです。

日本語の難しさは、この形態素分析から発揮されます。冒頭の例に出した「きょうとしよりきた」という話し言葉を理解するには、「きょう」「と」「し」「より」のように、単語よりもさらに細かい分析が必要になるでしょう。

また書き言葉においても、単語ごとに明確な区切りがない日本語は、どのように文章を分けるべきかAI自身が判別しなければなりません。

構文解析

形態素分析で細かく分けた単語同士の関連性を解析するのが「構文分析」です。具体的には、分節における係り受け構造を解析し、図式化する作業のことを指します。構文分析には「依存構造解析」と「句構造解析」がありますが、詳細は以下の通りです。

依存構造解析

構造の依存度を構文的に解析する

句構造解析

分節に分けて解析する

日本語に対応している構文解析器としては、「CaboCha」「KNP」などが該当します。

意味解析

ある程度文章の構造が分析できたあとは「意味解析」をおこないます。意味解析では、まずそれぞれの単語の意味を理解して、そのデータを基に文章全体の意味を把握する流れです。意味解析には「グラウンディング」と「アノテーション」の2つの手法があります。

グラウンディング

自然言語で表現された文章の概念を自然言語以外の情報とリンクさせ、より正しく文章を解釈する

アノテーション

機械学習モデルを作成するための教師データを作成する作業

チャットボットの質を高めるためには、このアノテーションが重要になります。教師データが多いほど処理の精度も高くなるので、問い合わせ内容と返信方法のデータを大量に学習させることが大切です。

文脈解析

「文脈解析」は、文章と文章のつながりを解析する作業です。形態素分析から意味分析までを複数の文章に対しておこない、単語同士の関係や前後の流れを把握します。文章が長くなればなるほど解析が複雑になるため、アノテーションを活用しながら一定のルールを見出し、文脈全体の意図を解析することが求められるでしょう。

感情分析

人間は文章に含まれる感情も無意識に読み取りますが、現状AIには難しいとされています。ただし、「感情分析」を活用すれば、文脈における感情も予測できるようになるでしょう。感情分析は、単語に付随するネガティブ・ポジティブといった印象について予め学習しておき、そのデータを基に感情を予測する方法です。

チャットボットの仕組みと具体的な活用法

チャットボットは、アプリケーションとボットをAPIで連携する活用法が基本です。

1. ユーザーの質問をチャットボットが分析

2. データベースを検索し情報を取得

3. 回答文を生成

4. アプリケーションを経由して回答

近年では、ユーザーの質問を分析・解釈する工程にAIを活用しています。アプリケーションを経由して返答することにより、自動で会話をしているように見せているのです。ここからは、チャットボットの具体的な活用法についてみていきましょう。

社内ヘルプデスク

チャットボットというと対顧客のイメージが強いですが、社内ヘルプデスクにおいても大いに活用できます。業務中のさまざまなSOSに対応するヘルプデスクでは、新たなシステムの導入や規則改定などがあると、業務過多になってしまうことも多いです。問い合わせ対応にチャットボットが活用できれば、オペレーター社員の業務負担も軽減できるでしょう。

また弊社では、以下のような活用法も提案しています。

• 就業規則や社内規定などの問い合わせ対応

• 議事録やドキュメント等の履歴確認

• 広告LPのためのボットLP

オペレーター支援

チャットボットAIによるオペレーター支援も、近年注目されている活用法です。従来のオペレーターは、過去の資料や調査ツールを使って、問い合わせに対する解決策を導き出していました。

この工程にAIを導入することで、直接入力した質問からAIがデータをクロール・分析し、オペレーターの代わりに回答してくれます。入力情報を会話データとして学習させ、これを繰り返すことにより、徐々に回答精度も上がっていく仕組みです。

チャットボットや自然言語処理AIの活用法はスパイクスタジオまでご相談ください

自然言語処理系のチャットボットAIは、学習データを基にした会話を自動で生成するプログラムです。自然言語処理の技術がさらに発達すれば、より広い範囲での活用が期待できるでしょう。

現状の技術を上手く業務やサービスに組み込むには、AIのできること・できないことをしっかり把握し、自然言語処理への理解を深めることが大切になります。弊社スパイクスタジオでは、AI黎明期から積み重ねてきた豊富な実績を活かし、貴社のさまざまな課題を解決するお手伝いが可能です。

数々のインターネットサービスを開発してきた弊社熟練チームが、貴社のニーズに合ったチャットボット・自然言語処理AIの活用法を提案しますので、ぜひ一度ご相談ください。