エネルギー基本計画から新語・複合語を探す。その1 gensim phrasesで複合語候補を探す（python,gensim.Phrases,自然言語処理,janome）

前回、gensim Phrasesを使って複合語を探す方法を書きました。複数回出てきた単語の組み合わせを学習して、複合語として取り出す方法です。

今回は、閣議決定された第５次エネルギー基本計画から複合語候補を取り出してみます。目標は、エネルギー基本計画から新語を取り出し、用語を辞書に登録することです。

ちなみに今まではエネルギー基本計画（案）を使っていましたが、今回からは正式版のエネルギー基本計画を使います。

資源エネルギー庁：第5次エネルギー基本計画
http://www.enecho.meti.go.jp/category/others/basic_plan/pdf/180703.pdf

下記のページを参考にしました。

gensim Phrase
https://radimrehurek.com/gensim/models/phrases.html
コード7区：gensim の Phrases の使い方。頻出する単語ペアを検出－python
http://ailaby.com/phrases/
コード7区：ツイートからユーザ辞書（MeCab や Janome 用）をpython で作ってみる
http://ailaby.com/tweet_dict/

・インポートとデータ読み込み

from gensim.models.phrases import Phrases , Phraser
from janome.tokenizer import Tokenizer
import pandas as pd

text_file=open("energy_plan.txt").read()
text_file

出力（一部）

'はじめに\n\n２０１１年３月の東日本大震災及び東京電力福島第一原子力発電所事故を受けて、政府は、２０１４年４月、２０３０年を念頭に、第４次エネルギー基本計画を策定し、原発依存度の低減、化石資源依存度の低減、再生可能エネルギーの拡大を打ち出した。\n第４次エネルギー基本計画の策定から４年、２０３０年の計画の見直しのみならず、パリ協定の発効を受けた２０５０年を見据えた対応、より長期には化石資源枯渇に備えた超長期の対応、変化するエネルギー情勢への対応など、今一度、我が国がそのエネルギー選択を構想すべき時期に来ている。このため、今回のエネルギー基本計画の見直しは、２０３０年の長期エネルギー需給見通し（２０１５年７月経済産業省決定。以下「エネルギーミックス」という。）の実現と２０５０年を見据えたシナリオの設計で構成することとした。

・janomeで分かち書き

tokenizer = Tokenizer()
corpus=[]

tokens = tokenizer.tokenize(text_file)
corpus.append([token.surface for token in tokens])
    
print(corpus)

出力（一部）

[['はじめ', 'に', '\n\n', '２', '０', '１', '１', '年', '３月', 'の', '東日本', '大震災', '及び', '東京電力', '福島', '第', '一', '原子力', '発電', '所', '事故', 'を', '受け', 'て', '、', '政府', 'は', '、', '２', '０', '１', '４', '年', '４月', '、', '２', '０', '３', '０', '年', 'を', '念頭', 'に', '、', '第', '４', '次', 'エネルギー', '基本', '計画', 'を', '策定', 'し', '、', '原発', '依存', '度', 'の', '低減', '、', '化石', '資源', '依存', '度', 'の', '低減', '、', '再生', '可能', 'エネルギー', 'の', '拡大', 'を', '打ち出し', 'た', '。', '\n', '第', '４', '次', 'エネルギー', '基本', '計画', 'の', '策定', 'から', '４', '年', '、', '２', '０', '３', '０', '年', 'の', '計画', 'の', '見直し', 'のみ', 'なら', 'ず', '、', 'パリ', '協定', 'の', '発効', 'を', '受け', 'た', '２', '０', '５', '０', '年', 'を', '見据え', 'た', '対応', '、', 'より', '長期', 'に', 'は', '化石', '資源', '枯渇', 'に', '備え', 'た', '超', '長期', 'の', '対応', '、', '変化', 'する', 'エネルギー', '情勢', 'へ', 'の', '対応', 'など', '、', '今', '一', '度', '、', '我が国', 'が', 'その', 'エネルギー', '選択', 'を', '構想', 'す', 'べき', '時期', 'に', '来', 'て', 'いる', '。', 'この', 'ため', '、', '今回', 'の', 'エネルギー', '基本', '計画', 'の', '見直し', 'は', '、', '２', '０', '３', '０', '年', 'の', '長期', 'エネルギー', '需給', '見通し', '（', '２', '０', '１', '５', '年', '７月', '経済', '産業', '省', '決定', '。', '以下', '「', 'エネルギー', 'ミックス', '」', 'と', 'いう', '。', '）', 'の', '実現', 'と', '２', '０', '５', '０', '年', 'を', '見据え', 'た', 'シナリオ', 'の', '設計', 'で', '構成', 'する', 'こと', 'と', 'し', 'た', '。']]

janomeで分かちがきし、リストに格納します。詳しくは前回記事をご参照ください。二重のリストにすることに注意。

・Phrasesで複合語を探す。4回繰り返し。

gramCnt = 5  
tokenizer = Tokenizer()
corpus_phrase=corpus

for i in range(gramCnt-1):
    phrases = Phrases(corpus_phrase,min_count=5, threshold=10.0)
    phraser = Phraser(phrases)
    transformed=list(phraser[corpus_phrase])

    corpus_phrase = transformed

for words in corpus_phrase:
    print(" ".join(words))

gensim Phrasesで複合語を探します。前回は1回ずつ計2回変換しましたが、今回はループで回して4回繰り返しました。

パラメーターのmin_count=5, threshold=10.0はデフォルト値です（なので省略も可）

・出力（一部）

はじめ に 

 ２_０_１ １ 年_３月 の 東日本_大震災 及び 東京電力_福島_第_一_原子力_発電_所_事故 を 受け て 、 政府 は 、 ２_０_１_４ 年_４月 、 ２_０_３_０_年 を 念頭 に 、 第 ４ 次_エネルギー 基本_計画 を 策定_し 、 原発_依存_度 の 低減 、 化石_資源 依存_度 の 低減 、 再生_可能_エネルギー の 拡大 を 打ち出し た 。_
 第 ４ 次_エネルギー 基本_計画 の 策定 から ４ 年 、 ２_０_３_０_年 の 計画 の 見直し のみ_なら_ず 、 パリ_協定 の 発効 を 受け た ２_０_５_０_年 を 見据え_た 対応 、 より 長期 に は 化石_資源 枯渇 に 備え た 超 長期 の 対応 、 変化 する エネルギー_情勢 へ の 対応 など 、 今 一 度 、 我が国 が その エネルギー_選択 を 構想 す_べき 時期 に 来 て_いる_。 この_ため 、 今回 の エネルギー 基本_計画 の 見直し は 、 ２_０_３_０_年 の 長期 エネルギー_需給 見通し （_２_０_１ ５_年 ７月 経済 産業 省 決定 。 以下 「 エネルギー_ミックス 」 と いう 。 ） の 実現 と ２_０_５_０_年 を 見据え_た シナリオ の 設計 で 構成 する_こと と し_た 。_

「東日本_大震災」「東京電力_福島_第_一_原子力_発電_所_事故」「再生_可能_エネルギー」などが複合語候補としてアンダーバーで結ばれました。

その一方、「て_いる_。」「する_こと と し_た 。_」など、複合語とは言えないフレーズも含まれています。

・複合語候補の取り出し

words_df=pd.DataFrame()

for sentence in corpus_phrase:
    for word in sentence:
        if word.find('_') >= 0:
            words_df=words_df.append([word])

words_df.columns=["複合語候補"]

words_df=(words_df.groupby("複合語候補")[["複合語候補"]].count()
       .sort_values(by="複合語候補",ascending=False)
       .rename(columns={'複合語候補': '回数'})
       .reset_index()
      )

words_df

Phrasesで変換した文章から複合語候補を取り出し、groupbyで出現回数を数えました。

・出力（一部）

	複合語候補	回数
0	再生_可能_エネルギー	171
1	する_こと	154
2	。_\n	135
3	し_た	128
4	的_な	118
5	について_は	91
6	事業_者	78
7	する_ため	72
8	脱_炭素_化	65
9	し_て	65
10	し_て_いく	65
11	。_\n\n	62
12	。_また	57
13	技術_開発	56
14	可能_性	55
15	と_なる	54
16	新た_な	53
17	て_いく	45
18	中_で	43
19	し_て_いく_こと	42
20	必要_な	42
21	で_ある_。	40
22	さ_れる	40
23	で_あり	39
24	ある_。	39
25	に_加え	38
26	需要_家	38
27	安定_供給	38
28	観点_から	37
29	て_いる_。	37
30	し_て_いる	36
31	する_とともに	36
32	エネルギー_源	36
33	で_ある	36
34	こと_から	36
35	推進_する	36
36	エネルギー_需給_構造	35
37	に_向け_た	35
38	研究_開発	35
39	。_\n_また	35
40	廃_炉	34
41	て_いる	33
42	し_つつ	33
43	様々_な	33
44	化石_燃料	32
45	さ_れ_た	32
46	し_て_いる_。	32
47	安全_性	31
48	天然_ガス	31
49	に_向け_て	30
50	さ_れ	30
51	これ_まで	30
52	て_おり	29
53	ＬＰ_ガス	29
54	積極_的_に	29
55	国際_的_な	28
56	更_なる	28
57	使用_済_燃料	28
58	技術_革新	28
59	し_て_いく_ため	27
60	進め_て_いく	27
61	活用_し	27
62	着実_に	26
63	上_で	26
64	燃料_電池	26
65	について_も	25
66	２_０	25
67	重要_な	25
68	さ_せる	25
69	多様_な	25
70	において_も	25
71	温室_効果_ガス	25
72	供給_構造	25
73	効率_化	25
74	に_資する	24
75	安定_的_な	24
76	調整_力	24
77	。_さらに	24
78	分散_型_エネルギー_システム	24
79	行う_こと	24
80	に_向け_た_取組	24
81	さ_れ_て_いる	23
82	ＦＩＴ_制度	23
83	電源_として	23
84	ある_。_\n	23
85	この_ため	23
86	２_０_５_０_年	23
87	に_係る	23
88	エネルギー_選択	23
89	活用_し_た	22
90	電力_システム_改革	22
91	に_基づき	22
92	多様_化	22
93	に_取り組む	22
94	エネルギー_消費	22
95	エネルギー_需要	22
96	２_０_３_０_年	22
97	（_２_０_１	22
98	導入_拡大	21
99	パリ_協定	21
100	石油_製品	21
101	東京電力_福島_第_一_原子力_発電_所_事故	21
102	含め_た	21
103	競争_力	21
104	低_炭素_化	20
105	優れ_た	20
106	エネルギー_安全_保障	20
107	進める_。	20
108	エネルギー_転換	20
109	実現_する	20
110	中長期_的_な	20
111	サプライ_チェーン	20
112	で_ある_。_\n	20
113	エネルギー_政策	20
114	と_なり	19
115	高度_化	19
116	通じ_た	19
117	促進_する	19
118	具体_的	19
119	活性_化	19
120	のみ_なら_ず	19
121	この_よう_な	19
122	踏まえ_つつ	19
123	排出_量	19
124	できる_よう	19
125	エネルギー_転換_・_脱_炭素_化	19
126	と_なっ_て_いる	18
127	も_含め	18
128	に_基づく	18
129	必要_と_なる	18
130	新興_国	18
131	２_０_２_０	18
132	て_いる_。_\n	18
133	適切_な	18
134	分散_型	18
135	可能_と_する	18
136	に_なる	18
137	エネルギー_分野	17
138	進める_こと	17
139	適切_に	17
140	に_応じ_て	17
141	エネルギー_ミックス	17
142	進める_。_\n\n	17
143	形_で	17
144	最終_処分	17
145	強靱_化	16
146	基本_計画	16
147	必要_が	16
148	し_て_き_た	16
149	た_場合	16
150	原子力_発電_所	16

助詞や句読点などが含まれているものが多くありますが、「再生可能エネルギー」「脱炭素化」「温室効果ガス」などが見つかりました。
「分散型エネルギーシステム」「調整力」「電力システム改革」などのエネルギー用語もあります。

次回以降、この複合語候補から辞書登録する用語を選択してみます。


参考：
資源エネルギー庁：第5次エネルギー基本計画 http://www.enecho.meti.go.jp/category/others/basic_plan/pdf/180703.pdf
gensim Phrase
https://radimrehurek.com/gensim/models/phrases.html
gensim Phrase
https://radimrehurek.com/gensim/models/phrases.html
コード7区：gensim の Phrases の使い方。頻出する単語ペアを検出－python
http://ailaby.com/phrases/
コード7区：ツイートからユーザ辞書（MeCab や Janome 用）をpython で作ってみる http://ailaby.com/tweet_dict/
Janomeで形態素解析をやってみる。
http://eneprog.blogspot.com/2018/06/janomepython.html
janome Analayzerで複合語（複合名詞）を考慮して形態素解析を行う。
http://eneprog.blogspot.com/2018/07/janome-analayzerpython.html
gensim Phrasesで新語・複合語を探す（python、自然言語処理、機械学習）
https://eneprog.blogspot.com/2018/07/gensim-phrasespython.html

gensim Phrasesで新語・複合語を探す（python、自然言語処理、機械学習）

janome Analayzerで複合語（複合名詞）を考慮して形態素解析を行う。という記事を書きましたが、janome Analyzerでは名詞＋名詞＝複合名詞とするため、「脱炭素」など接頭詞がついたものは名詞とみなされませんでした。

今回は、機械学習ライブラリgensimのPhrasesを使って、複数回出現した単語の組み合わせを複合語として取り出す方法をやってみます。

gensim Phrase
https://radimrehurek.com/gensim/models/phrases.html

下記ブログ記事が大変詳しく解説されていて参考になりました。

コード7区：gensim の Phrases の使い方。頻出する単語ペアを検出－python
http://ailaby.com/phrases/

・インストール

!pip install gensim

gennsimのインストールはpipでできます。

・インポート

from gensim.models.phrases import Phrases , Phraser
from janome.tokenizer import Tokenizer

gensimからPhrasesとPhraserをインポートします。

・サンプル文章（エネルギー基本計画より）

text="""原子力発電所事故の経験、反省と教訓を肝に銘じて取り組むことが原点であるという姿勢は一貫して変わらない。
原子力発電所事故は、周辺国を含む国際社会に大きな不安をもたらしている。
太陽光や風力など変動する再生可能エネルギーはディマンドコントロール、揚水、火力等を用いた調整が必要であり、それだけでの完全な脱炭素化は難しい。
再生可能エネルギー・蓄電・デジタル制御技術等を組み合わせた脱炭素化エネルギーシステムへの挑戦が、幅広い産業を巻き込んで加速しつつある。"""

上記の4文をサンプルにして、Phraserに読ませる形式に変換します。
目標は

[['原子力', '発電', '所', '事故', 'の', '経験'],['変動', 'する', '再生', '可能', 'エネルギー']]

のように、二重リストの中に分かち書きされた各文書が格納されている状態です。

・改行で分割

text_split=text.split("\n")

['原子力発電所事故の経験、反省と教訓を肝に銘じて取り組むことが原点であるという姿勢は一貫して変わらない。',
 '原子力発電所事故は、周辺国を含む国際社会に大きな不安をもたらしている。',
 '太陽光や風力など変動する再生可能エネルギーはディマンドコントロール、揚水、火力等を用いた調整が必要であり、それだけでの完全な脱炭素化は難しい。',
 '再生可能エネルギー・蓄電・デジタル制御技術等を組み合わせた脱炭素化エネルギーシステムへの挑戦が、幅広い産業を巻き込んで加速しつつある。']

・分かち書きしてリストに格納

tokenizer = Tokenizer()
corpus=[]

for text_list in text_split:

    tokens = tokenizer.tokenize(text_list)
    corpus.append([token.surface for token in tokens])
    
print(corpus)

[['原子力', '発電', '所', '事故', 'の', '経験', '、', '反省', 'と', '教訓', 'を', '肝', 'に', '銘じ', 'て', '取り組む', 'こと', 'が', '原点', 'で', 'ある', 'という', '姿勢', 'は', '一貫', 'し', 'て', '変わら', 'ない', '。'], ['原子力', '発電', '所', '事故', 'は', '、', '周辺', '国', 'を', '含む', '国際', '社会', 'に', '大きな', '不安', 'を', 'もたらし', 'て', 'いる', '。'], ['太陽光', 'や', '風力', 'など', '変動', 'する', '再生', '可能', 'エネルギー', 'は', 'ディマンドコントロール', '、', '揚水', '、', '火力', '等', 'を', '用い', 'た', '調整', 'が', '必要', 'で', 'あり', '、', 'それ', 'だけ', 'で', 'の', '完全', 'な', '脱', '炭素', '化', 'は', '難しい', '。'], ['再生', '可能', 'エネルギー', '・', '蓄電', '・', 'デジタル', '制御', '技術', '等', 'を', '組み合わせ', 'た', '脱', '炭素', '化', 'エネルギー', 'システム', 'へ', 'の', '挑戦', 'が', '、', '幅広い', '産業', 'を', '巻き込ん', 'で', '加速', 'し', 'つつ', 'ある', '。']]

janomeで分かち書きして、リスト内包表記でリストに格納しています。

janomeの使い方はこちらをご覧ください。

・準備

tokenizer = Tokenizer()
corpus_phrase=corpus
phrases=""
bigram=""
transformed_bi=[]

・Phrasesで学習、Phraserでモデルを作る

phrases = Phrases(corpus_phrase,min_count=1, threshold=1.0)
bigram = Phraser(phrases)

まず、Phrasesで文章を学習します。

パラメーターでmin_countとthresholdがでてきますが、

• 単語と単語の組み合わせが出現した回数がmin_count以下の場合、無視されます。
• thresholdは閾値で、単語と単語の組み合わせ出現回数、各単語の出現回数などでスコアが決まり、スコアがこの値よりも大きい場合に複合語とされます。

スコアについての詳細は下記をご覧ください。

https://radimrehurek.com/gensim/models/phrases.html#gensim.models.phrases.npmi_scorer

今回は4文章と少ないので、min_count、thresholdともに1とし、2回以上単語の組み合わせが出てきた場合は複合語とみなします。

・phraserで作ったモデルで元の文章を変換

transformed_bi=list(bigram[corpus_phrase])

for words in transformed_bi:
    print(" ".join(words))

原子力_発電 所_事故 の 経験 、 反省 と 教訓 を 肝 に 銘じ て 取り組む こと が 原点 で ある という 姿勢 は 一貫 し て 変わら ない 。
原子力_発電 所_事故 は 、 周辺 国 を 含む 国際 社会 に 大きな 不安 を もたらし て いる 。
太陽光 や 風力 など 変動 する 再生_可能 エネルギー は ディマンドコントロール 、 揚水 、 火力 等_を 用い た 調整 が 必要 で あり 、 それ だけ で の 完全 な 脱_炭素 化 は 難しい 。
再生_可能 エネルギー ・ 蓄電 ・ デジタル 制御 技術 等_を 組み合わせ た 脱_炭素 化 エネルギー システム へ の 挑戦 が 、 幅広い 産業 を 巻き込ん で 加速 し つつ ある 。

モデル（bigram)で元の文章を変換します。複合語とみなした組み合わせはアンダーバーで結ばれています。

ここでは「原子力_発電」「所_事故」「再生_可能」「脱_炭素」などが複合語となりました。2つの単語の組み合わせ（bigram）のみを考慮しているので、「原子力_発電_所」や「再生_可能_エネルギー」とはなっていません。

ここで作った文章(transformed_bi)を用いて、もう一度学習、変換することで3つ（最大4つ）の単語による複合語を見つけることができます。

・trigramを見つける

tri_phrases = Phrases(transformed_bi,min_count=1, threshold=1.0)
trigram=Phraser(tri_phrases)
transformed_tri=list(trigram[transformed_bi])

for words in transformed_tri:
    print(" ".join(words))

原子力_発電_所_事故 の 経験 、 反省 と 教訓 を 肝 に 銘じ て 取り組む こと が 原点 で ある という 姿勢 は 一貫 し て 変わら ない 。
原子力_発電_所_事故 は 、 周辺 国 を 含む 国際 社会 に 大きな 不安 を もたらし て いる 。
太陽光 や 風力 など 変動 する 再生_可能_エネルギー は ディマンドコントロール 、 揚水 、 火力 等_を 用い た 調整 が 必要 で あり 、 それ だけ で の 完全 な 脱_炭素_化 は 難しい 。
再生_可能_エネルギー ・ 蓄電 ・ デジタル 制御 技術 等_を 組み合わせ た 脱_炭素_化 エネルギー システム へ の 挑戦 が 、 幅広い 産業 を 巻き込ん で 加速 し つつ ある 。

「原子力_発電_所_事故」「再生_可能_エネルギー」などができました。

・変換後の文章から複合語を取り出す。

phraseWords=[]

for sentence in transformed_tri:
    for word in sentence:
        if word.find('_') >= 0 and word not in phraseWords:
            p_word=word
            print(p_word)
            phraseWords.append(word)

原子力_発電_所_事故
再生_可能_エネルギー
等_を
脱_炭素_化

再生可能エネルギー、脱炭素化はいいのですが、「等_を」という単語の組み合わせも入っています。これは品詞を考慮せずに特定の単語の組み合わせを複合語としているためです。また、原子力発電所事故は「原子力発電所」で1単語としたいところです。

次回以降、品詞をもとに複合語の判定をしてみます。


参考：
gensim Phrase
https://radimrehurek.com/gensim/models/phrases.html
コード7区：gensim の Phrases の使い方。頻出する単語ペアを検出－python
http://ailaby.com/phrases/

Janomeで形態素解析をやってみる。
http://eneprog.blogspot.com/2018/06/janomepython.html
janome Analayzerで複合語（複合名詞）を考慮して形態素解析を行う。
http://eneprog.blogspot.com/2018/07/janome-analayzerpython.html