package application;
	
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import javax.imageio.ImageIO;

import javafx.application.Application;
import javafx.embed.swing.SwingFXUtils;
import javafx.event.ActionEvent;
import javafx.event.EventHandler;
import javafx.scene.Scene;
import javafx.scene.control.Button;
import javafx.scene.control.TextField;
import javafx.scene.image.WritableImage;
import javafx.scene.input.MouseEvent;
import javafx.scene.layout.HBox;
import javafx.scene.layout.StackPane;
import javafx.scene.paint.Color;
import javafx.scene.robot.Robot;
import javafx.stage.Stage;

public class Main extends Application {

	private Stage 		primaryStage;
    private TextField 	text = new TextField();
	private Robot   robot   = new Robot();
    private double xOffset = 0;
    private double yOffset = 0;
	
	@Override
	public void start(Stage primaryStage) {
		// 退避
		this.primaryStage = primaryStage;
		
		try {
			// Pane
			StackPane	root	= new StackPane();
		    HBox	  	hbox1 	= new HBox();
		    HBox	  	hbox2 	= new HBox();
		    root.getChildren().add( hbox2 );
		    root.getChildren().add( hbox1 );
			root.setStyle("-fx-background-color: rgba(0,0,0,0.3);");
			
	        // 開始ボタン
			Button		btn1	= new Button("キャプチャ");
			EventHandler<ActionEvent>      btn1Handler = ( event ) -> {
				try {
					this.capture();
				} catch (IOException e) {
					e.printStackTrace();
				}
			};
	        btn1.addEventHandler( ActionEvent.ANY , btn1Handler );
	        hbox1.getChildren().add( btn1 );
			
	        // テキストフィールド
	        text.setText( "20" );
	        hbox1.getChildren().add( text );
	        
			// 範囲選択
			EventHandler<MouseEvent> pressHandler = ( event ) -> {
	            xOffset = event.getSceneX();
	            yOffset = event.getSceneY();
			};
	        root.addEventHandler( MouseEvent.MOUSE_PRESSED , pressHandler );
			
			EventHandler<MouseEvent> dragHandler = ( event ) -> {
	            primaryStage.setX(event.getScreenX() - xOffset);
	            primaryStage.setY(event.getScreenY() - yOffset);				
			};
	        root.addEventHandler( MouseEvent.MOUSE_DRAGGED , dragHandler );
	        
	        
			// Scene
			Scene scene = new Scene(root,400,400, Color.TRANSPARENT);
			
			// Stage
			primaryStage.setScene(scene);
			primaryStage.setOpacity( 0.75 );
			primaryStage.show();
		} catch(Exception e) {
			e.printStackTrace();
		}
	}
	

	private void capture() throws IOException
	{		
		// キャプチャ準備
		int time = Integer.parseInt( text.getText() );
		this.primaryStage.hide();

		// 画面サイズを取得
		BufferedImage 	bImg = new BufferedImage((int)this.primaryStage.getWidth(), (int)this.primaryStage.getHeight(), BufferedImage.TYPE_INT_RGB);
		int x = (int) primaryStage.getX();
		int y = (int) primaryStage.getY();
		int width  = (int) primaryStage.getWidth();
		int height = (int) primaryStage.getHeight();

		// アニメーション取得
		List<WritableImage> list = new ArrayList<WritableImage>();
		for( int i = 0 ; i < time ; i++ ) 
		{
			// キャプチャ
			WritableImage 	img		= robot.getScreenCapture(null, x,y,width,height);
			list.add( img );
		}
		
		// ファイル出力
		for( int i = 0 ; i < list.size() ; i++ )
		{
			// ファイル名
			String fileName = String.format( "result/output%03d.png" , i );
			
			// 画像出力
			SwingFXUtils.fromFXImage( list.get(i) , bImg );
			ImageIO.write( bImg , "png" , new File( fileName ) );
		}
		
		// ウィンドウを復元
		primaryStage.show();
		primaryStage.setX( x );
		primaryStage.setY( y );
		primaryStage.setWidth( width );
		primaryStage.setHeight( height );
	}
}

■　WebPとは？

■　WebPライブラリ「webp-imageio」

• sejda-pdf / webp-imageio

• Maven Repository(WebP ImageIO)

■　WebPファイルの読込・表示

package application;
	
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.IOException;

import javax.imageio.ImageIO;
import javax.imageio.ImageReader;
import javax.imageio.stream.FileImageInputStream;

import com.luciad.imageio.webp.WebPReadParam;

import javafx.application.Application;
import javafx.embed.swing.SwingFXUtils;
import javafx.scene.Scene;
import javafx.scene.image.ImageView;
import javafx.scene.image.WritableImage;
import javafx.scene.layout.AnchorPane;
import javafx.stage.Stage;


/**
 * 
 * sejda-pdf/webp-imageio
 *
 *  GitHub
 *  https://github.com/sejda-pdf/webp-imageio
 *  
 *  Maven Repository
 *  https://mvnrepository.com/artifact/org.sejda.imageio/webp-imageio
 *  
 * @author Da@
 *
 */
public class Main extends Application {
	@Override
	public void start(Stage primaryStage) {
		// Scene Graphクラス
	    AnchorPane root = new AnchorPane();

	    // WEBP画像読込
	    WritableImage img = null;
	    try {
	    	// 前準備
		    ImageReader 	reader 	= ImageIO.getImageReadersByMIMEType("image/webp").next();
		    WebPReadParam 	readParam 	= new WebPReadParam();
		    readParam.setBypassFiltering( true );
		    
		    // ファイルを開く
	    	reader.setInput( new FileImageInputStream( new File("img/1.webp") ) );
	    	BufferedImage bimg = reader.read( 0 , readParam );
	    	
	    	// awtからjavaFXへ変換
	    	img = SwingFXUtils.toFXImage( bimg , null );
	    	
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	    
	    // 画像をウィンドウに追加
	    ImageView view = new ImageView( img );
	    root.getChildren().add( view );
	    
	    // Sceneクラス
	    Scene scene = new Scene(root);

	    // Stageクラス
	    primaryStage.setScene(scene);
	    primaryStage.show();
	}
	
	public static void main(String[] args) {
		launch(args);
	}
}

■　WebPファイルの書出

◇サンプルコード

import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;

import javax.imageio.IIOImage;
import javax.imageio.ImageIO;
import javax.imageio.ImageWriteParam;
import javax.imageio.ImageWriter;
import javax.imageio.stream.FileImageOutputStream;

import com.luciad.imageio.webp.WebPWriteParam;

public class Main {

	public static void main(String[] args)
	{
		try {
			// 画像の読み込み
			BufferedImage image = ImageIO.read(new File("img/b50_r.gif"));

			// WebP画像出力
			ImageWriter writer = ImageIO.getImageWritersByMIMEType("image/webp").next();
			
			// 出力設定
			WebPWriteParam writeParam = new WebPWriteParam(writer.getLocale());
			writeParam.setCompressionMode(ImageWriteParam.MODE_EXPLICIT);
			writeParam.setCompressionType("Lossless");
			writer.setOutput(new FileImageOutputStream(new File("img/out.webp")));

			// WebP画像出力
			writer.write(null, new IIOImage(image, null, null), writeParam);
		} catch (IOException e) {
			e.printStackTrace();
		}

	}

}

◇実行結果
出力ファイル：img/out.webp

◇解説
WebPファイルの読込部分は25行目以降である。
出力結果のファイルを確認すると、「webp-imageio」では透過（アルファチャンネル）は実装できている。ただし、アニメーション出力はできていない。オプション設定等があるのかとソースを少し見てみたが、特にアニメーションの実装は見つけられなかったので、おそらく未実装な模様。

■　JavaFXとは？

■　自己完結型アプリケーションにも対応

■　インストール / ダウンロード

1. Java SE Development Kit 17.0.1
2. pleiades (Eclipse 2021 PlatForm)

■　Eclipse設定(プラグインのインストール)

1. 「プログラミング言語」の「Eclipse Java 開発ツール」
2. 「プログラミング言語」の「JavaDoc ヘルプ・フィーチャー」

1. 「一般用ツール」の「e(fx)clipse - IDE」

■　Eclipse設定(インストール済みJDKの関連付け)

■　Eclipse設定(JavaFXライブラリへのパスを定義)

■　プロジェクト作成（ユーザ・ライブラリの関連付け、実行構成）

--module-path "(ダウンロードしたJavaFXのlibフォルダへのフルパス)" --add-modules javafx.controls,javafx.fxml

■　実行

package application;
	
import javafx.application.Application;
import javafx.stage.Stage;
import javafx.scene.Scene;
import javafx.scene.layout.BorderPane;


public class Main extends Application {
	@Override
	public void start(Stage primaryStage) {
		try {
			BorderPane root = new BorderPane();
			Scene scene = new Scene(root,400,400);
			scene.getStylesheets().add(getClass().getResource("application.css").toExternalForm());
			primaryStage.setScene(scene);
			primaryStage.show();
		} catch(Exception e) {
			e.printStackTrace();
		}
	}
	
	public static void main(String[] args) {
		launch(args);
	}
}

■　単語をベクトル化する(Word2Vec)とは？

図：単語空間とword embeding空間のイメージ

■　Word2Vecの技術的な概要

入力層

プロジェクション層

出力層

その他

1. continuous bag-of-words (CBOW) …前後の単語（文脈）から、現在の単語を推測
2. continuous skip-gram…現在の単語から、前後の単語（文脈）を推測。

■　DeepLearning4jでWord2Vecを利用する

■　サンプルプログラム１(word embedingの作成)

import java.io.File;
import java.io.IOException;
import java.util.Collection;

import org.deeplearning4j.models.embeddings.loader.WordVectorSerializer;
import org.deeplearning4j.models.word2vec.Word2Vec;
import org.deeplearning4j.text.sentenceiterator.LineSentenceIterator;
import org.deeplearning4j.text.sentenceiterator.SentenceIterator;
import org.deeplearning4j.text.sentenceiterator.SentencePreProcessor;
import org.deeplearning4j.text.tokenization.tokenizer.TokenPreProcess;
import org.deeplearning4j.text.tokenization.tokenizer.preprocessor.EndingPreProcessor;
import org.deeplearning4j.text.tokenization.tokenizerfactory.DefaultTokenizerFactory;
import org.deeplearning4j.text.tokenization.tokenizerfactory.TokenizerFactory;

/**
 * DeepLearning4jでWord2Vecを行うサンプルプログラム
 * @author karura
 */
public class Word2VecTest1
{

    public static void main(String[] args) throws IOException
    {
        // コーパス(文章集)データの読み込み
        // 読み込み時に文字をすべて小文字に変換する
        System.out.println( "Load data..." );
        File                f       = new File( "input/raw_sentences.txt" );
        SentenceIterator    ite     = new LineSentenceIterator( f );
        ite.setPreProcessor( new SentencePreProcessor()
        {
            @Override
            public String preProcess( String sentence ){ return sentence.toLowerCase(); }
        });
        
        // 文章を単語に分解
        // 分解時に単語を小文字に、半角数を"d"に変換する
        System.out.println( "Tokenize data..." );
        final EndingPreProcessor    preProcessor    = new EndingPreProcessor();
        TokenizerFactory            tokenizer       = new DefaultTokenizerFactory();
        tokenizer.setTokenPreProcessor( new TokenPreProcess()
        {
            @Override
            public String preProcess( String token )
            {
                token       = token.toLowerCase();
                String base = preProcessor.preProcess( token );
                base        = base.replaceAll( "\\d" , "d" );
                return base;
            }
        });
        
        // モデル作成
        System.out.println( "Build model..." );
        int     batchSize   = 1000;         // 1回のミニバッチで学習する単語数
        int     iterations  = 3;
        int     layerSize   = 150;
        
        Word2Vec    vec     = new Word2Vec.Builder()
                .batchSize( batchSize )         // ミニバッチのサイズ
                .minWordFrequency( 5 )          // 単語の最低出現回数。ここで指定した回数以下の出現回数の単語は学習から除外される
                .useAdaGrad( false )            // AdaGradを利用するかどうか
                .layerSize( layerSize )         // 単語ベクトルの次元数。
                .iterations( iterations )       // 学習時の反復回数
                .learningRate( 0.025 )          // 学習率
                .minLearningRate( 1e-3 )        // 学習率の最低値
                .negativeSample( 10 )           //
                .iterate( ite )                 // 文章データクラス
                .tokenizerFactory(tokenizer)    // 単語分解クラス
                .build();
        
        // 学習
        System.out.println( "Learning..." );
        vec.fit();
        
        // モデルを保存
        System.out.println( "Save Model..." );
        WordVectorSerializer.writeWordVectors( vec , "output/words.txt" );
        
        // 評価1(二つの単語の類似性)
        // コサイン距離
        System.out.println( "Evaluate model..." );
        String  word1       = "people";
        String  word2       = "money";
        double  similarity  = vec.similarity( word1 , word2 );
        System.out.println( String.format( "The similarity between 「%s」 and 「%s」 is %f" , word1 , word2 , similarity ) );
        
        // 評価2(ある単語に最も意味が近い言葉)
        String  word        = "day";
        int     ranking     = 10;
        Collection<String>  similarTop10    = vec.wordsNearest( word , ranking );
        System.out.println( String.format( "Similar word to 「%s」 is %s" , word , similarTop10 ) );
        
        
    }

}

Load data...
Tokenize data...
Build model...
03:01:04.530 [main] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 1

…中略…

Save Model...
03:29:28.457 [main] INFO  o.d.m.e.loader.WordVectorSerializer - Wrote 236 with size of 150
Evaluate model...
The similarity between 「people」 and 「money」 is 0.162286
Similar word to 「day」 is [week, night, year, game, season, percent, dur, time, office, former]

dur 0.03706284239888191 -0.3273228108882904 -0.02901708
been 0.07721598446369171 -0.3042716383934021 -0.1655066…
year -0.04181159287691116 -0.28206467628479004 -0.20906…
about -0.3287375867366791 0.03922347351908684 0.0778141…
your -0.2562347650527954 0.08040153235197067 0.49649453…
without -0.3843825161457062 -0.43209001421928406 0.1945…
these 0.359978586435318 -0.2246623933315277 0.170168146…
music -0.09605858474969864 -0.22566641867160797 -0.4158…
…

■　サンプルプログラム２(word embedingの加算・減算)

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collection;
import java.util.List;

import org.deeplearning4j.models.embeddings.wordvectors.WordVectors;

import fastfix.WordVectorSerializerFastFix;

/**
 * DeepLearning4jでWord2Vecを行うサンプルプログラム
 * @author karura
 */
public class Word2VecTest2
{
    public static void main(String[] args) throws IOException
    {
        // 単語ベクトルの読込
        System.out.println( "Load vectors..." );
        File        f       = new File( "output/words.txt" );
        //WordVectors vec     = WordVectorSerializer.loadTxtVectors( f );           // ライブラリにバグあり
        WordVectors vec     = WordVectorSerializerFastFix.loadTxtVectors( f );
        
        // 利用可能な単語を出力
        Collection<String>  words   = vec.vocab().words();
        System.out.println( "利用可能な単語" );
        for( String word : words ){ System.out.println( " " + word ); }
        
        // 単語の足し算
        System.out.println( "単語の足し算" );
        List<String>    positiveList    = Arrays.asList( "i" , "you" );
        List<String>    negativeList    = new ArrayList<String>();
        Collection<String> nearestList  = vec.wordsNearest( positiveList , negativeList , 10 );
        System.out.println( String.format( "%s = %s" , String.join( " + " , positiveList )
                                                     , nearestList ) );
        
        // 単語の足し算・引き算
        System.out.println( "単語の足し算・引き算" );
        positiveList    = Arrays.asList( "company" );
        negativeList    = Arrays.asList( "money" );
        nearestList     = vec.wordsNearest( positiveList , negativeList , 10 );
        System.out.println( String.format( "%s - %s = %s" , String.join( " + " , positiveList )
                                                          , String.join( " + " , negativeList )
                                                          , nearestList ) );
    }

}

Load vectors...
02:28:00.367 [main] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 1
02:28:00.376 [main] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 1

…中略…

利用可能な単語
 dur
 been
 year
 about
 your
 without
 these

…中略…

単語の足し算
i + you = [you, i, we, they, west, former, him, she, $, he]
単語の足し算・引き算
company - money = [company, group, director, man, very, team, general, university, fami, program]

■　サンプルプログラム３(word embedingの可視化)

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import java.util.List;

import org.deeplearning4j.models.embeddings.inmemory.InMemoryLookupTable;
import org.deeplearning4j.models.embeddings.wordvectors.WordVectors;
import org.deeplearning4j.plot.BarnesHutTsne;
import org.nd4j.linalg.api.ndarray.INDArray;

import fastfix.WordVectorSerializerFastFix;

/**
 * DeepLearning4jでWord2Vecを行うサンプルプログラム
 * @author karura
 */
public class Word2VecTest3
{
    public static void main(String[] args) throws IOException
    {
        // 単語ベクトルの読込
        System.out.println( "Load vectors..." );
        File        f       = new File( "output/words.txt" );
        //WordVectors vec     = WordVectorSerializer.loadTxtVectors( f );           // ライブラリにバグあり
        WordVectors vec     = WordVectorSerializerFastFix.loadTxtVectors( f );
        
        // 利用可能な単語を取得
        Collection<String>  words   = vec.vocab().words();
        
        // 単語とベクトル表現を出力
        System.out.println( "単語とそのベクトル表現" );
        Iterator<String>    ite     = words.iterator();
        while( ite.hasNext() )
        {
            // 単語と単語ベクトルを取得
            String              word    = ite.next();
            INDArray            vector  = vec.getWordVectorMatrix( word );
            
            // 標準出力に出力
            System.out.println( String.format( "%s : %s : %s " , word
                                                               , vec.wordsNearest( vector , 5 )
                                                               , vector ) );
        }
        
        // t-SNEを利用して、2次元の表に単語をプロット
        System.out.println( "ploting..." );
        BarnesHutTsne tsne = new BarnesHutTsne.Builder()
                .theta(0.5)
                .learningRate(500)
                .setMaxIter(1000)
                .build();
        InMemoryLookupTable table   = (InMemoryLookupTable) vec.lookupTable();
        List<String>        list    = new ArrayList<String>( vec.vocab().words() );
        tsne.plot( table.getSyn0() , 2 , list , "t-SNE-plot.csv" );
    }

}

18483.431640625	-1694.8656005859	dur	
-7451.63671875	-6846.0444335938	been	
3224.25390625	-14590.3095703125	year	
542.904296875	-3857.8513183594	about	
-7926.5673828125	10782.16796875	your	
…

■　参照

1. 論文「Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation」
2. Wikipedia 「Word2vec」
3. 論文「Efficient Estimation of Word Representations in Vector Space」
4. 論文「Distributed Representations of Words and Phrases and their Compositionality」
5. けんごのお屋敷 「Word2Vec のニューラルネットワーク学習過程を理解する」
6. Johns Hopkins University 「Neural Networks Language Models」
7. Wikipedia 「N-gram」
8. 論文 「Visualizing Data using t-SNE」

ニューラルネットワーク全体（NeuralNetConfiguration.Builder）の設定項目

ニューラルネットワークの層（Layer.Builder）の設定項目

■　参照

1. JavaDoc DeepLearning4j
2. JavaDoc ND4J
3. JavaDoc 「Class Layer.Builder>」
4. DeepLearning4j 公式 「NeuralNetConfiguration Class」
5. JavaDoc 「Enum WeightInit」
6. JavaDoc 「Enum OptimizationAlgorithm」
7. JavaDoc 「Enum Updater」
8. DeepLearning4j 公式 「Deeplearning4j Updaters Explained」
9. 俺とプログラミング 「CNNの学習に最高の性能を示す最適化手法はどれか」
10. JavaDoc 「Enum LossFunctions.LossFunction」

■　ニューラルネットワークとは？

■　学習(誤差逆伝搬法)

図：誤差逆伝搬のイメージ

■　階層型ニューラルネットワーク

■　非階層型ニューラルネットワーク

■　参照

1. 名古屋工業大学 岩田研究室 「ニューラルネットワーク入門」

■　多層パーセプトロンとは？

全結合層

\begin{align}   h_i & = f( \sum_{k=0}^n v_{ik}x_k - \theta ) \\         & = f( v_{i1}x_1 + v_{i2}x_2 + \cdots + v_{in}x_n - \theta )  \end{align}

変数	内容
\(n\)	入力値の個数。各層毎に異なる
\(x_i\)	i番目の入力値(教師データ)
\(v_{ij}\)	各層内のi番目ニューロンで、入力jにかける加重パラメータ（結合荷重）
\(h_i\)	中間層のi番目ニューロンの出力値。（次の層の入力値にもなる）
\(f(x)\)	活性化関数(シグモイド関数が一般的に利用される) \begin{align}   f(x) & = \frac{1}{1+e^{-x}} \end{align}
\(\theta\)	閾値

■　サンプルプログラム

import org.deeplearning4j.nn.api.OptimizationAlgorithm;
import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
import org.deeplearning4j.nn.conf.Updater;
import org.deeplearning4j.nn.conf.layers.DenseLayer;
import org.deeplearning4j.nn.conf.layers.OutputLayer;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.nn.weights.WeightInit;
import org.deeplearning4j.optimize.listeners.ScoreIterationListener;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.DataSet;
import org.nd4j.linalg.factory.Nd4j;
import org.nd4j.linalg.lossfunctions.LossFunctions;

/**
 * XOR計算を行う多層パーセプトロン
 * @author karura
 */
public class MultiPerceptron
{
    // メイン関数
    public static void main(String[] args) throws Exception
    {
        // 変数定義
        int seed        = 123;          // 乱数シード
        int iterations  = 2000;         // 学習の試行回数
        int inputNum    = 2;            // 入力数
        int middleNum   = 10;           // 隠れ層のニューロン数
        int outputNum   = 1;            // 出力数
        INDArray    tIn     = Nd4j.create( new float[]{ 1 , 1 ,             // 入力1
                                                        1 , 0 ,             // 入力2
                                                        0 , 1 ,             // 入力3
                                                        0 , 0 },            // 入力4
                                           new int[]{ 4 , 2 } );            // サイズ
        INDArray    tOut    = Nd4j.create( new float[]{ 0 , 1 , 1 , 0} ,    // 出力1～4
                                           new int[]{ 4 , 1 } );            // サイズ
        DataSet     train   = new DataSet( tIn , tOut );                    // 入出力を対応付けたデータセット
        System.out.println( train );
        
        // ニューラルネットワークを定義
        MultiLayerConfiguration.Builder builder = new NeuralNetConfiguration.Builder()
                .seed(seed)
                .iterations(iterations)
                .learningRate(0.01)
                .weightInit(WeightInit.SIZE)
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .updater( Updater.NONE )
                .list()
                .layer(0, new DenseLayer.Builder()
                        .nIn(inputNum)
                        .nOut(middleNum)
                        .activation("sigmoid").build())
                .layer(1, new OutputLayer.Builder( LossFunctions.LossFunction.MSE )
                        .nIn(middleNum)
                        .nOut(outputNum)
                        .activation("sigmoid")
                        .build())
                .backprop(true).pretrain(false);
        
        // ニューラルネットワークを作成
        MultiLayerConfiguration conf        = builder.build();
        MultiLayerNetwork       perceptron  = new MultiLayerNetwork(conf);
        perceptron.init();
        
        // 確認用のリスナーを追加
        perceptron.setListeners( new ScoreIterationListener(1) );
        
        // 学習(fit)
        perceptron.fit( train );
        
        // パーセプトロンの使用
        for( int i=0 ; i<train.numExamples() ; i++ )
        {
            // i個目のサンプルについて、
            INDArray    input  = train.get(i).getFeatureMatrix();
            INDArray    answer = train.get(i).getLabels();
            INDArray    output = perceptron.output( input , false );
            System.out.println( "result" + i );
            System.out.println( " input  : " + input );
            System.out.println( " output : " + output );
            System.out.println( " answer : " + answer );
            System.out.flush();
            
        }
        
    }
}

20:43:12.444 [main] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 32
20:43:12.476 [main] WARN  org.nd4j.jita.conf.CudaEnvironment - Please note, CudaEnvironment is already initialized. Configuration changes won't have effect

…中略…

===========INPUT===================
[[1.00, 1.00],
 [1.00, 0.00],
 [0.00, 1.00],
 [0.00, 0.00]]
=================OUTPUT==================
[0.00, 1.00, 1.00, 0.00]

…中略…

20:43:41.441 [main] INFO  o.d.o.l.ScoreIterationListener - Score at iteration 1999 is 0.0024183732457458973
result0
 input  : [1.00, 1.00]
 output : 0.09
 answer : 0.00
result1
 input  : [1.00, 0.00]
 output : 0.93
 answer : 1.00
result2
 input  : [0.00, 1.00]
 output : 0.92
 answer : 1.00
result3
 input  : [0.00, 0.00]
 output : 0.04
 answer : 0.00

■　参照

1. ニューラルネットワーク入門

■　GPUの利用方法

1. CUDAのインストール
2. POMファイルの編集

<dependency>
 <groupId>org.nd4j</groupId>
 <artifactId>nd4j-cuda-7.5</artifactId>
 <version>${nd4j.version}</version>
</dependency>

<name>DeepLearning4j Examples</name>
<description>Examples of training different data sets</description>
<properties>
    <nd4j.backend>nd4j-native</nd4j.backend>

<name>DeepLearning4j Examples</name>
<description>Examples of training different data sets</description>
<properties>
    <nd4j.backend>nd4j-cuda-7.5</nd4j.backend>

■　性能比較

■　参照

1. ND4J 公式 「JCublas Backend for GPUs」

■　畳み込みニューラルネットワーク(CNN)とは？

1. 多層パーセプトロンでは入力が1次元であるため、画像のような2次元情報の縦方向のズレに弱い
2. すべての層のニューロンが全結合(前層のニューロンすべてに対して接続する)ため、入力値の個数が多くなるにつれて計算に必要なパラメータ数が多くなりすぎる

畳み込みニューラルネットワークのイメージ

各層の次元(width,height,depth)について

畳み込み層(ConvolutionLayer)

プーリングレイヤー(POOL)

図：プーリング層の動作イメージ

全結合層

■　畳み込みニューラルネットワーク構成上の注意点

■　サンプルプログラム

プログラム

package org.deeplearning4j.examples.convolution;

import org.deeplearning4j.datasets.iterator.impl.MnistDataSetIterator;
import org.deeplearning4j.eval.Evaluation;
import org.deeplearning4j.nn.api.OptimizationAlgorithm;
//import org.deeplearning4j.nn.conf.LearningRatePolicy;
import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
import org.deeplearning4j.nn.conf.Updater;
import org.deeplearning4j.nn.conf.layers.ConvolutionLayer;
import org.deeplearning4j.nn.conf.layers.DenseLayer;
import org.deeplearning4j.nn.conf.layers.OutputLayer;
import org.deeplearning4j.nn.conf.layers.SubsamplingLayer;
import org.deeplearning4j.nn.conf.layers.setup.ConvolutionLayerSetup;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.nn.weights.WeightInit;
import org.deeplearning4j.optimize.listeners.ScoreIterationListener;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.DataSet;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.nd4j.linalg.lossfunctions.LossFunctions;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Created by agibsonccc on 9/16/15.
 */
public class LenetMnistExample {
    private static final Logger log = LoggerFactory.getLogger(LenetMnistExample.class);

    public static void main(String[] args) throws Exception {
        int nChannels = 1;
        int outputNum = 10;
        int batchSize = 64;
        int nEpochs = 10;
        int iterations = 1;
        int seed = 123;

        log.info("Load data....");
        DataSetIterator mnistTrain = new MnistDataSetIterator(batchSize,true,12345);
        DataSetIterator mnistTest = new MnistDataSetIterator(batchSize,false,12345);

        log.info("Build model....");
        MultiLayerConfiguration.Builder builder = new NeuralNetConfiguration.Builder()
                .seed(seed)
                .iterations(iterations)
                .regularization(true).l2(0.0005)
                .learningRate(0.01)//.biasLearningRate(0.02)
                //.learningRateDecayPolicy(LearningRatePolicy.Inverse).lrPolicyDecayRate(0.001).lrPolicyPower(0.75)
                .weightInit(WeightInit.XAVIER)
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .updater(Updater.NESTEROVS).momentum(0.9)
                .list()
                .layer(0, new ConvolutionLayer.Builder(5, 5)
                        .nIn(nChannels)
                        .stride(1, 1)
                        .nOut(20)
                        .activation("identity")
                        .build())
                .layer(1, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
                        .kernelSize(2,2)
                        .stride(2,2)
                        .build())
                .layer(2, new ConvolutionLayer.Builder(5, 5)
                        .nIn(nChannels)
                        .stride(1, 1)
                        .nOut(50)
                        .activation("identity")
                        .build())
                .layer(3, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
                        .kernelSize(2,2)
                        .stride(2,2)
                        .build())
                .layer(4, new DenseLayer.Builder().activation("relu")
                        .nOut(500).build())
                .layer(5, new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD)
                        .nOut(outputNum)
                        .activation("softmax")
                        .build())
                .backprop(true).pretrain(false);
        new ConvolutionLayerSetup(builder,28,28,1);

        MultiLayerConfiguration conf = builder.build();
        MultiLayerNetwork model = new MultiLayerNetwork(conf);
        model.init();


        log.info("Train model....");
        model.setListeners(new ScoreIterationListener(1));
        for( int i=0; i<nEpochs; i++ ) {
            model.fit(mnistTrain);
            log.info("*** Completed epoch {} ***", i);

            log.info("Evaluate model....");
            Evaluation eval = new Evaluation(outputNum);
            while(mnistTest.hasNext()){
                DataSet ds = mnistTest.next();
                INDArray output = model.output(ds.getFeatureMatrix(), false);
                eval.eval(ds.getLabels(), output);
            }
            log.info(eval.stats());
            mnistTest.reset();
        }
        log.info("****************Example finished********************");
    }
}

実行結果

19:06:10.904 [main] INFO  LenetMnistExample - Load data....


19:06:16.289 [main] INFO  LenetMnistExample - Build model....
19:06:27.122 [main] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 1
19:06:27.122 [main] DEBUG org.nd4j.nativeblas.NativeOps - N

…中略…

19:19:51.393 [main] INFO  LenetMnistExample - *** Completed epoch 0 ***
19:19:51.393 [main] INFO  LenetMnistExample - Evaluate model....
19:20:52.961 [main] INFO  LenetMnistExample - 
Examples labeled as 0 classified by model as 0: 971 times
Examples labeled as 0 classified by model as 1: 1 times
Examples labeled as 0 classified by model as 2: 2 times
Examples labeled as 0 classified by model as 6: 4 times
Examples labeled as 0 classified by model as 7: 2 times
Examples labeled as 1 classified by model as 1: 1124 times

…中略…

==========================Scores========================================
 Accuracy:  0.979
 Precision: 0.9789
 Recall:    0.9789
 F1 Score:  0.9789
========================================================================
…略

解説

■　参照

1. CS231n Convolutional Neural Networks for Visual Recognition「Convolutional Neural Networks (CNNs / ConvNets)」
2. Deeplearning4j 公式 「 Convolutional Networks in Java」

■　プログラム１(画像認識ニューラルネットワークの構築・学習)

プログラム

import java.io.File;

import org.deeplearning4j.datasets.iterator.impl.MnistDataSetIterator;
import org.deeplearning4j.eval.Evaluation;
import org.deeplearning4j.nn.api.OptimizationAlgorithm;
//import org.deeplearning4j.nn.conf.LearningRatePolicy;
import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
import org.deeplearning4j.nn.conf.Updater;
import org.deeplearning4j.nn.conf.layers.ConvolutionLayer;
import org.deeplearning4j.nn.conf.layers.DenseLayer;
import org.deeplearning4j.nn.conf.layers.OutputLayer;
import org.deeplearning4j.nn.conf.layers.SubsamplingLayer;
import org.deeplearning4j.nn.conf.layers.setup.ConvolutionLayerSetup;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.nn.weights.WeightInit;
import org.deeplearning4j.optimize.listeners.ScoreIterationListener;
import org.deeplearning4j.util.ModelSerializer;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.DataSet;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.nd4j.linalg.lossfunctions.LossFunctions;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Created by agibsonccc on 9/16/15.
 * 
 * score    … 誤差の取得
 * output   … ニューラルネットの処理結果を取得
 */
public class LenetMnistExample {
    private static final Logger log = LoggerFactory.getLogger(LenetMnistExample.class);

    public static void main(String[] args) throws Exception
    {
        // 変数定義
        int nChannels   = 1;            // 入力画像のチャンネル数
        int outputNum   = 10;           // 出力クラス数(0～9の10クラス)
        int batchSize   = 64;           // バッチ(Size of each patch)
        int nEpochs     = 10;           // 学習世代数
        int iterations  = 1;            // 各学習世代で学習を繰り返す回数
        int seed        = 123;
        
        // データ準備
        log.info("Load data....");
        DataSetIterator mnistTrain  = new MnistDataSetIterator(batchSize,true,12345);   // 学習データ。
        DataSetIterator mnistTest   = new MnistDataSetIterator(batchSize,false,12345);  // テストデータ。
        
        // 畳み込みニューラルネットワークを定義
        log.info("Build model....");
        MultiLayerConfiguration.Builder builder = new NeuralNetConfiguration.Builder()
                .seed(seed)
                .iterations(iterations)
                .regularization(true).l2(0.0005)
                .learningRate(0.01)
                .weightInit(WeightInit.XAVIER)
                .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
                .updater(Updater.NESTEROVS).momentum(0.9)
                .list()
                .layer(0, new ConvolutionLayer.Builder(5, 5)
                        .nIn(nChannels)
                        .stride(1, 1)
                        .nOut(20)
                        .activation("identity")
                        .build())
                .layer(1, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
                        .kernelSize(2,2)
                        .stride(2,2)
                        .build())
                .layer(2, new ConvolutionLayer.Builder(5, 5)
                        .nIn(nChannels)
                        .stride(1, 1)
                        .nOut(50)
                        .activation("identity")
                        .build())
                .layer(3, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
                        .kernelSize(2,2)
                        .stride(2,2)
                        .build())
                .layer(4, new DenseLayer.Builder().activation("relu")
                        .nOut(500).build())
                .layer(5, new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD)
                        .nOut(outputNum)
                        .activation("softmax")
                        .build())
                .backprop(true).pretrain(false);
        new ConvolutionLayerSetup(builder,28,28,1);
        
        // 畳み込みニューラルネットワークを作成
        MultiLayerConfiguration conf    = builder.build();
        MultiLayerNetwork       model   = new MultiLayerNetwork(conf);
        model.init();
        
        // 学習開始
        log.info("Train model....");
        model.setListeners(new ScoreIterationListener(1));
        for( int i=0; i<nEpochs; i++ )
        {
            // 学習の実施(fit)
            model.fit(mnistTrain);
            log.info("*** Completed epoch {} ***", i);

            log.info("Evaluate model....");
            Evaluation eval = new Evaluation(outputNum);
            while(mnistTest.hasNext())
            {
                DataSet     ds      = mnistTest.next();
                INDArray    output  = model.output(ds.getFeatureMatrix(), false);
                eval.eval(ds.getLabels(), output);
            }
            log.info(eval.stats());
            mnistTest.reset();
        }
        log.info("****************Example finished********************");
        
        // ファイル出力
        File    f2   = new File( "output/CNN.fdfsdf" );
        ModelSerializer.writeModel( model , f2 , true );
        
        
    }
}

実行結果

解説

1. 28x28ピクセルのMnistデータベースを利用
2. 学習データ(mnistTrain)は6万個
3. 学習データは64個で1つのミニバッチを構成し、ミニバッチ単位で学習を実施(計937回)
4. 3を1試行と捉え、それを10回(nEpoochs回)繰り返し実施

■　プログラム２(画像認識GUIプログラムにおけるニューラルネットワークの利用)

リソース

プログラム

import java.io.File;
import java.io.IOException;
import java.nio.IntBuffer;

import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.util.ModelSerializer;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.factory.Nd4j;

import javafx.application.Application;
import javafx.event.ActionEvent;
import javafx.scene.Scene;
import javafx.scene.canvas.Canvas;
import javafx.scene.canvas.GraphicsContext;
import javafx.scene.control.Button;
import javafx.scene.image.WritableImage;
import javafx.scene.image.WritablePixelFormat;
import javafx.scene.input.MouseEvent;
import javafx.scene.layout.BorderPane;
import javafx.scene.layout.Pane;
import javafx.scene.layout.VBox;
import javafx.scene.paint.Color;
import javafx.stage.Stage;

/**
 * 手書き文字の認識テスト・プログラム
 * @author karura
 */
public class App extends Application
{
    public static void main(String[] args) {
        launch(args);
    }
    
    @Override
    public void start(Stage primaryStage) {
        try {
            // シーングラフの構成
            BorderPane  root = new BorderPane();
            root.setCenter( createCanvas() );
            
            // ウィンドウの表示
            Scene scene = new Scene(root,100,100);
            primaryStage.setScene(scene);
            primaryStage.show();
        } catch(Exception e) {
            e.printStackTrace();
        }
    }
    
    protected Pane createCanvas()
    {
        // 戻り値の作成
        int     width   = 28;
        int     height  = 28;
        VBox    layout  = new VBox();
        Canvas  canvas  = new Canvas( width , height );
        Button  btnInit = new Button( "init" );
        Button  btnParse= new Button( "parse" );
        layout.getChildren().add( canvas );
        layout.getChildren().add( btnInit );
        layout.getChildren().add( btnParse );
        
        // 初期化
        GraphicsContext g   = canvas.getGraphicsContext2D();
        g.setFill( Color.WHITE );
        g.fillRect( 0 , 0 , width , height );
        
        // クリック押下時に描画するイベントを追加
        canvas.addEventHandler( MouseEvent.ANY , e ->
        {
            // 描画色を宣言
            Color   col     = null;
            
            // 描画色を決定
            switch( e.getButton() )
            {
            case PRIMARY    : col   = Color.BLACK; break;
            case SECONDARY  : col   = Color.WHITE; break;
            default         : return;
            }
            
            // グラフィックス・コンテキストの取得
            GraphicsContext g1  = canvas.getGraphicsContext2D();
            
            // 押下場所の色を変更
            g1.setFill( col );
            g1.fillRect( e.getX() , e.getY() ,  3 , 3 );
            
        });
        
        // ボタン押下時にキャンバスを初期化するイベントを追加
        btnInit.addEventHandler( ActionEvent.ANY , e -> 
        {
            // キャンバス初期化
            GraphicsContext g2   = canvas.getGraphicsContext2D();
            g2.setFill( Color.WHITE );
            g2.fillRect( 0 , 0 , width , height );
        });
        
        // ボタン押下時にキャンバスの内容を解析するイベントを追加
        btnParse.addEventHandler( ActionEvent.ANY , e ->
        {
            // 入力画像を解析する
            WritableImage   img = canvas.snapshot( null , null );
            parse( img );
        });
        
        // 戻り値を返す
        return layout;
    }
    
    protected void parse( WritableImage img )
    {
        // 構築済みニューラルネットワークの読込
        File                f       = new File( "output/CNN.fdfsdf" );
        MultiLayerNetwork   model   = null;
        try {
            // ファイルから読込
            model   = ModelSerializer.restoreMultiLayerNetwork( f );
        } catch (IOException e) { e.printStackTrace(); }
        
        // 画像を変換
        WritablePixelFormat<IntBuffer>  format  = WritablePixelFormat.getIntArgbInstance();
        int                             size    = (int) (img.getWidth() * img.getHeight());
        int[]                           pixels  = new int[ size ];
        img.getPixelReader().getPixels( 0 , 0 , (int)img.getWidth() , (int)img.getHeight() ,
                                        format , pixels, 0 , (int)img.getWidth() );
        INDArray    input   = Nd4j.create( 1 , size );
        for( int i=0 ; i<size ; i++ )
        {
            // b成分のみ抽出
            // 黒が透明部分、白が文字部分になるように色を反転
            int pixel   = 0xFF - ( pixels[ i ] & 0xFF );
            input.put( 0 , i , pixel );
        }
        
        // 解析を実行
        INDArray    output  = model.output( input , false );
        System.out.println( "[output]" );
        System.out.println( output );
    }
}

実行結果

 

17:45:09.599 [JavaFX Application Thread] DEBUG org.nd4j.nativeblas.NativeOps - Number of threads used for linear algebra 1

…中略…

[output]
[0.00, 0.00, 1.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00]

解説

■　参照

1. DeepLearning4j 「Convolutional Networks」