ラベル Unity の投稿を表示しています。 すべての投稿を表示
ラベル Unity の投稿を表示しています。 すべての投稿を表示

2021年8月16日月曜日

Unityアセット「MIDI Plugin for Mobile devices」をリリースしました

Unity向けプラグインをアセットストアにてリリースしました。 
この記事ではプラグインの機能について紹介します。

機能

このプラグインはMIDIイベントの送受信機能をUnityのモバイル(iOS/Android)プロジェクトに追加します。
  • MIDIイベントの受信と送信
    • MIDI 1.0に定義されている、全ての種類のMIDIメッセージを扱うことができます。
  • USB MIDI
    • Android のみ
  • Bluetooth MIDI (BLE MIDI)
    • iOS と Android
  • Apple Network MIDI (RTP-MIDI)
    • iOS のみ

Android ベースの VRデバイスにも対応

プラグインはOculus Quest 2のような、AndroidベースのVRデバイスでも動作します。実世界のMIDI機器と呼応するVRオブジェクトを簡単に作成できます。VR世界のキューブを指したときにMIDIモジュールから音を出したり、その逆に実世界のMIDIキーボードを演奏したときにVR上のオブジェクトに反応させることができます。

サンプルシーンを試す

プラグインのインストール

  • Unity Asset Storeからプラグインをインストールします。
  • iOS または Androidのプラットフォームを選択し、サンプルシーンを含めてビルドします。
    • サンプルシーン 「MidiSampleScene.unity」は Assets/MIDI/Samples/Scenes ディレクトリにあります。
    • プラグインはUnity Editorでは動かないので、アプリバイナリをビルドして、実際のデバイスにインストールする必要があります。

MidiSampleScene

アプリでサンプルシーンを開くと、いくつかのGUIが現われます。
左のウィンドウではMIDIデバイスを選択し、いくつかのMIDIメッセージを送信できます。
右のウィンドウでは受信したMIDIメッセージが確認できます。

MIDIデバイスとの接続

  • Android
    • USB / Bluetooth MIDIデバイスは自動的に発見、接続されてGUIの「Device」のリストに表示されます。
  • iOS
    • Apple Network MIDIデバイスは自動的に接続され、GUIの「Device」のリストに表示されます。
    • アプリが起動したときにBluetooth MIDIデバイスを選択します。
これらの初期化処理は MidiManager クラスの InitializeMidi メソッドに実装されています。

private void Awake()
{
// Register an GameObject to receive MIDI events
MidiManager.Instance.RegisterEventHandleObject(gameObject);
// Initialize MidiManager
MidiManager.Instance.InitializeMidi(() =>
{
// Start to scan Bluetooth LE MIDI devices
MidiManager.Instance.StartScanBluetoothMidiDevices(0); // 0: scans infinite
});
}
view raw initialize.cs hosted with ❤ by GitHub
新しい機器の接続 / 切断 のイベントは IMidiDeviceEventHandler インタフェースを実装することで受信できます。
デバイス名はMidiManager クラスの GetDeviceName メソッドで取得できます。デバイス名をまだ受信できていない場合、空(null)になっている場合があります。
public void OnMidiInputDeviceAttached(string deviceId)
{
// will be called when a new Input device connected
// Input device can receive MIDI events
}
public void OnMidiOutputDeviceAttached(string deviceId)
{
// will be called when a new Output device connected
// Output device can send MIDI events
Debug.Log($"MIDI device attached. deviceId: {deviceId}, name: {MidiManager.Instance.GetDeviceName(deviceId)}");
}
public void OnMidiInputDeviceDetached(string deviceId)
{
// will be called when a Input device disconnected
}
public void OnMidiOutputDeviceDetached(string deviceId)
{
// will be called when a Output device disconnected
Debug.Log($"MIDI device detached. deviceId: {deviceId}, name: {MidiManager.Instance.GetDeviceName(deviceId)}");
}
view raw deviceConnection.cs hosted with ❤ by GitHub

MIDI イベントの送信

MIDIイベントの送信処理のコードはこのように記述します。 
if (GUILayout.Button("NoteOn"))
{
// Sending MIDI Note On event when the button clicked
MidiManager.Instance.SendMidiNoteOn(deviceIds[deviceIdIndex], 0, channel, noteNumber, velocity);
}
view raw sendMidi.cs hosted with ❤ by GitHub

MIDI イベントの受信

MIDIイベントの受信処理のコードはこのように記述します。
public class MidiSampleScene : MonoBehaviour, IMidiNoteOnEventHandler, IMidiDeviceEventHandler
{
// Event Handler called on MIDI Note On event received
public void OnMidiNoteOn(string deviceId, int group, int channel, int note, int velocity)
{
Debug.Log($"OnMidiNoteOn channel: {channel}, note: {note}, velocity: {velocity}");
}
...
}
view raw receiveMidi.cs hosted with ❤ by GitHub

オープンソース

パッケージ内のいくつかの部分はオープンソースプロジェクトです。以下のリストはパッケ0ージの依存ライブラリです。
全てのリポジトリは自作のものです。機能のリクエストや不具合報告など、githubにてお気軽にご連絡ください。
ラベル: , , , , , , ,
0 件のコメント:

2021年8月14日土曜日

Published Unity asset: MIDI Plugin for Mobile devices

I published a new plugin asset for Unity at the Store. 
This article explains about this plugin's features.

Features

This plugin enables MIDI event transceive functions to mobile Unity project(iOS/Android)
  • MIDI Event Receiving and Sending
    • The plugin can treat the all kind of MIDI events defined in MIDI 1.0.
  • USB MIDI
    • Android only
  • Bluetooth MIDI (BLE MIDI)
    • both of iOS and Android
  • Apple Network MIDI (RTP-MIDI)
    • iOS only

Works with Android-based VR devices

This plugin also work with Android-based VR devices, such as Oculus Quest 2. It can easily create app that VR objects interact with real MIDI instruments. When I pointed an cube in the VR world, the real-world MIDI module plays a sound. And vice versa, When I play real-world keyboard, the VR objects will be interacted with playing MIDI note.

How to try with a sample scene

Install the plugin

  • Install the plugin from Unity Asset Store.
  • Select the app's platform; iOS or Android, and build the app with sample scene.
    • The sample scene 'MidiSampleScene.unity' is found at Assets/MIDI/Samples/Scenes directory.
    • The plugin doesn't work with Unity Editor, so you should build the app binary and install it into the real devices.

MidiSampleScene

Start app with Sample scene, some GUI will be appeared.
The left window is for selecting MIDI device, and sending some MIDI messages.
The right window is for viewing received MIDI messages.

Connect with MIDI devices

  • Android
    • USB / Bluetooth MIDI devices will be automatically detected, connected, and displayed on GUI 'Device' list.
  • iOS
    • Apple Network MIDI devices are automatically connected and displayed on GUI 'Device' list.
    • Select Bluetooth MIDI devices at the first time the app launched.
These initializations are implemented at InitializeMidi method in MidiManager class.

private void Awake()
{
// Register an GameObject to receive MIDI events
MidiManager.Instance.RegisterEventHandleObject(gameObject);
// Initialize MidiManager
MidiManager.Instance.InitializeMidi(() =>
{
// Start to scan Bluetooth LE MIDI devices
MidiManager.Instance.StartScanBluetoothMidiDevices(0); // 0: scans infinite
});
}
view raw initialize.cs hosted with ❤ by GitHub
New connection / disconnection events can be received by implementing IMidiDeviceEventHandler interface.
The device's name can be got from GetDeviceName method in MidiManager class. The device's name may sometimes empty(null) if the name has not noticed yet.
public void OnMidiInputDeviceAttached(string deviceId)
{
// will be called when a new Input device connected
// Input device can receive MIDI events
}
public void OnMidiOutputDeviceAttached(string deviceId)
{
// will be called when a new Output device connected
// Output device can send MIDI events
Debug.Log($"MIDI device attached. deviceId: {deviceId}, name: {MidiManager.Instance.GetDeviceName(deviceId)}");
}
public void OnMidiInputDeviceDetached(string deviceId)
{
// will be called when a Input device disconnected
}
public void OnMidiOutputDeviceDetached(string deviceId)
{
// will be called when a Output device disconnected
Debug.Log($"MIDI device detached. deviceId: {deviceId}, name: {MidiManager.Instance.GetDeviceName(deviceId)}");
}
view raw deviceConnection.cs hosted with ❤ by GitHub

Sending MIDI events

The implementation for sending MIDI events will be like this. 
if (GUILayout.Button("NoteOn"))
{
// Sending MIDI Note On event when the button clicked
MidiManager.Instance.SendMidiNoteOn(deviceIds[deviceIdIndex], 0, channel, noteNumber, velocity);
}
view raw sendMidi.cs hosted with ❤ by GitHub

Receiving MIDI events

The implementation for receiving MIDI events will be like this.
public class MidiSampleScene : MonoBehaviour, IMidiNoteOnEventHandler, IMidiDeviceEventHandler
{
// Event Handler called on MIDI Note On event received
public void OnMidiNoteOn(string deviceId, int group, int channel, int note, int velocity)
{
Debug.Log($"OnMidiNoteOn channel: {channel}, note: {note}, velocity: {velocity}");
}
...
}
view raw receiveMidi.cs hosted with ❤ by GitHub

Open Source

Some parts of this package are Open Source project. The below list are dependency libraries in the package.
All repositories below are owned by me, feel free to feature request or issue reporting.
ラベル: , , , , , , ,
0 件のコメント:
登録: 投稿 (Atom)