NOMN

Speculative Audio Tools
← ツール

NOMN: 時間的微細構造エンハンサー

Late 2026 / Patent Pending
よくある質問
NOMNがオーディオに対して行うこと
デジタル合成とデジタル再生は、それ自体ではタイミング変動を加えない。あらゆる音響音源とあらゆるアナログトランスポートは変動を加える。NOMNは、声から学習したタイミング変動の層を加える。

我々の計測では、録音されたフルートとバイオリンは周期ごとに0.25 %、歌声は0.74 %、話し声は2.5 %変動する。テープマシンとターンテーブルは、再生するものすべてにそれ自体のドリフトを加える。合成音の変動は0.02 %で、これは計測の下限であり、ドラムマシンやサンプラーは各ヒットを正確に繰り返す(あるヒットと次のヒットの波形相関は1.000000)。声の録音は声自体の変動を保持し、デジタルチェーンはそれに何も加えない。

NOMNは二つの層で働く。ドリフト層は信号全体をゆっくりと、テープやレコードプレーヤーの運動の範囲で動かす。微細タイミング層は数マイクロ秒の変動を加え、それは聴覚科学が時間微細構造(TFS)と呼ぶスケールにある(後述の「時間微細構造」を参照)。どちらの層も、人間の声で学習したモデルによってライブで生成される。学習素材は多言語の録音音声と、喉頭における声帯の開閉を周期ごとに計測する電気声門図記録である。どちらの層もループしない。Juicinessは両方の層の深さを設定する。微細タイミング量は微細タイミング層をスケールする。
NOMNがオーディオをどれだけ動かすか
Juicinessは両方の層の深さを設定し、微細タイミング量は微細タイミング層をゼロから最終列の値までスケールする。合成テスト音で計測した値は次のとおりである。

Juiciness ドリフト層、RMS 速度偏差として セント値、RMS 微細タイミング層
0.25 25 µs 0.015 % 0.26 1.0 µs
0.5 51 µs 0.029 % 0.50 1.5 µs
1.0 101 µs 0.054 % 0.93 2.5 µs
2.5 252 µs 0.134 % 2.32 5.8 µs
5.0 505 µs 0.268 % 4.63 11.4 µs
10.0 1,008 µs 0.535 % 9.23 20.3 µs
テープモデル 149 µs 0.068 % 1.18 0.0 µs
レコードプレーヤーモデル 306 µs 0.116 % 2.00 0.0 µs


速度偏差は、ワウ・フラッター計が表示する値である。ドリフト層はゆっくり動く(その運動の90 %は1.7 Hz未満)。微細タイミング層はより速く動き(その運動の90 %は15.9 Hz未満)、Juiciness 1では40分の1の大きさである(2.5 µs対101 µs)。両方の層はそれぞれのコントロールに比例してスケールする。レベルはどの設定でも変わらない。
NOMNとトレモロ、コーラス、テープエミュレーション
タイミング変調は古くからあるDSPの基本要素である。テープのワウ・フラッターは1930年代からアナログオーディオを変調してきた。グラニュラー合成は1970年代から10 ms未満の領域で働いてきた。コーラスプラグインは1990年代からサブサンプル単位の時変遅延を用いてきた。

NOMNは運動の源において異なり、その違いは計測可能である。トレモロやコーラスはLFOで駆動される。テープおよびレコードプレーヤーのエミュレーションはトランスポートの機構に従う。すなわち1回転に1回、キャプスタンの回転率である。ヒューマナイザーはフィルタ処理したランダムノイズを用いる。NOMNの運動は声で学習したモデルから来る。

我々は、その違いがオーディオに現れるかを検証した。長さ3分の定常的な合成音一つを各処理に通し、そのタイミングを音の位相から読み取り、運動の形だけが評価されるように大きさを取り除き、分類器に、学習に用いていない録音区間で処理を言い当てさせた。LFO、我々のテープモデル、我々のレコードプレーヤーモデル、オープンソースのCHOW Tape Modelプラグイン、ガウス型および1/fのヒューマナイザーノイズのそれぞれに対して、各比較で区間は52回中52回正しく言い当てられた。LFO、テープマシン、レコードプレーヤーの運動は一種類、すなわち速度の変化である。NOMNはそれに加えて微細タイミング層をもつ。

この検証は、NOMNが別個の処理であることを立証する。聴取者の好みは検証していない。計測値、方法、オーディオ例はこのページにある。
なぜ声をモデルとするのか
テープおよびレコードプレーヤーのエミュレーションは、二つの機械の挙動を再現する。レコードがドリフトするのは、スピンドル穴が中心からずれており、プラッターが毎分33⅓回転するからである。テープトランスポートは、キャプスタンとリールの回転率でドリフトする。我々は両方のモデルを計測した。その運動は周期的で、ほぼ全体が1 Hz未満にあり、速度の変化である。トランスポートは信号全体を速めるか遅くするかしかできないからである。聴取者はその運動を評価しており、その愛着は二つの特定のメディアの音に対するものである。

NOMNの変動は身体から来る。そのモデルは、多言語の録音音声と声帯の電気声門図記録からタイミングを学習した。声は回転率をもたない音源である。103言語にわたって、我々はこのスケールのタイミングがほぼ同じであることを見出した。これは、それがいずれか一つの言語よりも声の物理に属することを示唆する。我々の計測では、トランスポートのドリフトが周期的であるのに対してNOMNのドリフトは非周期的であり、またNOMNは時間微細構造のスケールにある微細タイミング層をもつ。トランスポートにはこの層がない。

タイミング変動が聴取者にとって重要であるなら(アナログトランスポートへの長い愛着はそうであることを示唆する)、加える変動の候補の一つは、声が生み出す種類の変動を、聴覚が働く分解能で加えることである。大きさの点でNOMNは同じ範囲をカバーする。Juiciness 1でのドリフトは速度で0.054 %であり、我々のテープモデルの0.068 %と並ぶ。好みを立証する聴取試験はまだ行っておらず、行った際には公表する。

エミュレーションは過去の機器からモデルを取る。我々は、聴覚について、また音を生み出す身体について知られていることからツールが設計されることを望む。
マイクロ秒のタイミングと音楽的JND
音楽認知研究は、音と音の間で報告可能な最小のタイミング差を10から50 msとしている。これは可聴性に対する批判として最もよく見られる形である。

音楽的タイミングのJND(丁度可知差異)の閾値は、聴取者が強制選択課題でずれを意識的に識別できるまでに、ある音を別の音に対してどれだけ動かす必要があるかを計測する。それはタイミング差がいつラベル付けできるようになるかを教える。聴覚系が時間を処理する分解能を与えるものではない。

聴覚系の時間分解能は1,000から5,000倍細かい(10 µs対10から50 ms)。確立した証拠の系統が二つある。

両耳経路は、約10 µsの両耳間時間差(ITD)を分解する。Klumpp & Eady (1956, J. Acoust. Soc. Am. 28: 859-860) は、10人の聴取者について、帯域制限ノイズで9 µs、1000 Hzの純音で11 µsという平均ITD弁別閾を計測した。Brughera, Dunai & Hartmann (2013, J. Acoust. Soc. Am. 133: 2839-2855) は、700から1000 Hzで10 µsをわずかに上回る閾値を確認した。内側上オリーブのニューロンは、各耳からの位相同期したスパイクに対して同時検出を行う。聴取者が通常出会う最大のITDは、真横からの音の場合で600から700 µsであり、両耳間の距離によって決まる。聴取者は正中線付近で約1度の角度差を分解する (Mills 1958, J. Acoust. Soc. Am. 30: 237-246)。KlumppとEadyの計測は1956年のものである。

単耳経路は、聴覚神経科学が時間微細構造(TFS)と呼ぶものを通じて、音のミリ秒未満の構造を符号化する。TFSとは各蝸牛周波数帯域内の急速な波形振動であり、それに重畳するより遅い包絡(ENV)とは区別される (Moore 2008, J. Assoc. Res. Otolaryngol. 9: 399-406)。TFSは、数キロヘルツまでの成分について波形の個々の周期に位相同期する聴神経スパイクのタイミングによって伝えられる (Palmer & Russell 1986, Hearing Research 24: 1-15)。これは聴覚末梢が時間を符号化する仕組みの標準的なモデルである。

聴覚系はTFSを、複合音のピッチ、変動する背景雑音下の音声、音源の分離に用いる。Smith, Delgutte & Oxenham (2002, Nature 416: 87-90) は、ある信号の包絡を別の信号のTFSと組み合わせた「キメラ」音を作り、聴取者はTFSからピッチと音源位置を知覚した。TFS符号化は、ヘッドフォンやスピーカーで再生される録音音楽を含め、蝸牛が受け取るあらゆるものに適用される。それは連続的に、意識的な報告なしに働く。音楽的JNDの研究がそれを計測しないのはそのためである。JNDが計測するのは、その処理について聴取者が報告できることである。

我々の問いは、人間が聴くためのオーディオを生成する技術が、それが奉仕する感覚系の分解能で動作すべきかどうかである。統制された試験におけるA/B弁別は別の問いである。

オーディオ業界は、最初の問いに何十年も同じ答えを出してきた。スタジオは、特定のトラックで聴取者がそれらのレートを48 kHzと区別できるかどうかにかかわらず、制作チェーンがシステムの限界付近でアーティファクトを生じないように、96 kHzや192 kHzで録音する。マスタリングエンジニアは、クロックが決して制約要素にならないよう、ワードクロックのジッターを古典的な可聴閾値を大きく下回る値に指定する。

NOMNは同じ原則に従う。デジタルクロックで再生される合成音源は、我々が計測したどの音響音源よりもタイミング変動が小さい。録音された楽器や声の0.25 %から2.5 %に対して、周期ごとに0.02 %である。業界はすでにサンプルレート、ビット深度、ジッター、レイテンシ、周波数特性、歪みを聴覚の分解能に合わせて設計している。我々は同じ実践をタイミング変動に適用する。そこでも関係する量は意識的なラベル付けの閾値より下にある。

音源定位と、雑踏の中での声の分離は、どちらも音楽的JNDよりはるかに細かい時間分解能に依存する。
時間微細構造
時間微細構造(TFS)は聴覚神経科学の標準用語であり、蝸牛が聴神経に渡すミリ秒未満の急速な波形情報を指し、その上に乗るより遅い包絡(ENV)とは区別される。蝸牛は広帯域の音を狭帯域の信号に分解し、各狭帯域信号は、より速い搬送波、すなわち微細構造の上の緩やかに変化する包絡として記述できる。どちらも聴神経スパイクのタイミングに符号化される。ENVは発火率の変化によって、TFSは波形の個々の周期への位相同期によって符号化される。

TFSの枠組みは2002年以来、聴覚科学の文献において発展してきた。Moore (2008, J. Assoc. Res. Otolaryngol. 9: 399-406) は、ピッチ知覚、マスキング、音声知覚におけるその役割を概観している。Smith, Delgutte & Oxenham (2002, Nature 416: 87-90) はキメラ音を用いて、聴取者がピッチと定位にはTFSを、静かな環境での音声認識にはENVを頼ることを示した。後の研究 (Lorenzi et al. 2006, PNAS 103: 18866-18869; Hopkins & Moore 2009, J. Acoust. Soc. Am. 125: 442-446) は、TFS感度が雑音下の音声知覚に決定的に重要であり、TFS感度の低下が、聴覚障害のある聴取者が雑音下の音声で抱える困難の主要因であることを示した。

TFSは、NOMNの微細タイミング層が働くスケールについての確立した語彙である。NOMNは、聴覚科学の文献においてよく調べられた領域で動作する。

既存のTFS研究は喪失に集中している。聴覚障害のある聴取者がどのようにTFS感度を失うか、人工内耳がどのようにTFSを伝えられないか、加齢がどのようにTFS処理を劣化させるか、である。NOMNはTFS処理が損なわれていない聴取者から出発し、再生技術が彼らにどのようなタイミング構造を提示すべきかを問う。

適用範囲。NOMNには二つの層がある。ドリフト層は、Juicinessの範囲全体で信号全体を25から1,008 µs RMS、ゆっくりと、テープトランスポートの範囲で動かす。微細タイミング層は、同じ範囲で1.0から20.3 µsで働く。微細構造のスケールにあるのは微細タイミング層である。我々はこの用語を、層のスケールと、層が対象とする聴覚の仕組みについて用いる。この層がどのように作られるかは公開していない。

我々は、デジタルオーディオが時間微細構造を欠いているとも、NOMNがフォーマットの失ったものを復元するとも主張しない。PCM録音は信号の帯域内成分の微細構造を担っている。我々の主張は、デジタル合成とデジタル再生がそれ自体ではタイミング変動を加えないこと、そしてNOMNが声から学習した変動の層を加えることである。NOMNは、元のファイルがどのような微細構造の細部を含んでいても同じように働く。
レイテンシとJND未満のタイミング
DAWで録音するミュージシャンは往復レイテンシを低く保つためにオーディオバッファサイズを設定し、インターフェイスのメーカーは数ミリ秒の往復レイテンシの値を公表している。Belaプラットフォームは、デジタル楽器においてミリ秒未満の動作から音までのレイテンシを実現するために作られた (McPherson, Jack & Moro 2016, Proc. NIME)。

Jack, Mehrabi, Stockman & McPherson (2018, Music Perception 36: 109-128) は、プロの打楽器奏者とアマチュアの音楽家を対象に、0 ms、10 ms、±3 msのジッターを伴う10 ms、20 msのレイテンシでデジタル打楽器を試験した。両群とも、ゼロレイテンシを、ジッターを伴う10 msおよび20 msの条件より有意に高く評価し、プロはレイテンシが加わるとタイミングを変化させた。Schmid, Ambros, Bogon & Wimmer (2024, Proc. Audio Mostly, ACM) は、37人の聴取者について付加されたオーディオレイテンシの丁度可知差異を計測し、ベースレイテンシ0 msで平均49 ms、ベースレイテンシ64 msで27 msという結果を得た。アンサンブル演奏では奏者間に30から50 msの非同期が生じる (Rasch 1979, Acustica 43: 121-131)。

アコースティックドラムの音は、スティックが当たってから2から3 ms後にドラマーの耳に届く。この遅延は、ドラムから頭までの距離を音が進む速さによって決まる。

インターフェイスのメーカーは、聴取者が違いを報告する27から49 msを目標にはしない。スタジオがサンプルレートについて、クロック設計者がジッターについてそうするように、レイテンシを報告の閾値を大きく下回るよう設計する。

これらの研究は10から49 msの領域のものである。それらは意識的な報告の閾値より下で設計するという実践を支持するが、マイクロ秒については何も述べていない。マイクロ秒スケールでの証拠は、上の二つの回答にある両耳間および微細構造の研究である。
スピーカーと部屋の影響
部屋とスピーカーは、NOMNよりはるかに大きくタイミングを変える。部屋のインパルス応答は数ミリ秒から数百ミリ秒続き、スピーカーコーンの分割振動は1ミリ秒未満で起こる。

違いは構造にある。部屋とスピーカーによる畳み込みは内容に無関係で定常的である。インパルス応答は所与の聴取位置について固定されており、スネアのヒットの残響と持続するボーカルの音の残響は同じ扱いを受ける。

聴覚系には、直接音を反射音から分離するための、よく記録された仕組みがある。Wallach, Newman & Rosenzweig (1949, American Journal of Psychology 62: 315-336) は先行音効果を記述した。二つの同一の音が数ミリ秒以内に到着すると、聴取者は最初の波面の位置に一つの融合した音を聴き、後の反射は知覚される位置にほとんど寄与しない。聴覚情景分析 (Bregman 1990, MIT Press) はこれを、聴覚が音を環境とは別の音源へと組織化する際のグルーピングの手がかりへと拡張する。後のレビュー (Litovsky et al. 1999, J. Acoust. Soc. Am. 106: 1633-1654; Brown, Stecker & Tollin 2015, J. Assoc. Res. Otolaryngol. 16: 1-28) は、この過程が連続的かつ自動的であることを記録している。

NOMNの変動はスピーカーに届く前の信号の中にあり、瞬間ごとに変化する。部屋とスピーカーはすべてに同じ固定された応答を適用する。我々はNOMNの層を信号そのものにおいて計測しており、それらが所与の部屋とどのように相互作用するかは計測していない。
DACの再構成
DACの再構成フィルタはNOMNの変調を除去しない。変調はオーディオコンテンツそのもの、すなわちどのサンプルがどのエネルギーを含むかに符号化されている。DACはネイティブのサンプルレートで通常のオーディオ信号を受け取り、通常の再構成を適用する。未処理のオーディオに施すフィルタリングが何であれ、NOMNで処理されたオーディオにもまったく同じように施す。

スピーカー、部屋、HRTF、外耳道は、オーディオの一部として変調に作用し、そのいずれも変調を選択的に除去することはない。
浅いコーラスとフィルタ処理したノイズ
浅い深さのコーラス、あるいはバリスピードを駆動するフィルタ処理したノイズは、その一部を実現する。オーディオエンジニアは、微妙な時間的変動がデジタルオーディオの感触を変えることを何十年も前から知っており、テープエミュレーションのプラグイン、微妙なコーラス、ピッチ変調はいずれもその知識を応用している。

結果は計測可能なほど異なる。LFOで駆動される変調は周期的であり、我々の3分間の試験では52区間中52区間でNOMNと区別された。ランダムノイズはより近いケースである。ヒューマナイザーが用いる二つの形、独立したガウス型オフセットと1/fノイズを、それぞれNOMNと同じ大きさに設定して試験したところ、いずれも52区間中52区間でNOMNと区別された。NOMNの活動は時間的に組織化されており、運動のバーストの後に穏やかな区間が続く。ノイズは一様である。

自然なタイミング変動には構造がある。Hennig (2014, PNAS 111: 12974-12979) はプロのドラム演奏のタイミングにおける長距離相関を記録しており、これは人間の運動タイミングについてのより広い研究 (Gilden, Thornton & Mallon 1995, Science 267: 1837-1839) と整合する。NOMNのモデルは声で学習されており、その出力が上記の意味で構造化されていることを我々は計測した。その構造が特定の自然の音源にどれだけ近いかはまだ計測しておらず、近いとも主張しない。
MQAとC Wave
NOMNは、主張する内容と仕組みの両方において、そのどちらとも異なる。

MQAはエンコードとデコードのフォーマットである。ファイルの保存方法を変え、完全な再生にはライセンスされたデコーダを必要とする。NOMNはエンコードチェーンに触れない。変換の前にオーディオサンプルにタイミング変動を加え、その結果はどの機器でも再生できる通常のPCM信号である。我々はNOMNを、ハードウェアやストリーミングクライアントへの統合と、マスタリングエンジニアによる最終工程としての使用に向けている。

C Waveは、我々がその公開された説明を読む限り、PCMは「非連続」であり、脳がその不連続を検出し、残響に似た処理がその隙間を埋める、とする。我々はその診断を共有しない。PCM上で動く残響アルゴリズムもやはりPCMであり、標本化定理は、適切に帯域制限されたPCMがナイキスト周波数まで連続波形と数学的に等価であることを保証している。我々の主張は、あらゆる音響音源とあらゆるアナログトランスポートがタイミング変動を加えるのに対し、デジタル合成とデジタル再生はそれ自体ではタイミング変動を加えない、というものである。これは音源とトランスポートについての主張であり、標本化理論には手を触れない。
ヒューマナイザープラグイン
ヒューマナイザープラグインは、乱数生成器を用いてMIDIイベントにタイミング変動を加える。1990年代初頭から存在し、ほとんどのDAWに一つ含まれている。

ヒューマナイザーはランダムな変動を加える。NOMNの変動は声で学習したモデルから来ており、我々の計測では、同じ大きさのガウス型および1/fのランダム変動と区別できる。

ヒューマナイザーはオーディオがレンダリングされる前にMIDIイベントのタイミングに作用する。クオンタイズされたMIDIスネアにかけたヒューマナイザーはヒットを動かす。NOMNはオーディオ信号に作用し、それを連続的に動かす。NOMNは完成したオーディオファイルも処理する。
可聴性
聴取者がNOMNを認識可能なエフェクトとして識別できるかどうかはJuicinessに依存する。その速度偏差はJuiciness 1では我々のテープモデルより小さく(0.054 %対0.068 %)、Juiciness 10では7.8倍大きい(0.535 %)。設計意図は、実用的な深さではそれがエフェクトとして聴こえないことである。

統制されたA/B試験で聴取者がNOMNで処理されたオーディオを未処理のオーディオと区別できるかどうかは経験的な問いである。我々はこれを独立した事前登録の知覚研究によって調べるつもりであり、結果を公表する。
副作用
レベルは変わらず、イコライゼーション、コンプレッション、ノイズの付加、空間処理はない。

オーディオを時間的に動かすと、そのピッチもわずかに動く。Juiciness 1では運動は速度で0.054 %、0.93 セント RMSであり、我々のテープモデルの1.18 セントと並ぶ。「NOMNがオーディオをどれだけ動かすか」の表に各設定での値を示している。このため、処理済みのファイルはヌルテストで元のファイルと打ち消し合わず、定常音には低レベルのサイドバンドが生じる。どちらも計測可能であり、ここに報告する。
名前について
名前は「metronome(メトロノーム)」に由来する。「no man」とも読める。
参考文献
このFAQの聴覚科学は、以下に挙げる公刊文献に基づいている。

両耳間時間差の閾値

• Klumpp, R.G. & Eady, H.R. (1956). "Some Measurements of Interaural Time Difference Thresholds." Journal of the Acoustical Society of America 28(5): 859-860. 帯域制限ノイズで9 µs、1000 Hzの純音で11 µs、クリックで28 µsの閾値(正答率75 %の弁別、聴取者10人)。

• Mills, A.W. (1958). "On the Minimum Audible Angle." Journal of the Acoustical Society of America 30(4): 237-246. 音源定位における角度の鋭敏さ(正中線付近で約1度)。

• Brughera, A., Dunai, L. & Hartmann, W.M. (2013). "Human interaural time difference thresholds for sine tones: The high-frequency limit." Journal of the Acoustical Society of America 133(5): 2839-2855. 中域周波数の純音で10 µs付近の閾値、約1.4 kHzに高域の限界がある。

時間構造の神経符号化

• Palmer, A.R. & Russell, I.J. (1986). "Phase-locking in the cochlear nerve of the guinea-pig and its relation to the receptor potential of inner hair-cells." Hearing Research 24(1): 1-15. 聴神経線維の位相同期とその上限周波数。

• Moore, B.C.J. (2008). "The role of temporal fine structure processing in pitch perception, masking, and speech perception for normal-hearing and hearing-impaired people." Journal of the Association for Research in Otolaryngology 9(4): 399-406. 時間微細構造(TFS)とその知覚的役割についてのレビュー。

• Smith, Z.M., Delgutte, B. & Oxenham, A.J. (2002). "Chimaeric sounds reveal dichotomies in auditory perception." Nature 416: 87-90. 聴取者はピッチと定位にはTFSを、静かな環境での音声認識にはENVを頼る。

• Lorenzi, C., Gilbert, G., Carn, H., Garnier, S. & Moore, B.C.J. (2006). "Speech perception problems of the hearing impaired reflect inability to use temporal fine structure." Proceedings of the National Academy of Sciences 103: 18866-18869. TFSと雑音下の音声知覚。

• Hopkins, K. & Moore, B.C.J. (2009). "The contribution of temporal fine structure to the intelligibility of speech in steady and modulated noise." Journal of the Acoustical Society of America 125(1): 442-446.

音源と環境の分離

• Wallach, H., Newman, E.B. & Rosenzweig, M.R. (1949). "The Precedence Effect in Sound Localization." American Journal of Psychology 62(3): 315-336. 聴取者は最初に到達した波面から音を定位する。

• Bregman, A.S. (1990). Auditory Scene Analysis: The Perceptual Organization of Sound. MIT Press.

• Litovsky, R.Y., Colburn, H.S., Yost, W.A. & Guzman, S.J. (1999). "The Precedence Effect." Journal of the Acoustical Society of America 106(4): 1633-1654. 先行音効果とエコー抑圧のレビュー。

• Brown, A.D., Stecker, G.C. & Tollin, D.J. (2015). "The Precedence Effect in Sound Localization." Journal of the Association for Research in Otolaryngology 16(1): 1-28.

レイテンシと音楽演奏

• Jack, R.H., Mehrabi, A., Stockman, T. & McPherson, A. (2018). "Action-sound Latency and the Perceived Quality of Digital Musical Instruments." Music Perception 36(1): 109-128.

• McPherson, A., Jack, R. & Moro, G. (2016). "Action-Sound Latency: Are Our Tools Fast Enough?" Proc. NIME 2016.

• Schmid, A., Ambros, D., Bogon, J. & Wimmer, R. (2024). "Measuring the Just Noticeable Difference for Audio Latency." Proc. Audio Mostly 2024 (ACM): 325-331. ベースレイテンシ0 msで平均JND 49 ms、64 msで27 ms。

• Rasch, R.A. (1979). "Synchronization in performed ensemble music." Acustica 43: 121-131.

自然なタイミングの統計

• Hennig, H. (2014). "Synchronization in human musical rhythms and mutually interacting complex systems." Proceedings of the National Academy of Sciences 111(36): 12974-12979. プロのドラム演奏のタイミングにおける長距離相関。

• Gilden, D.L., Thornton, T. & Mallon, M.W. (1995). "1/f noise in human cognition." Science 267: 1837-1839.

聴覚は人間の感覚のなかで最も細かい時間分解能をもつ。聴取者は両耳間の9 µsの時間差を検出できる(Klumpp and Eady, 1956)。60 Hzのモニターは16.7 msごとに1フレームを描画し、これはその間隔の1,852倍である。

あらゆる音響音源は時間的に変動する。声、弓で弾かれた弦、フルートに吹き込まれる息は、一つの周期を正確に繰り返すことがない。アナログのトランスポートも変動する。ターンテーブルやテープマシンの機械的不安定性は、再生するものすべてにゆっくりとしたドリフトを加える。アナログレコードのプレス盤とアナログ信号経路は、このドリフトをリスニングルームまで運ぶ。

デジタル合成とデジタル再生は、それ自体ではタイミング変動を加えない。DAW、デジタルシンセサイザー、ドラムマシン、サンプラー、ストリーミング再生は厳密なクロックで動作し、オーディオ愛好家はそれをさらに厳密にするために10 MHzの外部クロックを購入する。合成された音源やシーケンスされた音源は、何らかの処理が加えない限りタイミング変動をもたない。

合成音、未処理合成音、未処理: 0.019 %0.019 %録音されたフルートとヴァイオリン録音されたフルートとヴァイオリン: 0.251 %0.251 %録音された歌声録音された歌声: 0.739 %0.739 %録音された話し声録音された話し声: 2.481 %2.481 %

周期ごとのタイミング変動の計測値。実線のバーは音響音源の録音(楽器クリップ2本、歌い手4人、話者4人)、薄いバーは合成音(20本)である。合成音は計測の下限にある。

NOMNは、人間の声から学習したタイミング変動の層を加える。それは二つのスケールで同時に働く。一つは信号全体のゆっくりとしたドリフトで、テープやレコードプレーヤーの運動の範囲にある。もう一つはマイクロ秒スケールの変動で、時間微細構造(TFS)のスケールにある。変動は通過するオーディオの各瞬間に対してライブで生成され、ループしない。

テープおよびレコードプレーヤーのエミュレーションは、二つの機械の機構をモデル化する。NOMNのタイミングモデルは、音声と、声帯の電気声門図記録で学習されている。

NOMNは、マルセル・デュシャンがinframince(アンフラマンス、極薄)と呼んだものの中で働く。それは、同じ型から取った二つの鋳造物のように、同一に見える二つのものを隔てる差異である。ここでの二つのものとは、声のタイミングとクロックのタイミングである。デュシャンはこの語についてのノートを1930年代と1940年代に書き、それらは1980年に刊行された。


仕組み

NOMNは、人間の声で学習したタイミングの生成モデルに基づいている。ドリフトモデルは多言語の録音音声から学習した。103言語にわたる我々の研究では、このスケールのタイミングは言語間でほとんど差がないことがわかった。我々の分散分析では、話者の個人差が分散の25から50 %を、言語が3から9 %を説明した。我々はこれを、声の力学に共通の物理的基盤があることを支持するものと解釈する。微細タイミングモデルは電気声門図記録から学習した。電気声門図では首に置いた電極が声帯の接触を直接計測するため、学習素材は喉頭で計測された声門周期そのものである。声門の研究も同じ方向を示している。微細タイミングの挙動は、我々が計測した11人の話者全員に現れた。

実行時、モデルはタイミング値の連続的なストリームを生成し、それを入力オーディオに二つの層で適用する。ドリフト層は信号全体を動かす。微細タイミング層はマイクロ秒のスケールで変動を加える。Juicinessは両方の層の深さを設定する。微細タイミング量は微細タイミング層をスケールする。

ドリフト層: 信号全体
微細タイミング層

曲線は、196 Hzの合成音(6.7秒)に対するNOMNの計測トレースを、設定に合わせてスケールしたものである。縦軸はスライダー範囲の上端に固定され、圧縮されている(平方根スケール、ラベル参照)ので、小さい設定でも大きい設定でも読み取れる。両方の層は、0.25から10までの六つの設定でJuicinessに比例してスケールすることを計測で確認しており、エンジンは微細タイミング層をその量に比例して報告する。テープとレコードプレーヤーのトレースはモデルである。

パターンはモデル自身のものであり、どのようなオーディオが再生されていても同じである。それは連続的に生成され、我々が計測したどのセッションの中でも繰り返さない。


既存のモジュレーションとの比較

従来のタイミング変調には三つの形がある。LFOはコーラスやビブラートを駆動する。テープおよびレコードプレーヤーのエミュレーションはトランスポートの運動を再現する。ヒューマナイザーは乱数を用いる。NOMNは計測によってそのいずれとも区別できる。我々は長さ3分の定常的な合成音一つをそれぞれの処理に通し、そのタイミングを音の位相から読み取った。これはワウ・フラッターの計測に用いられる方法である。処理の一つはダウンロード可能なテープエミュレーション、すなわちオープンソースのCHOW Tape Modelプラグインであり、ワウとフラッターのコントロールを半分の深さにして動作させた。

処理運動の由来自らを繰り返す
(1 = 完全に)
微細タイミング層を
もつ
正しく判別された区間
(対NOMN)
LFO(コーラス、ビブラート)オシレーター1.00なし52中52
テープモデルキャプスタンとリール1.00なし52中52
レコードプレーヤーモデル回転するプラッター1.00なし52中52
CHOW Tape Modelプラグインテープマシンのエミュレーション1.00なし52中52
CHOW Tape Model、バリアンスとドリフトをオン独自のランダム化を備えたエミュレーション0.91なし52中52
ガウスノイズ(ヒューマナイザー)独立したランダムなオフセット0.07なし52中52
1/fノイズ(ヒューマナイザー)1/fスペクトルをもつ乱数0.08なし52中52
NOMN人間の声0.00はい

表の読み方: 3分間の各計測を6.7秒の26個の区間に切り分けた。分類器は各区間の運動の形だけを、大きさを除いた状態で見て、学習に使っていない録音の区間について処理を判別した。ここでのNOMNはJuiciness 1である。この3分間の実行では106 µs RMS、速度偏差0.053 %が計測された。このページの他の図に用いた、より短いテスト音の中央値は101 µsと0.054 %である。半分の深さのCHOWプラグインは0.65 %が計測された。方法の検証: タイミングを我々自身が設定した処理に対して、計測値は相関1.0000、誤差0.65 µsである。ガウスノイズは、1イベントにつき一つの独立したランダムなオフセットを毎秒8イベントで与え、その間を直線で結んだものである。1/fノイズは0.05から30 Hzまで1/fスペクトルをもつ。テープモデルとレコードプレーヤーモデルは我々自身のもので、各トランスポートの標準的な記述から構築した(テープ: 0.6 Hzで0.08 %のワウと0.04 %のフラッター。レコードプレーヤー: 33⅓ rpm、1回転に1回の0.15 %のワウ)。テスト音を再生する実際のテープマシンやターンテーブルは、まだ計測していない。計測が区別するのは、NOMNの運動と各比較対象の処理である。リスナーの好みは試験していない。

各3分間。 同じ音のタイミングオフセット。どの処理も同じスケール上に同じ大きさで描いている。

LFO反復 1.00テープモデル反復 1.00レコードプレーヤーモデル反復 1.00CHOW Tapeプラグイン反復 1.00CHOW Tape、ドリフトをオン反復 0.91ガウスノイズ反復 0.071/fノイズ反復 0.08NOMN反復 0.000 s30 s60 s90 s120 s150 s180 s

オシレーターとトランスポートは毎周期、元の位置に戻る。その反復スコアは1.00であり、独自のバリアンスとドリフトをオンにしたテーププラグインでも0.91である。NOMNの運動は再び巡ってくることがなく(0.00)、ヒューマナイザーのノイズも同様である(0.07と0.08)。

速度偏差スペクトル。 同じ八つの処理を、0.2から30 Hzの速度偏差のスペクトルとして、一つのスケールで示す。

LFOテープモデルレコードプレーヤーモデルCHOW TapeプラグインCHOW Tape、ドリフトをオンガウスノイズ1/fノイズNOMN0.5 Hz1 Hz2 Hz5 Hz10 Hz20 Hz

機械とそのエミュレーションは、運動をそれぞれ固有のレートの細い線に集める。NOMNの運動は、線をもたずに一定の範囲にわたって広がっている。二つのヒューマナイザーのノイズは、時間でNOMNと同じ大きさ(106 µs RMS)に設定した。その大きさでは、ガウスノイズはNOMNの2.6倍ピッチを動かし(速度偏差0.138 %に対して0.053 %)、1/fノイズは9.0倍動かす(0.476 %)。これは、それらの運動に速い成分がより多く含まれるためである。


試聴

我々自身のデモトラックから取った六つの短いループである。それぞれ、未処理の音源、明示した設定でのNOMN、テープモデル、レコードプレーヤーモデルの間で切り替えることができ、切り替えても音楽の中での位置は保たれる。すべてのバージョンはレベルを揃え、時間を揃えてある。

運動の性質

意図的に誇張している: Juiciness 10。テープモデルとレコードプレーヤーモデルは同じ深さにスケールしてあるので、違いは運動の形にある。

▶未処理
▶NOMN、Juiciness 10速度 0.535 %
▶テープモデル、同じ深さ同じ深さ
▶レコードプレーヤーモデル、同じ深さ同じ深さ
Ambient Example x3 Reservoir Instances
実用的な深さ

テープモデルをそれ自身の深さ(速度偏差0.068 %)で、Juiciness 1(0.054 %)と2.5(0.134 %)のNOMNと並べている。

▶未処理
▶NOMN、Juiciness 1速度 0.054 %
▶NOMN、Juiciness 2.5速度 0.134 %
▶テープモデル速度 0.068 %
Abstract Film Scoring Example 1
微細タイミング層のみ

これらのバージョンにはドリフトがないので、ここにピッチの動きはありえない。微細タイミング層は9 µs(Juiciness 4)と20 µs(Juiciness 10)である。

▶未処理
▶微細タイミング層のみ、Juiciness 4微細タイミング 9 µs
▶微細タイミング層のみ、Juiciness 10微細タイミング 20 µs
Locrian Mode Extended Evolution Ambient Example
一つの層と両方の層

どちらのバージョンも同じドリフトである。二つ目は微細タイミング層を加えている。

▶未処理
▶ドリフト層のみ、Juiciness 4速度 0.214 %
▶両方の層、Juiciness 4速度 0.214 %
Locrian Mode Extended Evolution Ambient Example
シーケンスされた曲

ミックス全体にJuiciness 2.5のNOMNをかけたものを、同じ深さのテープモデルと並べている。

▶未処理
▶NOMN、Juiciness 2.5速度 0.134 %
▶テープモデル、同じ深さ同じ深さ
Bass and Rhythm Syncopation
過剰になるところ

ピアノは、ピッチのドリフトに対する標準的な負荷試験である。

▶未処理
▶NOMN、Juiciness 1速度 0.054 %
▶NOMN、Juiciness 2.5速度 0.134 %
▶NOMN、Juiciness 5速度 0.268 %
▶NOMN、Juiciness 10速度 0.535 %
嬰ハ調のソロピアノ

ユースケース

プロダクション
シンセサイザー、ドラムマシン、サンプラー、シーケンスされたパート。それ自体のタイミング変動をもたない音源である。

マスタリング&ポストプロダクション
マスタリングチェーンのための時間領域の処理であり、EQ、コンプレッション、空間処理、ラウドネス制御と並べて用いる。

ライセンス
ハードウェア、ソフトウェア、ストリーミングインフラへの統合に利用可能。問い合わせ先: hello@nomn.jp。


適用範囲

NOMNはイコライザーでも、コンプレッサーでも、空間プロセッサーでもない。レベルやラウドネスを変えず、ノイズやサチュレーションも加えない。修正は時間領域でなされ、時間の変化はピッチのわずかな変化でもある。Juiciness 1で0.93 セント RMSである。処理済みのファイルは元のファイルに対してヌルにならない。

我々は、デジタルオーディオが時間微細構造を欠いているとも、NOMNがフォーマットの失ったものを復元するとも主張しない。デジタル録音は、録音されたものの微細構造を担っている。NOMNはそれ自身の層を加える。


フォーマット&アクセス

デスクトップアプリ: 開発中。2026年後半。

特許状況: 特許出願中(日本、2026年)。POLYTOPE KK。


デジタルオーディオの基礎

デジタルオーディオは画面上のピクセルよりも思い描きにくく、フォーラムやオーディオ愛好家のコミュニティでの説明は大きく食い違っている。再生される音は数値から組み立てられた知覚上の錯覚であり、その仕組みから想像されるよりもはるかによく機能する。

録音、あるいはオーディオファイルのレンダリングは、連続的に変化する信号を高速に計測し、それを数値の列として保存する。

サンプルとは一つの計測であり、ある瞬間の波形の振幅を与える整数または浮動小数点数である。ファイルは、時間に沿った振幅値の密な列である。

サンプルレートは1秒あたりの計測の回数である。CDオーディオは毎秒44,100回(44.1 kHz)を保存し、96 kHzは96,000回を保存する。正しく帯域制限された標本化信号は、ナイキスト周波数までの元の波形を完全に表現するので、サンプルの間に欠けているものはない。DACの再構成フィルタは、サンプルが定める一本の連続波形を生成する。48 kHzを超えるレートは、フィルタの遷移帯域を可聴域からさらに上へ移す。

DSD(Direct Stream Digital)は2.8224 MHz(DSD64)から22.5792 MHz(DSD512)までにわたる。1サンプルあたり1ビットを保存し、高いクロックレートでのノイズシェーピングが、単一ビットに欠ける分解能を補う。

サンプルは周波数、音色、ピッチについての情報をもたない。それらの性質は多くのサンプルにわたるパターンの中に存在する。スピーカーコーンには各瞬間の位置が必要であり、位置の列は帯域内のあらゆる波形をなぞる。コーンは空気を変位させ、その変位は圧縮波として伝わる。

周波数Fを表現するには、システムは2Fを超えるレートで標本化しなければならない。若い聴取者では聴覚は20 kHzまで及ぶので、44.1 kHzと48 kHzは余裕をもって可聴帯域をカバーする。343 m/s(20 °Cの空気)では、20 kHzの波の長さは17.2 mmである。

44.1 kHz 標本化 → 22.05 kHz 最大周波数 → 15.6 mm 波長
48 kHz 標本化 → 24 kHz 最大 → 14.3 mm
96 kHz 標本化 → 48 kHz 最大 → 7.1 mm
192 kHz 標本化 → 96 kHz 最大 → 3.6 mm
384 kHz 標本化 → 192 kHz 最大 → 1.8 mm
768 kHz 標本化 → 384 kHz 最大 → 0.89 mm

DSDはこの表で直接比較できない。DSD512でのクロックレートは22.5792 MHzであり、これは1ビット変調器のレートである。利用可能なオーディオ帯域幅はノイズシェーピングフィルタによって決まる。

ビット深度は、1サンプルあたりに取りうる振幅値の数を定める。24ビットでは16,777,216個の値があり、これがダイナミックレンジとノイズフロアを定める。ビット深度が定めるのは振幅の分解能だけである。

バッファとは、ソフトウェア、ドライバ、ハードウェアが一単位として受け渡す連続したサンプルのブロックであり、典型的には64、128、512サンプルである。96 kHzでは64サンプルのバッファは0.667 msのオーディオを保持する。小さいバッファはレイテンシ(入力から出力までの時間)を下げ、CPU負荷と、OS、ドライバ、ファームウェアに起因するドロップアウトの危険性を上げる。大きいバッファはCPU負荷を減らして遅延を加え、それはライブパフォーマンスやモニタリングで問題になる。

複数のチャンネルがある場合、各瞬間にはチャンネルごとに一つのサンプルがあり、そのまとまりをフレームと呼ぶ。96 kHzのステレオは毎秒96,000個の2サンプルフレームを生成する。バッファサイズはフレーム単位で数えるので、バッファサイズはチャンネル数にかかわらず一定の時間長に対応する。

オーディオエンジンは各バッファを満たし、処理し、DACに渡す。96 kHz、64フレームのバッファでは、この受け渡しは毎秒1,500回行われる。DACは数値を連続的な電圧に変換し、その電圧がスピーカーコーンをサンプルの記述する位置へと駆動する。再構成が連続波形を生成するので、出力はどのバッファサイズでも連続している。


繊細さについて

Juicinessが低いとき、効果は繊細である。それはオーディオが時間の中でどう動くかを変えるもので、EQのブーストのように離散的な変化としては知覚されない。それが特定のリスナー、録音、再生チェーンにとって重要かどうかは経験的な問いであり、我々はそれに答えるための聴取試験をまだ行っていない。