Công nghệ video mới làm lộ diện các đặc tính của các vật dụng

Những chuyển động nhỏ có ở khắp quanh chúng ta, kể cả những chuyển động tạo bởi âm thanh. Công nghệ mới giúp chúng ta dùng những rung động đó để tái tạo âm thanh từ đoạn phim của một vật thể gần như đứng yên. Nhưng giờ đây Abe Davis còn đi xa hơn thế: Hãy xem anh ta dùng phần mềm tương tác với những đặc tính ẩn của đối tượng chỉ từ một đoạn phim đơn giản.

Nhiều người nghĩ chuyển động
là những thứ nhìn thấy được.

Khi tôi bước trên sân khấu
hay làm động tác tay khi nói,

bạn có thể thấy những chuyển động đó.

Thế nhưng, có một thế giới những
chuyển động quá tinh tế với mắt người.

Vài năm trở lại đây,

chúng tôi bắt đầu tìm kiếm các loại máy quay

có thể nhìn ra những chuyển động
ngay cả khi con người không thấy.

Hãy để tôi cho bạn thấy.

Bên trái là đoạn phim quay cổ tay người

và bên phải là em bé đang ngủ,

nhưng nếu tôi không cho bạn biết
đó là những đoạn phim,

chắc bạn sẽ nghĩ bạn đang
nhìn vào hai bức ảnh thông thường,

vì ở cả hai bên,

các đoạn phim dường như
không có chuyển động.

Thực ra, có nhiều chuyển động
tinh vi đang xảy ra ở đây,

Nếu bạn chạm vào cổ tay phía bên trái,

bạn sẽ cảm thấy mạch đang đập,

còn nếu bạn đang ôm đứa bé ở bên phải,

bạn có thể cảm thấy ngực nó chuyển động

khi cô bé hít thở.

Những chuyển động này
mang rất nhiều ý nghĩa,

nhưng thường thì chúng quá nhỏ bé
để chúng ta nhìn thấy được,

thay vào đó, chúng ta phải quan sát chúng

qua tiếp xúc trực tiếp, qua đụng chạm.

Nhưng vài năm trước đây,

vài đồng nghiệp tôi ở MIT đã tạo ra một thứ
mà họ gọi là "kính hiển vi chuyển động",

là một phầm mềm có thể phát hiện
những chuyển động tinh vi trong đoạn phim

rồi phóng đại chúng to đến mức
mà chúng ta có thể thấy được.

Và vì thế, khi ta dùng phần mềm của họ
cho đoạn phim bên trái,

nó cho ta thấy mạch đập ở cổ tay,

và nếu chúng ta đếm mạch,

chúng ta còn biết được nhịp tim người này.

Và nếu làm tương tự với đoạn phim bên phải,

phần mềm cho ta thấy
mỗi nhịp thở của em bé,

và ta không cần chạm vào người
để theo dõi nhịp thở của bé.

Công nghệ này thật sự rất mạnh
bởi vì nó ghi nhận được các hiện tượng này

mà chúng ta thường chỉ được cảm nhận qua tiếp xúc

và công nghệ này cho phép chúng ta có được hình ảnh
mà không phải chạm tới vật đó.

Vài năm trước, tôi bắt đầu làm việc
với nhóm tạo ra phần mềm này,

và rồi chúng tôi đã quyết định
đeo đuổi một ý tưởng điên rồ.

Chúng tôi nghĩ, thật tuyệt vời
khi chúng tôi có thể dùng phần mềm

để tái hiện những chuyển động nhỏ như vậy,

và bạn có thể coi nó như
một cách để mở rộng cảm quan của chúng ta.

Nhưng liệu chúng ta có thể làm
điều tương tự đối với thính giác của chúng ta?

Sẽ thế nào nếu ta dùng phim
để ghi lại những rung động của âm thanh,

thật ra âm thanh là một dạng chuyển động,

và truyền tải những gì ta thấy
vào một cái micrô?

Có vẻ như đó là một ý tưởng kỳ lạ,

nên hãy để tôi giúp bạn hiểu rõ nó.

Micro thông thường hoạt động
bằng cách chuyển các rung động

từ màng rung bên trong
thành tín hiệu điện,

màng rung được thiết kế để
chuyển động dễ dàng theo tiếng động,

rung động sau đó được ghi lại
và chuyển thành âm thanh.

Nhưng âm thanh làm mọi thứ rung động.

Những rung động đó thường
quá nhỏ và quá nhanh để có thể nhìn thấy.

Vậy, sẽ thế nào nếu ta ghi hình
bằng một máy quay tốc độ cao

và dùng phần mềm để
tách ra các chuyển động nhỏ

từ đoạn phim tốc độ cao,

sau đó phân tích chúng để biết
âm thanh nào tạo ra chúng?

Điều này cho phép chúng ta biến những vật thể nhìn thấy
thành một chiếc micro trực quan từ xa.

Và rồi chúng tôi đã thử làm,

và đây là một trong số những thí nghiệm của chúng tôi,

trong đó chúng tôi đã sử dụng chậu cây
mà các bạn có thể thấy ở bên phải

quay lại bằng camera tốc độ cao

trong khi cái loa bên cạnh
đang được mở bài hát này.

(Âm nhạc: "Mary có một con cừu nhỏ")

Và đây là đoạn băng chúng tôi thu được,

ở tốc độ hàng ngàn khung hình một giây,

nhưng ngay cả lúc bạn nhìn kỹ,

bạn sẽ chỉ thấy những tán lá

không động đậy gì cả,

vì âm phát ra chỉ dịch chuyển
chúng khoảng 1 micro-mét.

Đó là khoảng 1 phần 10 nghìn cm,

vào khoảng 1 phần trăm hoặc phần nghìn

của 1 pixel (điểm ảnh) trong hình này.

Bạn có căng mắt nhìn tới đâu,

cũng không thể thấy được
chuyển động bé như vậy.

Nhưng hóa ra, những thứ
dường như là vô hình

lại có thể có ý nghĩa với số hoá,

bởi vì bằng những thuật toán,

chúng ta có thể làm cho điều tĩnh lặng này,
trong đoạn phim

khôi phục lại thành những âm thanh này.

(Âm nhạc: "Mary có một con cừu nhỏ")

(Khán giả vỗ tay)

Làm thế nào để điều này có được?

Làm sao ta lấy được thông tin
từ những chuyển động nhỏ đó?

Cứ cho rằng đám lá kia
chỉ xê dịch 1 micro-mét,

và trong bức ảnh là 1 phần nghìn pixel.

Nghe thì có vẻ ít,

nhưng một khung hình

có thể chứa hàng trăm ngàn điểm ảnh,

và nếu ta kết hợp những xê dịch nhỏ lại

từ toàn bộ bức ảnh,

thì đột nhiên một phần nghìn pixel

sẽ tạo nên những thứ rất có ý nghĩa.

Thực tế, chúng tôi thấy vô cùng phấn khích
khi khám phá ra được điều này.

(Khán giả cười)

Nhưng cho dù với thuật toán đúng,

chúng tôi vẫn thiếu một mảnh ghép
trong toàn bộ bức tranh.

Bạn sẽ thấy, có nhiều yếu tố
ảnh hưởng tới hiệu quả

của kỹ thuật này.

Đó là là loại vật thể, và khoảng cách bao xa,

là máy quay và ống kính bạn dùng;

vật được chiếu sáng thế nào
và âm thanh phát ra lớn ra sao.

Cho dù thuật toán đúng,

chúng tôi vẫn phải thận trọng
với những thí nghiệm ban đầu,

vì lỡ chúng ta có bất kỳ yếu tố nào sai

thì sẽ không thể biết đó là vấn đề gì.

Chúng ta chỉ nhận lại được các tạp âm.

Và rất nhiều thí nghiệm ban đầu của chúng tôi
được thực hiện như sau.

Đây là tôi,

phía dưới bên trái là camera tốc độ cao

nó được hướng vào bịch khoai tây chiên,

và toàn bộ được chiếu sáng bởi những cái đèn.

Như tôi nói, chúng tôi đã phải vô cùng
cẩn thận với những thí nghiệm đầu,

và nó diễn ra như thế này.

(Phim) Abe Davis: 3, 2, 1, bắt đầu.

Mary có một con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!

(Khán giả cười)

AD: Thí nghiệm này rất là kỳ cục.

(Khán giả cười)

Ý tôi là, tôi đang hét vào
một cái bịch khoai tây.

(Khán giả cười)

và chúng tôi rọi quá nhiều đèn vào nó,

chúng tôi đã làm tan chảy cái bịch
trong thí nghiệm đầu tiên. (Khán giả cười)

Nhưng nhìn nực cười vậy thôi,

nó thật sự quan trọng,

vì chúng tôi đã phục hồi được đoạn ghi âm.

(Âm thanh) Mary có một con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!

(Khán giả vỗ tay)

AD: Nó rất có ý nghĩa,

vì đây là lần đầu tiên chúng tôi
phục hồi giọng nói con người

từ đoạn phim im lặng của một vật thể.

Đó cũng là cơ sở

để chúng tôi dần điều chỉnh
các thí nghiệm,

sử dụng các vật dụng khác
hoặc dời các vật dụng ra xa,

sử dụng ít ánh sáng hơn hoặc âm phát ra nhỏ hơn.

Và rồi chúng tôi phân tích các thí nghiệm ngày

đến khi biết được
các giới hạn của kỹ thuật này

vì một khi hiểu được các hạn chế đó,

chúng tôi có thể tìm ra
cách để cải thiện chúng,

Và điều đó dẫn đến một thí nghiệm như sau,

khi tôi lại nói chuyện
với bịch khoai tây,

những lần này chúng tôi
chuyển camera ra xa gần 15 feet (khoảng 5 mét),

chắn giữa bởi một tấm kính cách âm,

toàn bộ chỉ được chiếu sáng
bởi ánh sáng tự nhiên.

Đây là video chúng tôi đã quay được.

Còn đây là cái ta nghe được
từ phía trong, gần bịch khoai tây.

(Âm thanh) Mary có một con cừu nhỏ,
lông nó trắng như tuyết,

và bất cứ chỗ nào Mary tới,
con cừu đó cũng sẽ theo.

AD: Và đây là cái chúng tôi phục hồi
được từ đoạn phim im lặng của chúng tôi

quay được từ ngoài cửa sổ.

(Âm thanh) Mary có một con cừu nhỏ,
lông nó trắng như tuyết,

và bất cứ chỗ nào Mary tới,
con cừu đó cũng sẽ theo.

(Khán giả vỗ tay)

AD: Còn đây là những cách khác
để chúng tôi mở rộng giới hạn.

Một thí nghiệm yên tĩnh hơn,

chúng tôi quay những chiếc tai nghe
được cắm vào máy tính để bàn,

trong trường hợp này, mục tiêu là
khôi phục được bài hát đang được bật từ máy tính đó

từ một đoạn phim không có tiếng

từ hai chiếc tai nghe nhựa nhỏ bé,

và chúng tôi đã hồi phục được chúng rất tốt

để tôi có thể dùng Shazam để kiểm tra kết quả.

(Khán giả cười)

(Âm nhạc: "Under Pressure" của Queen)

(Khán giả vỗ tay)

Và chúng tôi còn làm nhiều hơn
bằng cách thay đổi các vật dụng.

Bởi những thí nghiệm các bạn đã thấy

được quay bởi các camera tốc độ cao

có thể quay nhanh hơn 100 lần

so với hầu hết điện thoại,

nhưng chúng tôi đã tìm cách
ứng dụng công nghệ này

với những máy quay thông dụng hơn,

và chúng tôi đã tận dụng con lăn màn trập.

Bạn thấy, hầu hết camera ghi hình
theo từng cột ngang tại một thời điểm,

nếu vật di chuyển khi đang ghi hình,

sẽ có chênh lệch
thời gian giữa các hàng,

gây ra lỗi giật hình (artifact)

bị mã hóa vào mỗi khung hình của video.

Và rồi chúng tôi tìm ra rằng
bằng cách phân tích lỗi này,

có thể phục hồi âm thanh qua
thuật toán đã được thay đổi của chúng tôi.

Đây là thí nghiệm chúng tôi tiến hành

ghi hình lại một bịch kẹo

lúc cái loa bên cạnh

phát cùng bài "Mary có một con cừu nhỏ" như trước,

nhưng lần này, chúng tôi
dùng máy quay thông thường,

và sau đây, tôi sẽ bật âm thanh
chúng tôi phục hồi lại được,

lần này nó sẽ nhiễu hơn,

nhưng hãy nghe để xem
bạn còn nhận ra nó không.

(Âm nhạc: "Mary có một con cừu nhỏ")

Và vì vây, một lần nữa chúng ta thấy am thanh đó bị nhiễu,

nhưng điều kỳ diệu ở đây
là ta có thể làm điều này

bằng thứ bạn có thể dễ dàng tới

và mua tại Best Buy.

Tại thời điểm này,

nhiều người thấy công nghệ này

và ngay lập tức nghĩ đến sự theo dõi.

Và công bằng mà nói,

không khó tưởng tượng rằng bạn sử dụng
công nghệ này để do thám người khác.

Nhưng nhớ rằng, đã có
rất nhiều kỹ thuật hiện đại

cho việc giám sát, theo dõi.

Thật ra, người ta đã biết dùng tia laser

để nghe lén đối tượng từ xa
từ vài thập kỷ trước.

Nhưng cái mới ở đây,

cái thực sự khác biệt

là chúng ta bây giờ đã có cách
thu lại rung động của vật thể,

chúng cho ta một lăng kính
mới để nhìn ra thế giới,

và chúng ta có thể dùng nó

để hiểu không chỉ về những lực
như âm thanh làm vật rung động

mà còn về chính rung động của vật đó.

Hãy để tôi quay lại một chút

và bằng cách nào nó thay đổi cách
chúng ta sử dụng một đoạn phim,

bởi thường ta dùng đoạn phim
để nhìn các vật thể,

và tôi vừa cho bạn thấy cách ta dùng nó

để nghe tiếng động của vật.

Nhưng vẫn còn cách khác
để ta hiểu thêm về thế giới:

đó là tương tác với nó.

Chúng ta kéo, đẩy, gạt, đâm,

lắc mọi thứ để xem cái gì xảy ra.

Và đó là cái mà đoạn phim vẫn chưa
cho chúng ta thực hiện,

ít nhất là theo cách truyền thống.

Tôi sẽ cho bạn thấy vài dự án mới,

dựa trên ý tưởng của tôi vài tháng trước,

đây chính xác là lần đầu
tôi cho ra mắt công chúng.

Cơ bản ý tưởng là chúng tôi
dùng chuyển động trong đoạn phim

để chép lại vật thể theo cách
giúp chúng ta tương tác với nó

và xem nó phản ứng thế nào.

Đây là một đối tượng,

trong này là hình người cuốn bởi dây thép,

và chúng tôi sẽ quay phim nó
chỉ bằng camera thông dụng.

Không có gì đặc biệt ở cái máy quay cả.

Thực tế, tôi còn thực hiện
bằng cả điện thoại trước đó.

Tôi muốn vật thể đó rung,

để làm điều đó,

tôi tác động vào bề mặt
phía dưới khi nó đứng yên

lúc chúng tôi quay phim.

Vậy đấy: chỉ 5 giây của
một đoạn phim bình thường,

quay lúc chúng tôi gõ vào mặt bàn,

và chúng tôi sẽ sử dụng
những chuyển động trong đó

để biết được đặc tính
cấu trúc và chất liệu của nó,

và chúng tôi dùng dữ liệu đó
tạo ra một thứ có thể tương tác.

Chúng tôi đã làm ra thứ này.

Trông như một bức ảnh thường,

nhưng nó không phải ảnh,
cũng không phải là một đoạn phim,

bởi giờ tôi có thể dùng chuột

tương tác với chính vật thể.

Và cái bạn thấy đây

mô phỏng cách vật thể

thay đổi bởi những lực mới
mà ta chưa từng chứng kiến,

và nó được tạo ra chỉ bằng 5 giây ghi hình thông thường.

(Khán giả vỗ tay)

Đây quả là một cách hiệu quả
để khảo sát thế giới,

bởi nó giúp ta đoán được
vật sẽ phản ứng ra sao

với những tình huống,

và bạn tưởng tượng,
ví dụ như, nhìn vào một cây cầu cổ

và băn khoăn xem điều gì sẽ xảy ra,
xem liệu nó có đứng vững

nếu tôi lái xe qua đó.

Đó là câu hỏi bạn cần hỏi

trước khi lái qua cầu.

Tất nhiên, sẽ có những giới hạn
của công nghệ này

như trường hợp chiếc micro,

nhưng chúng tôi thấy nó
hoạt động tốt trong nhiều tình huống

bạn ít tưởng tượng được,

đặc biệt khi bạn quay phim lâu hơn.

Ví dụ, đây là đoạn phim tôi quay

một bụi cây ngoài nhà tôi,

và mặc dù không đụng gì tới nó,

nhưng bằng cách quay đoạn phim dài 1 phút,

một cơn gió nhẹ thổi qua tạo đủ những rung động

mà ta có thể đủ hiểu về bụi cây
để tạo ra một mô phỏng như thế này.

(Khán giả vỗ tay)

Và bạn có thể tưởng tượng
đưa cái này cho đạo diễn phim,

và để họ điều khiển

sức và hướng gió trong đoạn phim đã quay.

Hoặc, ở đây, chĩa camera vào tấm rèm treo,

thậm chí không thấy nó chuyển động,

nhưng chỉ bằng một video 2 phút,

luồng không khí tự nhiên trong phòng

tạo ra đủ các chuyển động tinh tế

để ta tạo ra mô hình này.

Và, trớ trêu thay,

chúng ta vẫn đang dùng loại tương tác này

với vật thể ảo,

video game và các thể loại 3D,

nhưng việc có thể lưu thông tin
từ các vật trong thế giới thực

chỉ dùng đoạn phim đơn giản

là điều mới mẻ và có rất nhiêu tiềm năng.

Và đây là những con người tuyệt vời
đã làm việc với tôi trong dự án này.

(Khán giả vỗ tay)

Và thứ tôi cho các bạn xem hôm nay
mới chỉ là điểm khởi đầu.

Ta chỉ mới biết một phần rất nhỏ về

những gì có thể làm với công nghệ này.

bởi nó cho ta cách mới

để ghi lại những thứ xung quanh
bằng những công nghệ phổ biến.

Trong tương lai,

chúng ta sẽ rất mong chờ được khám phá

thế giới qua công nghệ mới này.

Cám ơn các bạn.

(Khán giả vỗ tay)