Sony IMX378: Kerusakan Komprehensif Sensor Google Pixel dan Fitur-fiturnya

Ikhtisar IMX378

Kami menghubungi Sony untuk mencoba belajar lebih banyak tentang sensor IMX378 yang digunakan oleh ponsel Google Pixel dan Pixel XL yang akan datang, serta oleh Xiaomi Mi 5S. Sayangnya, Sony belum dapat mendistribusikan lembar data untuk sensor Exmor RS IMX378 dulu, tetapi mereka sangat membantu, dan mampu memberi kami beberapa informasi yang belum pernah dirilis sebelumnya tentang IMX378.

Pertama, nama itu sendiri salah. Meskipun ada rumor yang menyatakan bahwa itu akan menjadi bagian dari garis Exmor R dari sensor CMOS Backside Illuminated (BSI) seperti IMX377 sebelum yang digunakan pada Nexus 5X dan Nexus 6P, kontak kami di Sony telah memberi tahu kami bahwa IMX378 akan menjadi dianggap sebagai bagian dari jajaran Sony Exmor RS dari sensor Stacked BSI CMOS.

Sementara banyak hal tetap sama dari IMX377 ke IMX378, termasuk ukuran piksel (1, 55 μm) dan ukuran sensor (7, 81 mm), ada beberapa fitur kunci yang ditambahkan. Yaitu sekarang merupakan desain BSI CMOS yang ditumpuk, memiliki PDAF, menambahkan teknologi SME-HDR Sony, dan memiliki dukungan yang lebih baik untuk video frame rate tinggi (gerak lambat).

Ditumpuk BSI CMOS

Penerangan bagian belakang dengan sendirinya adalah fitur yang sangat berguna yang telah menjadi hampir standar dalam smartphone unggulan selama beberapa tahun terakhir, dimulai dengan HTC Evo 4G pada tahun 2010. Hal ini memungkinkan kamera untuk menangkap secara substansial lebih banyak cahaya (dengan biaya lebih banyak noise) oleh memindahkan beberapa struktur yang secara tradisional duduk di depan fotodioda di depan sensor yang menyala, di belakangnya.

Anehnya, tidak seperti kebanyakan teknologi kamera, iluminasi belakang awalnya mulai muncul di telepon sebelum DSLR, sebagian besar berkat kesulitan dengan menciptakan sensor BSI yang lebih besar. Sensor BSI APS-C pertama adalah Samsung S5KVB2 yang ditemukan pada kamera NX1 mereka mulai 2014, dan sensor full-frame pertama adalah Sony Exmor R IMX251 yang ditemukan di Sony α7R II dari tahun lalu.

Stacked BSI CMOS teknologi mengambil satu langkah lebih jauh dengan memindahkan lebih banyak sirkuit dari lapisan depan ke substrat pendukung di belakang fotodioda. Ini tidak hanya memungkinkan Sony untuk secara substansial mengurangi ukuran sensor gambar (memungkinkan sensor yang lebih besar dalam jejak yang sama), tetapi juga memungkinkan Sony untuk mencetak piksel dan sirkuit secara terpisah (bahkan pada proses pembuatan yang berbeda), mengurangi risiko cacat, meningkatkan hasil, dan memungkinkan spesialisasi lebih banyak antara fotodioda dan sirkuit pendukung.

PDAF

IMX378 menambahkan Phase Detection Autofocus, yang ponsel Nexus tahun lalu dan IMX377 tidak mendukung. Hal ini memungkinkan kamera untuk secara efektif menggunakan perbedaan intensitas cahaya antara titik-titik berbeda pada sensor untuk mengidentifikasi apakah objek yang sedang difokuskan oleh kamera berada di depan atau di belakang titik fokus, dan menyesuaikan sensor sesuai dengan itu. Ini adalah peningkatan besar baik dalam hal kecepatan dan akurasi dibandingkan autofokus tradisional berbasis kontras yang telah kita lihat pada banyak kamera di masa lalu. Sebagai hasilnya, kami telah melihat ledakan mutlak ponsel menggunakan PDAF, dan itu telah menjadi kata kunci pemasaran besar yang dianggap sebagai pusat pemasaran kamera di seluruh industri.

Meskipun tidak cukup cepat untuk fokus seperti Dual Photodiode PDAF yang dimiliki oleh Samsung Galaxy S7 (juga dikenal sebagai "Dual Pixel PDAF" dan "Duo Pixel Autofocus" ), yang memungkinkan setiap piksel tunggal digunakan untuk deteksi fase dengan memasukkan dua fotodioda. per pixel, penggabungan PDAF dan autofokus laser masih harus menjadi kombinasi yang kuat.

Tingkat Frame Tinggi

Ada banyak pembicaraan akhir-akhir ini tentang kamera dengan frame rate tinggi (baik untuk aplikasi konsumen, dan pembuatan film profesional). Mampu memotret pada frame rate yang lebih tinggi dapat digunakan baik untuk membuat video yang sangat halus dengan kecepatan reguler (yang bisa fantastis untuk olahraga dan skenario berkecepatan tinggi lainnya) dan untuk membuat beberapa video yang sangat menarik ketika Anda memperlambat semuanya.

Sayangnya, sangat sulit untuk merekam video pada frame rate yang lebih tinggi, dan bahkan ketika sensor kamera Anda dapat memotret pada frame rate yang lebih tinggi, bisa jadi sulit bagi prosesor sinyal gambar telepon untuk mengikutinya. Itulah sebabnya sementara IMX377 yang digunakan pada Nexus 5X dan 6P dapat merekam video 720p pada 300 Hz dan video 1080p pada 120 Hz, kami hanya melihat 120 Hz 720p dari Nexus 5X dan 240 Hz 720p dari 6P. IMX377 juga mampu video 60 Hz 4k, meskipun perangkat Nexus dibatasi hingga 30 Hz.

Ponsel Pixel keduanya mampu menghadirkan video hingga 120 Hz 1080p dan 240 Hz 720p sebagian berkat perbaikan yang terkait dengan IMX378, yang melihat peningkatan kemampuan hingga 240 Hz pada 1080p.

Sensor ini juga mampu memotret gambar burst resolusi penuh lebih cepat, melangkah hingga 60 Hz pada keluaran 10 bit dan 40 Hz pada keluaran 12 bit (masing-masing naik dari 40 Hz dan 35 Hz), yang akan membantu mengurangi jumlah blur dan gerakan. goyangan kamera saat menggunakan HDR +.

SME-HDR

Secara tradisional, HDR untuk video telah menjadi trade-off. Anda harus memotong frame rate menjadi dua, atau Anda harus memotong resolusi menjadi dua. Akibatnya, banyak OEM bahkan tidak peduli dengan itu, dengan Samsung dan Sony menjadi beberapa di antaranya yang mengimplementasikannya. Bahkan Samsung Galaxy Note 7 terbatas pada perekaman 1080p 30 Hz sebagian karena biaya komputasi video HDR yang berat.

Yang pertama dari dua metode tradisional utama untuk video HDR, yang oleh Red Digital Cinema Camera Company disebut HDRx dan yang oleh Sony disebut Digital Overlap HDR (DOL-HDR), bekerja dengan mengambil dua gambar berurutan, satu terbuka lebih gelap dan satu terbuka lebih terang, dan menggabungkan mereka bersama-sama untuk membuat bingkai video tunggal. Meskipun ini memungkinkan Anda untuk menjaga resolusi penuh kamera (dan mengatur kecepatan rana yang berbeda untuk dua frame terpisah), sering kali dapat menghasilkan masalah karena kesenjangan waktu antara kedua frame (terutama dengan objek yang bergerak cepat). Selain itu, bisa sangat sulit bagi prosesor untuk mengikuti, karena dengan DOL-HDR, ISP telepon menangani penggabungan frame yang terpisah menjadi satu.

Metode tradisional lainnya, yang oleh Sony disebut Binning Multiplexed Exposure HDR (BME-HDR), menetapkan pengaturan eksposur yang berbeda untuk setiap pasangan dua garis piksel dalam sensor untuk membuat dua gambar setengah resolusi pada saat yang sama, yang kemudian digabung menjadi satu. menjadi satu bingkai HDR untuk video. Meskipun metode ini menghindari masalah yang terkait dengan HDRx, yaitu pengurangan dalam frame rate, ia memiliki masalah lain, khususnya pengurangan dalam resolusi dan batas-batas tentang bagaimana paparan dapat diubah antara dua set garis.

Spasially Multiplexed Exposure (SME-HDR) adalah metode baru yang digunakan Sony untuk memungkinkan mereka memotret HDR pada resolusi penuh dan pada frame rate penuh yang mampu dilakukan oleh sensor. Ini adalah varian dari Spasially Varying Exposure yang menggunakan algoritma kepemilikan untuk memungkinkan Sony menangkap informasi dari piksel gelap dan terang, yang disusun dalam pola gaya kotak-kotak, dan menyimpulkan gambar resolusi penuh untuk gambar paparan gelap dan terang.

Sayangnya, Sony tidak dapat memberi kami penjelasan yang lebih rinci tentang pola yang tepat, dan mereka mungkin tidak akan pernah bisa mengungkapkannya - perusahaan cenderung memainkan kartu mereka sangat dekat dengan dada mereka ketika datang ke teknologi canggih, seperti itu yang kami lihat di HDR, bahkan Google memiliki algoritme milik mereka sendiri untuk foto HDR yang dikenal sebagai HDR +. Masih ada beberapa informasi yang tersedia secara publik yang dapat kita gunakan untuk mengumpulkan bagaimana hal itu dapat dicapai. Beberapa makalah telah diterbitkan oleh Shree K. Nayar dari Columbia University (salah satunya bekerja sama dengan Tomoo Mitsunaga dari Sony) yang berisi berbagai cara untuk menggunakan Paparan Spasial yang Bervariasi, dan tata letak yang berbeda yang dapat mencapainya. Di bawah ini adalah contoh tata letak dengan empat tingkat pencahayaan pada sensor gambar RGBG. Layout ini mengklaim dapat mencapai satu resolusi gambar HDR resolusi penuh dengan kerugian sekitar 20% dalam resolusi spasial, tergantung pada skenario (pencapaian yang sama dengan yang diklaim Sony untuk SME-HDR).

Sony telah menggunakan SME-HDR dalam beberapa sensor gambar, termasuk di IMX214 yang telah melihat banyak popularitas akhir-akhir ini (digunakan di Asus Zenfone 3 Laser, Moto Z, dan Xperia X Performance), tetapi baru Selain IMX378 dibandingkan dengan IMX377 yang digunakan tahun lalu. Ini memungkinkan sensor kamera untuk menghasilkan resolusi penuh 10 bit dan video 4k pada 60 Hz dengan SME-HDR aktif. Sementara hambatan di tempat lain dalam proses akan menghasilkan batas yang lebih rendah, ini merupakan peningkatan fantastis atas apa yang mampu IMX377, dan merupakan tanda hal-hal baik yang akan datang di masa depan.

Salah satu peningkatan besar dari IMX378 dibandingkan IMX377 adalah bahwa ia mampu menangani lebih banyak pemrosesan gambar pada chip, mengurangi beban kerja ISP (meskipun ISP masih dapat meminta data gambar RAW, tergantung pada bagaimana OEM memutuskan untuk menggunakan sensor). Ia dapat menangani banyak hal kecil seperti koreksi cacat dan mirroring secara lokal, tetapi yang lebih penting, ia juga dapat menangani BME-HDR atau SME-HDR tanpa harus melibatkan ISP. Itu bisa berpotensi menjadi perbedaan besar ke depan dengan membebaskan beberapa overhead untuk ISP pada ponsel masa depan.

Kami ingin mengucapkan terima kasih kepada Sony sekali lagi untuk semua bantuan dalam membuat artikel ini. Kami sangat menghargai upaya Sony dalam memastikan akurasi dan kedalaman fitur ini, terutama dalam memungkinkan kami untuk mengungkap beberapa informasi yang belum pernah dirilis sebelumnya tentang IMX378.

Yang sedang berkata, sungguh memalukan bahwa sangat sulit untuk mengakses beberapa informasi ini, bahkan informasi produk dasar. Ketika perusahaan mencoba untuk menaruh informasi di situs web mereka, seringkali hal itu bisa menjadi tidak dapat diakses dan tidak lengkap, sebagian besar karena sering diperlakukan sebagai masalah sekunder dari karyawan perusahaan, yang lebih fokus pada pekerjaan utama mereka. Satu orang yang berdedikasi yang menangani hubungan masyarakat dapat membuat perbedaan besar dalam hal membuat jenis informasi ini tersedia dan dapat diakses oleh masyarakat umum, dan kami melihat beberapa orang berusaha melakukan hal itu di waktu luang mereka. Bahkan pada artikel Sony Exmor Wikipedia itu sendiri, di mana selama beberapa bulan satu orang di waktu luang meletakkan sebagian besar fondasi untuk mengambilnya dari artikel 1.715 byte yang hampir tidak berguna yang sebagian besar sama selama bertahun-tahun, ke dalam ~ 50.000 byte artikel yang kita lihat di sana hari ini dengan 185 editor berbeda. Artikel yang bisa dibilang sebagai gudang informasi terbaik tentang garis sensor Sony Exmor yang tersedia online, dan kita dapat melihat pola yang sangat mirip pada artikel lain. Seorang penulis berdedikasi tunggal dapat membuat perbedaan besar dalam cara mudahnya pelanggan dapat membandingkan produk yang berbeda, dan dalam cara konsumen yang berpendidikan tertarik tentang subjek tersebut, yang dapat memiliki efek luas. Tapi itu topik untuk lain waktu.

Seperti biasa, kami bertanya-tanya bagaimana perubahan perangkat keras ini akan memengaruhi perangkat itu sendiri. Kami jelas tidak akan mendapatkan video HDR 4k 60 Hz (dan mungkin tidak mendapatkan video HDR sama sekali, karena Google belum menyebutkannya), tetapi pemotretan resolusi penuh yang lebih cepat kemungkinan akan membantu secara substansial dengan HDR +, dan kami akan melihat perbaikan dari sensor yang lebih baru mengalir ke telepon dengan cara lain yang serupa tetapi juga kecil.

Sementara DXOMark mencantumkan ponsel Pixel berkinerja sedikit lebih baik daripada Samsung Galaxy S7 dan HTC 10, banyak hal yang memberi ponsel Pixel keunggulan kecil adalah peningkatan perangkat lunak utama seperti HDR + (yang menghasilkan hasil yang sangat fantastis, dan DXOMark mendedikasikan seluruh bagian dari ulasan mereka untuk) dan sistem EIS khusus Google (yang dapat bekerja bersama-sama dengan OIS) yang mengambil sampel giroskop 200 kali per detik untuk memberikan beberapa Stabilisasi Gambar Elektronik terbaik yang pernah kita lihat. Ya, ponsel Pixel memiliki kamera yang hebat, tetapi bisakah mereka lebih baik dengan OIS dan Dual Pixel PDAF yang ditambahkan? Benar.

Jangan salah paham, seperti yang saya katakan, ponsel Pixel memiliki kamera yang benar-benar menakjubkan, tetapi Anda tidak dapat menyalahkan saya karena menginginkan lebih, terutama ketika jalur menuju peningkatan tersebut sangat jelas (dan ketika ponsel diberi harga harga unggulan lengkap, di mana Anda mengharapkan yang terbaik dari yang terbaik). Akan selalu ada bagian dari diri saya yang menginginkan lebih, yang menginginkan masa pakai baterai yang lebih baik, prosesor yang lebih cepat, masa pakai baterai yang lebih baik, layar yang lebih cerah dan lebih hidup, speaker yang lebih keras, kamera yang lebih baik, lebih banyak penyimpanan, masa pakai baterai yang lebih baik, dan yang terpenting, lebih baik masa pakai baterai (lagi). Yang sedang berkata, telepon Pixel memiliki banyak fitur fantastis kecil yang dapat datang bersama untuk membuat perangkat yang benar-benar menjanjikan, yang saya senang melihatnya.